LLMの回答に「ちょっと待てよ？」をつくるツールを作りました
LLMを利用していると、とても自然で説得力のある回答が返ってくることがあります。
しかし、その回答が必ずしも正しいとは限りません。
そこで今回、LLMの回答を利用するときに、一次情報の確認を促すためのChrome拡張機能「FACT SIGNAL」を作成しました。
本来であれば、誰でも簡単に導入できる形で無料公開したかったのですが、セキュリティや情報漏洩などについて十分に理解したうえで利用していただきたいと考え、今回はコマンドプロンプトなどの基本的なPC操作がある程度できる方向けに公開します。
「ハルシネーションをなくす」ためのツールではありません
FACT SIGNALは、
「LLMにハルシネーションを起こさせない」
ためのシステムではありません。
むしろ逆です。
「LLMは間違った回答を生成することがある」
という前提で作っています。
最終的に回答が正しいかどうかを確認するのは、あくまでユーザー自身です。
FACT SIGNALが目指しているのは、その確認を忘れないための「きっかけ」を作ることです。
なぜ信号機表示なのか
FACT SIGNALでは、LLMの回答について注意が必要と思われる箇所を、信号機のような表示で知らせます。
特に意識したのが、「明確に間違っているとは言えないけれど、確認した方がよさそう」という情報です。
こうした情報についても注意表示を出すことで、
「これは本当に正しいのかな？」
「一次情報を確認した方がいいのでは？」
という小さな引っ掛かりを作ることを目的としています。
私は、この「引っ掛かり」が大切だと考えています。
ツールが正解を決めるのではありません。
ユーザー自身が一次情報を確認し、
「やっぱり正しかった」
あるいは、
「確認したら間違っていた」
と判断する。
その確認作業を繰り返すことで、LLMの回答をそのまま受け入れるのではなく、「確認してから使う」という習慣につなげることを狙っています。
LLMを疑うためではなく、上手に使うために
LLMは非常に便利なツールです。
一方で、もっともらしい誤情報を生成する、いわゆるハルシネーションの可能性を完全に排除することはできません。
だからこそ、LLMの回答をすべて疑うのでも、すべて信用するのでもなく、
「重要な情報なら、一度確認してみよう」
と思える仕組みがあればいいのではないか。
その考えからFACT SIGNALを作りました。
特に、
- 「LLMを使っているけれど、すべての回答を検証する時間までは取れない」
- 「重要な情報だけでも確認するきっかけが欲しい」
- 「LLMの回答をうっかりそのまま信用してしまうのを防ぎたい」
という方を想定しています。
重要な仕事や判断にLLMの回答を利用するとき、
「待てよ。これは確認した方がいいかもしれない」
と一度立ち止まる。
FACT SIGNALは、そのためのツールです。
利用できる環境について
現時点のFACT SIGNALには、利用環境に制限があります。
Chrome拡張機能として作成しているため、スマートフォンアプリ版ChatGPTでは利用できません。
また、現時点ではブラウザ版ChatGPTを対象としており、Google Chromeでの利用を前提としています。
汎用的な製品として販売できるほど完成されたものではなく、あくまで私自身が必要性を感じて制作したツールです。
そのため、無料で公開します。
導入手順もあわせて掲載しますので、内容を確認したうえで、
「自分の環境なら導入できそうだ」
と思った方だけ試してみてください。
合わなければ、削除していただいて構いません。
ご利用にあたっての注意・免責事項
FACT SIGNALは、LLMが生成した回答の正確性、真偽、安全性または信頼性を保証するものではありません。
本ツールによる表示や判定についても、その正確性・完全性を保証するものではなく、誤判定、見落とし、過剰な警告などが発生する可能性があります。
FACT SIGNALで警告が表示されなかったことは、その回答が正しいことを意味しません。
また、警告が表示されたことが、その回答が誤っていることを意味するものでもありません。
本ツールは、あくまで利用者自身による確認・検証を促すための補助ツールです。
法律、医療、金融、税務、労務、契約その他の重要な判断については、本ツールやLLMの回答のみを根拠とせず、必ず公的機関が公開する一次情報や原典を確認し、必要に応じて各分野の専門家へ相談してください。
本ツールの導入・利用・設定変更等は、利用者自身の判断と責任において行ってください。
また、本ツールの利用によって生じたデータの消失、情報漏洩、システム上の不具合、業務上・金銭上その他の損害について、法令上認められる範囲において、作者は責任を負いません。
仕様は予告なく変更する場合があります。また、ChatGPTやGoogle Chrome等の仕様変更により、本ツールの全部または一部が正常に動作しなくなる可能性があります。
以上をご理解いただいたうえで、ご利用ください。
ダウンロード
導入手順とツール本体は、以下からダウンロードできます。
導入手順を読んで、自分で導入・管理できると判断された方は、よければ試してみてください。
ダウンロードしたファイルが、こちらで用意したものと同一であることを確認できるよう、 本体のSHA-256を掲載します。配布経路の途中で中身が入れ替わっていないかの確認に使ってください。
確認のしかたは次のとおりです。表示された値が上の文字列と一字一句同じであれば、ファイルは改変されていません。
Windows（コマンドプロンプト）
certutil -hashfile fact-signal-pc-0.3.0.zip SHA256
macOS（ターミナル）
shasum -a 256 fact-signal-pc-0.3.0.zip一致しない場合は、そのファイルは使わずに破棄し、ダウンロードからやり直してください。
FACT SIGNALが、LLMの回答を「信じる・信じない」の二択ではなく、
「一度確認してから使う」
ための小さなきっかけになればと思います。