読み：はるしねーしょん ／ 分野：AI・生成AI
生成AIが、事実ではない内容をもっともらしく答えてしまう現象です。
生成AIが、事実とは異なる内容を、あたかも正しいことのように答えてしまう現象です。回答文が自然な日本語として整っているため、内容の誤りに気づきにくい点が大きな特徴です。
意味
生成AIは、学習した大量の文章データをもとに、質問に対して「統計的にもっともらしい言葉のつながり」を作り出す仕組みで動いています。事実かどうかを内部で確認しているわけではなく、あくまで自然な文章として成立するかどうかを基準に回答を生成します。そのため、学習データに含まれていない情報や、記憶があいまいな部分を問われると、存在しない事実を作り出してしまうことがあります。これは一部の欠陥のある製品だけの問題ではなく、現在の生成AIの仕組み上、程度の差はあっても共通して起こり得る特性です。
使われる場面と具体例
- 社員が生成AIに法律や制度について質問し、実在しない条文や制度名を、根拠つきでもっともらしく説明されてしまう場面があります。
- 顧客対応のチャットボットが、自社にない商品プランやサービス内容を、あたかも存在するかのように案内してしまうことがあります。
- 資料作成の補助として使う際に、実在しない参考文献や統計データを、出典つきで生成してしまうことがあります。
中小企業が押さえたい点
- 数字、固有名詞、法律や制度、最新情報など、誤りが起きやすい分野は特に注意し、必ず別の情報源で事実確認を行うことが重要です。
- 社内文書や自社サイトの情報をもとに回答させるRAG（検索拡張生成）という仕組みを使うと、根拠のある情報に基づいた回答になりやすく、誤りを減らせる場合があります。
- 顧客向けの案内や契約に関わる内容など、誤りが実害につながる場面では、生成AIの回答をそのまま使わず、人が最終確認する運用にしておくことが望ましいです。
- 社内で生成AIを使う際は、ハルシネーションが起こり得ることを前提に、利用ルールや確認手順をあらかじめ決めておくと安心です。
よくある誤解
- 「自信を持って答えている＝正しい」と考えてしまいがちですが、生成AIは誤った内容でも同じ調子で断定的に答えるため、口調と正確さは関係ありません。
- 「性能の高いAIなら起こらない」と思われがちですが、高性能なモデルであっても仕組み上の特性としてハルシネーションは起こり得ます。
よくある質問
Q. ハルシネーションは完全になくせますか。
A. 現在の生成AIの仕組み上、完全になくすことは難しいとされています。RAGなどの工夫で発生を減らすことは可能です。
Q. どんな内容で特に注意すべきですか。
A. 法律、制度、統計データ、固有名詞、最新の出来事など、事実の正確さが重要な内容は特に注意が必要です。
Q. 社内で使う際にすぐできる対策はありますか。
A. 重要な回答は別の情報源で裏付けを取ることをルール化し、根拠となる社内資料を参照させる仕組みを整えることが有効です。
関連する用語
ほかの用語を探す
