公的ながん情報サイトを参照し、誤ったAI回答（ハルシネーション）を削減― JMIR Cancer 掲載論文で有効性を検証 ―
株式会社pipon（本社：東京都豊島区、代表取締役：北爪聖也、以下「pipon」）は、国立研究開発法人 国立がん研究センターと共同で、公的ながん情報をもとに安全性の高い回答を行うRAG（Retrieval-Augmented Generation）型AIチャットボット基盤を構築しました。

本基盤を用いた評価研究の結果は、国際オンライン医学誌 JMIR Cancer に
「Reducing Hallucinations and Trade-Offs in Responses in Generative AI Chatbots for Cancer Information: Development and Evaluation Study」として掲載されています。
 
■ がん情報に特化したRAG型AIチャットボット基盤とは 
本共同研究では、がん患者さん・ご家族・一般の方向けに、インターネット上の誤情報によるリスクを減らすことを目的として、以下の特徴を持つRAG型AIチャットボット基盤を構築しました。
 
piponは、このRAGシステム全体の設計・実装・運用基盤の構築を担当し、国立がん研究センターが医学的評価・解析を行いました。
 
■ piponが構築したRAG基盤の技術的なポイント 
本研究で使用されたRAGチャットボットは 
医療現場向けAIカルテ生成サービス「ボイスチャート」で培った安全性・再現性の高いAI基盤技術を、がん情報提供向けに最適化した形で実装しています。
 
 ■ 研究結果：公的情報×RAGでハルシネーションを大幅削減 
62問のがん関連の日本語質問に対して6種類のチャットボットが回答し、その内容を医師が評価した結果、以下のことが明らかになりました。
 
従来型チャットボット（RAGなし）
 約 40％ の回答に医学的に誤った内容（ハルシネーション）を含む
 
CISを参照するRAGチャットボット 
GPT-4：ハルシネーション 0％
 GPT-3.5：6％
 
Google検索を参照するRAGチャットボット 
GPT-4：13％
 GPT-3.5：23％
 
多変量解析の結果、
 Google検索を参照するRAGは、CIS参照RAGと比べて
ハルシネーション発生のオッズ比が 9.4倍
 
従来型チャットボット（RAGなし）は 16.1倍
 となり、「どのAIか」以上に「どの情報源を参照するか」が安全性を左右することが定量的に示されました。
 
また、CISに情報が存在しない質問に対しては、CIS参照RAGチャットボットはあえて回答しない／回答を控える振る舞いを示し、誤情報の提示を避けることにも成功しました。
 
■ 本取り組みの意義：医療・公的分野での「安全なAI活用」へ 
本研究で構築・検証されたRAG基盤により、以下のような可能性が示されています。
 
公的・エビデンスベースの情報に限定してAIが回答することで、
がん患者さん・ご家族への誤情報リスクを大幅に低減
 
「わからないときは答えない」設計により、
医療分野に求められる安全側のAI設計思想を実現
 
ガイドライン・学術論文・公的資料などへ情報源を拡張することで、
医療機関・公的機関向けの高信頼RAGチャットボットへの発展が可能
 
piponは、本研究で実証された技術をもとに、医療・公的領域における安全で説明可能なAI基盤の提供を今後も進めていきます。
 
 ■ 代表コメント 
株式会社pipon 代表取締役 北爪聖也 
「生成AIは非常に便利である一方で、もっともらしい誤回答（ハルシネーション）が医療分野では大きなリスクになります。
今回、国立がん研究センター様とともに、公的ながん情報サービスを土台としたRAG型チャットボット基盤を構築し、その有効性が国際誌で示されたことは、“安全に医療情報を届けるAI”が現実的な選択肢になりつつあることの証左だと考えています。」
 
 ■ 株式会社piponについて 
株式会社piponは、音声・テキストAI基盤およびRAGソリューションを提供するスタートアップです。
 
医療現場向けAIカルテ生成サービス「ボイスチャート」をはじめ、
会話・文書・公的情報を統合して安全に活用するAIデータ基盤の企画・開発・運用を行っています。
 
会社名：株式会社pipon 
所在地：東京都豊島区上池袋1-10-8エデン上池袋7階
 代表者：代表取締役 北爪聖也
 事業内容：医療領域向けAI／RAGソリューションの企画・開発・運用 ほか
 URL：https://pipon.net