中国・安徽省滁州市で、なんとも痛ましい出来事が起きた。67歳の農夫が、AIに勧められた通りに農薬を散布したところ、翌朝には約10ヘクタール分のゴマの苗がすべて枯れてしまったのだ。

きっかけは「いつものAI相談」

農家の呉さんは、1年以上前からAIアプリを使い、肥料や農薬の使い方、農作業のタイミングなどを相談していた。最初は「本当に大丈夫か」と半信半疑だったが、次第にAIの回答を信頼するようになっていったという。

7月10日、いつものように「ゴマ畑の除草と害虫対策を教えてほしい」とAIに尋ねたところ、AIは100ムー(約6.7ヘクタール)向けの詳細な散布プランを提案してきた。フルアジホップP、ホメサフェン、チアメトキサムなど複数の薬剤を組み合わせて使うよう勧める内容だった。

呉さんが素直にその通り散布したところ、翌日には、雑草よりも先にゴマの苗のほうが枯れてしまった。

「原因はホメサフェンです」とAI自身が回答

呉さんが「なぜ枯れたのか」と改めてAIに聞くと、AIはあっさりと「提案した薬剤のうち、ホメサフェンが原因だ」と認めた。

実はこのホメサフェン、本来は大豆畑の広葉雑草を退治するための薬剤で、ゴマ畑全体に撒くようなものではない。近所の農薬販売業者や農業技術者によると、使うとしても作物にかからないよう雑草だけをピンポイントで狙う必要があり、畑全体に散布すれば作物ごと枯らしてしまう危険があるという。

運営側は申し出を記録　その後の対応は不明

呉さんは、「AIは薬剤の危険性についてちゃんと警告しなかった」と訴えている。

実はアプリの画面上部には、「AIが生成した内容には誤りが含まれる可能性があります。確認してください」という注意書きが小さく表示されていた。しかし呉さんはこれまで一度も気づいたことがなかったという。

このアプリの運営会社に問い合わせたところ、「独自のデータベースは持っておらず、ネット上の公開情報を組み合わせて回答を生成している」との説明があった。今回の回答がどんな情報をもとに作られたのかは、現在調査中だという。

一方、肝心の損害については「申し出を記録する」という回答にとどまり、報道時点でその後の対応は明らかにされていない。なお、報道元の「荔枝新聞」も、問題のAIアプリの名前は公表していない。

この問題を受け、インターネット上では、「AIは参考にはできるが、うのみにしてはいけない」「問題が起きても責任を追及する手段がない」「これほど広い畑なのに、なぜAIの回答をそのまま信じたのか」などの声が上がった。

台湾国防安全研究院の謝沛学氏は以前、大紀元の取材に対しこう指摘していた。AIの大規模言語モデルは、たとえ荒唐無稽な作り話であっても、真偽を確かめずにそのまま受け入れてしまうことがあるという。

これはつまり、AIが「情報の出どころが信頼できるかどうか」を見極める力に、まだ大きな課題を抱えているということだ。最近はリアルタイム検索を使って素早く回答を作るAIも増えているが、その分、情報源の質をじっくり検証する余裕がなくなり、かえって偽情報に引っかかりやすくなる面もあるようだ。

実際、中国共産党（中共）の官製メディア、中共中央テレビは今年3月、架空の商品を紹介する宣伝記事が出てからわずか2時間後、あるAIモデルがその商品を紹介・推奨し始めたと報じている。

また鳳凰網によれば、虚偽の宣伝記事を11本連続で公開したところ、3日後にはDeepSeekや豆包といったAIモデルまでもが、関連商品のおすすめとしてその架空商品を上位に表示するようになっていたという。