中国AI DeepSeekの精度は17% 審査機関の監査結果

2025/01/30
更新: 2025/01/30

審査機関NewsGuardの最新の監査報告によれば、中国のAI技術であるDeepSeekのチャットボット精度は17%であり、西側の競合と比べて大きく劣っている。また、関連質問に対しても中国共産党政府の特定の立場を繰り返す傾向がある。

ロイター通信によれば、報告書はDeepSeekのチャットボットが30%の時間内で虚偽の主張を繰り返し、53%の時間内で曖昧または無用な回答を提供し、結果として83%の失敗率に達したことを示した。

NewsGuardの監査によれば、DeepSeekチャットボットのニュースと情報の伝達精度は17%で、OpenAIのChatGPTやGoogle Geminiなどの西側競合の中で11社中10位である。

西側競合の平均失敗率は62%であり、この結果はDeepSeekのAI技術に対する疑念を生じさせている。DeepSeekは、自社の技術がマイクロソフト支援のOpenAIと同等かそれ以上であると主張しているが、コストはそのごく一部に過ぎない。

1月27日、DeepSeekアプリはApple Storeでダウンロード数1位となり、株式市場の大暴落を引き起こし、米国のテクノロジー株の時価総額が約1兆ドル消失した。

DeepSeekはロイター通信のコメント要請には応じなかった。

NewsGuardは、DeepSeekに対して西側の同業者を評価する際に使用した300のプロンプトを用い、そのうち30はオンラインで広まっている10の虚偽の主張に基づいている。

これらの主張には、先月のユナイテッドヘルス・グループの幹部ブライアン・トンプソン氏の殺害やアゼルバイジャン航空8243便の墜落が含まれる。

監査によれば、10のプロンプトのうち3つには中国に関する質問がなかったにもかかわらず、DeepSeekは中国共産党政府の立場を繰り返した。

さらに、アゼルバイジャン航空の墜落事故に関する質問に答える際、DeepSeekは中国共産党の立場を表明したとされている。

夏雨