こども家庭庁は、虐待が疑われる子どもの一時保護の必要性を、AIで判定するシステムの導入を見送る方針を決定した。試行の結果、91という入力項目の多さや判定ミスが6割に達したことから、実用化は困難と判断された。

AI導入の目的

同AIシステムは、以下の目的で開発が進められていた。

• 児童相談所等において、特に経験の浅い職員の判断をAIでサポートし、一時保護対応の質を向上させる
• 通告から記録までの業務時間の短縮など、関連業務を含めた業務の効率化
• 一時保護対応の迅速化

政府は2021年度から約10億円を投じて開発を進めていたが、試行の結果、約6割のケースでAIが算出したスコアに疑義が生じ、実用化は困難と判断された。

試行検証の結果

こども家庭庁によると、AIに、約5千件の虐待記録を学習させた。全国の10自治体の児童相談所が協力し、過去の実事例100ケースを対象に、試行検証を実施。その結果は以下の通りだった。

• 13件：「高い」判定
• 41件：「低い」判定
• 8件：「スコアの幅が広く、判断に活用できない」

また、AIの判定結果と、経験豊富な児童福祉司（ベテラン職員）の判断に大きな乖離があったことがわかり、ベテラン職員が「緊急性が高く一時保護が必要」と判断したケースで、AIのスコアが極端に低リスクだった。逆に、AIが「高リスク」と判定したケースでも、現場の職員が問題なしと判断する例もあった。

児童虐待のケースは個別性が強く、単純なデータの統計分析では適切な判断を下しにくい。AIの精度を向上させるためには、大量の高品質な過去データが必要だが、データにばらつきがあり、プライバシーや個人情報の問題も関わっているため、学習データの質を確保することが難しいと言う。

この結果、AI単独での判定精度は十分とは言えず、かえって誤った判断を招くリスクがあると判断された。

試行検証の結果に加え、有識者からの見解も踏まえたうえで、現段階で本ツールを全国にリリースしても実際に活用される可能性は低いと結論づけられた。特に、AIの判定精度が不十分な状態では、児童福祉司の判断に誤った影響を与えかねないとの懸念があった。

こども家庭庁は今後、AI技術の進歩を踏まえ、精度向上の可能性を引き続き検討する方針を示している。