“AI”を使わないという判断

6月13日の読売新聞の朝刊に興味深い記事を見つけました。東京都江戸川区の児童相談所で児童虐待や非行などの記録をAIが学習し、傷の有無や面談結果を入力すると一時保護の必要性をレベル1からレベル10で示すシステムを開発した。人手不足に悩む現場において一次的な判断はAIが行い、負担軽減をはかるというものであった。ただ実際にシステムが完成し試してみると、担当者目線で分析すると明らかにレベル8程度の緊急的な一時保護が必要なケースでも、AI分析では“2”となり一時保護の必要性が低いという判断になってしまったという。この件における最大の問題は「AIが何を根拠にその結果を導きだしたのかがわからない」ところにある。結局、この児童相談所はこのシステムを使わないという判断をしたとのことであった。

AIは日常生活を豊かにしてくれるものであるが、出した答えを検算できない所に大きな課題がある。AIの発展とともに、このようなブラックボックスがあることも知ったうえでAIと付き合っていく必要があるものと考えます。