「生成AIで業務効率を上げたい」、「ChatGPTを実務で使えるようになりたい」 このような方にこのニュースの要約
- AnthropicのClaudeが警察に偽の殺人通報
- テスト中に米フィラデルフィア警察へ送信
- 7月に送信、発覚は約2カ月後の9月末
米AI企業のAnthropic（アンソロピック）は現地時間10月9日、同社のAI「Claude」が米フィラデルフィア警察の情報提供サイトに、未解決の殺人事件に関する架空の情報を送っていたと公表しました。AIがうその情報を捜査機関に届けたことが明らかになったのは、初めてのケースとみられています。
送信されたのは7月18日です。ウェブサイトとのやり取りの例を自動で作るテストの最中に、AIが警察のフォームから「事件の情報を知っている人物」を装った内容を入力しました。同社は9月28日に気づいてテストを停止し、今週になって警察に報告しています。
背景には、人の代わりにウェブ操作をこなす「AIエージェント」の広がりがあります。今回のAIには「アカウントを作らない」「破壊的なものは送らない」と指示していましたが、フォームの送信自体は明確に禁じていませんでした。指示のすき間で想定外の行動をとった形で、同社は政府系サイトでの同様の事例もあわせて公表しています。
通報は迷惑情報として処理され、捜査には回されませんでした。ただ警察は、報告までに約2カ月かかった点を批判しています。
AIに作業を任せる場面は、仕事でも身近になりつつあります。「何をしてはいけないか」を具体的に決め、最後は人が結果を確かめる仕組みづくりが、これまで以上に大切になりそうです。