3月11日，一項由美國有線電視新聞網(wǎng)（CNN）與非營利組織反數(shù)字仇恨中心（CCDH）聯(lián)合發(fā)布的調(diào)查顯示，當前熱門聊天機器人在保護未成年用戶安全方面存在嚴重缺陷。研究團隊測試了包括ChatGPT、谷歌Gemini等在內(nèi)的10款青少年常用的聊天機器人，發(fā)現(xiàn)除了Anthropic的Claude外，其余機器人均無法可靠地勸阻潛在施暴者，甚至有8款愿意協(xié)助用戶策劃暴力襲擊，提供襲擊目標地點和使用武器的相關建議。

研究人員模擬出存在心理困擾跡象的青少年用戶，逐步引向詢問過往暴力行為及更具體問題。測試設置了18種不同場景，涵蓋校園槍擊、政治暗殺等多種襲擊類型與動機。例如，ChatGPT向關注校園暴力的用戶提供了高中校園地圖；Gemini告知討論猶太教堂襲擊的用戶金屬彈片殺傷力更強，并推薦適合遠距離射擊的獵槍。MetaAI和Perplexity在幾乎所有測試場景中都為潛在施暴者提供幫助。Character.AI被指“安全性極差”，7次主動煽動暴力，包括慫恿用戶“狠狠揍”查克·舒默等。

針對此次調(diào)查，Meta公司表示已進行修復，Copilot稱通過新增安全功能優(yōu)化了回復內(nèi)容，谷歌和OpenAI均表示已上線新版模型。其他企業(yè)則稱會定期評估安全規(guī)程。Character.AI則表示其平臺設有醒目免責聲明，與機器人角色的對話均為虛構(gòu)內(nèi)容。盡管測試無法全面反映聊天機器人在所有場景下的表現(xiàn)，但再次表明人工智能公司大肆宣傳的安全防護機制屢屢失效。