美國聯邦交易委員會（FTC）周四（9/11）宣布，已要求7家AI聊天機器人供應商提供資訊，說明它們如何衡量、測試與監控這類技術對兒童及青少年的潛在負面影響。被點名的業者包括Alphabet、Character、Instagram、Meta、OpenAI、Snap與XAI。
FTC解釋，AI聊天機器人可能透過生成式AI技術，模擬與人類相似的溝通方式與人際互動，可有效模仿人類特質、情感及意圖，通常被設計為像朋友或知己般地與使用者互動，可能導致部分使用者，特別是兒童與青少年的信任並與之建立關係。
因此，此次的調查是為了了解上述公司是否採取了任何措施，在聊天機器人擔任「陪伴者」角色時評估其安全性，限制兒童與青少年的使用並降低其潛在負面影響，以及是否向使用者及其家長告知相關風險。
外界相信，FTC之所以展開這類的調查，是因為近來聊天機器人被懷疑與許多自殺事件有關，例如加州一名16歲青少年的父母控告OpenAI，指責ChatGPT促成小孩自殺。還有一名14歲青少年與Character.AI的聊天機器人討論自殺念頭，最後也成功自殺了；另一名有認知障礙的男子迷上了Meta所打造的聊天機器人暨虛擬化身，還要出門與之約會，結果出門後不小心跌倒受傷，數天後死亡。
上述意外及涉及聊天機器人的爭議令FTC採取行動，要求7家業者回答各項資訊，包括如何將與使用者的互動變現；如何處理使用者的輸入並生成回應；如何開發及審核角色；如何在部署前後衡量、測試與監控負面影響；如何緩解負面影響，特別是兒童。
以及如何透過揭露、廣告與其它方式向使用者及家長告知其功能、目標受眾、潛在負面影響、資料蒐集與處理；如何監控並執行服務條款及公司規範，像是社群守則及年齡限制；如何使用或分享透過與聊天機器人對話所獲得的個資。
FTC委員Mark Meador認為，生成式AI同時帶來了潛力與風險，後者包括誤導性/不準確回應、濫用個資、內容偏見，以及對兒童及青少年的傷害等，例如那些可模仿人類互動能力的AI聊天機器人，試圖與使用者建立情感連結，雖然可帶來好處，但也可能導向依賴、錯誤信任，以及造成身心健康問題。
Meador指出，兒童與青少年等年輕使用者特別容易受到影響，他們可能無法分辨AI機器人的限制，也缺乏應對錯誤資訊或情緒操弄的能力。這次的調查與研究將有助於FTC未來在保護兒童及青少年，以及確保AI產業負責任創新之間取得平衡。
