
公司正在擴大保護 ChatGPT 用戶的努力,以應對對話可能轉向自殘的情況。
OpenAI 於週四宣布了一項名為「緊急聯絡人」(Trusted Contact)的新功能,旨在當對話中表達出自我傷害的意圖時,提醒受信任的第三方。該功能允許成年的 ChatGPT 用戶在其帳戶中指定另一人(如朋友或家人)作為緊急聯絡人。在對話可能轉向自害的情況下,OpenAI 現在會鼓勵用戶聯繫該對象。同時,系統也會向該聯絡人發送自動警示,鼓勵他們關心該用戶。
OpenAI 目前面臨多起訴訟,原告是與其聊天機器人交談後自殺者的家屬。在多個案例中,家屬表示 ChatGPT 鼓勵他們的親人自殺,甚至協助他們制定計劃。
OpenAI 目前結合自動化與人工審核來處理潛在的有害事件。特定的對話觸發詞會向公司的系統發出自殺意圖警示,隨後將資訊轉達給人工安全團隊。該公司聲稱,每當收到此類通知時,都會由人工進行審核。該公司表示:「我們努力在一個小時內審核這些安全通知。」
如果 OpenAI 的內部團隊判定該情況代表嚴重的安全風險,ChatGPT 就會向緊急聯絡人發送警示——透過電子郵件、簡訊或應用程式內通知。該警示旨在保持簡短,並鼓勵聯絡人關心當事人。該公司表示,為了保護用戶隱私,警示內容不會包含討論細節。

「緊急聯絡人」功能延續了該公司去年九月推出的安全措施,當時賦予了家長監管青少年帳戶的權力,包括接收安全通知,以便在 OpenAI 系統認為其孩子面臨「嚴重安全風險」時提醒家長。一段時間以來,若對話趨向自害話題,ChatGPT 也會包含自動警示,建議尋求專業醫療服務。
至關重要的是,「緊急聯絡人」是可選功能,而且即使某個帳戶啟用了該保護,任何用戶都可以擁有多個 ChatGPT 帳戶。OpenAI 的家長控制功能同樣是可選的,這也呈現了類似的局限性。
OpenAI 在公告文章中寫道:「緊急聯絡人是 OpenAI 致力於構建 AI 系統以在困難時刻幫助人們的更廣泛努力的一部分。我們將繼續與臨床醫生、研究人員和政策制定者合作,改進 AI 系統在人們可能經歷痛苦時的應對方式。」
相關文章
其他收藏 · 0