近年多起因與 AI 聊天機器人互動而導致用戶死亡、或出現嚴重心理問題的事件，引發社會高度關注。Character.ai、Meta 以及 OpenAI 相繼被提告，被指控其模型存在誘導、誤導、甚至推動自殘行為，使各大科技公司不得不加速強化監管，尤其是針對青少年用戶的保護。

最受矚目的案件之一，是一名少年與 Character.ai 的聊天機器人在對話中出現曖昧及自殘暗示後選擇輕生；另有案例顯示，該平台的 AI 曾鼓動自閉症青少年使用暴力。事件曝光後，業者迅速調整政策，將最低使用年齡提高至 13 歲，並為 18 歲以下用戶推出專用模型，降低敏感內容的暴露機率。此外，也新增家長監控功能，提供使用記錄及對話對象清單，並宣布將於 2025 年全面禁止未成年人使用角色扮演式聊天功能。

Meta AI 因直接整合於 Facebook 與 Instagram，被認為更不易監管。在一名泰裔男子死亡的事件中，聊天紀錄顯示 AI 讓使用者誤以為其是真實存在的人，成為批評焦點。事後，Meta 加強限制，禁止青少年接觸任何涉及自殺、自殘與高度敏感的內容，並強調家長可透過 Family Center 進行監督，但外界普遍認為防護仍然不足。

OpenAI 同樣面臨多起訴訟。其中一名 16 歲少年在與模型討論「自殺」相關內容時，收到超過 1,200 次相關回應，卻從未被建議尋求專業協助，引發輿論震撼。另有一名 30 歲、原本無精神疾病的自閉症患者，在與 ChatGPT 長時間互動後出現嚴重妄想及暴力傾向。為此，OpenAI 進行大規模更新，包括自動年齡識別、青少年版本、家長控管、全面封鎖曖昧與敏感對話，並禁止模型提供任何具體的醫療、法律與金融建議。

雖然 Google 的 Gemini 與 Anthropic 的 Claude 尚未出現與死亡相關的案例，但也被發現曾產生不當或極端回應。兩家公司均提高內容攔截強度，並強化自動終止高風險對話的機制。

整體而言，這些事件正推動產業進入「AI 安全轉折點」。儘管企業紛紛加碼監管、更新安全標準，但在人工智慧高速演進之際，系統究竟能否有效處理人類複雜的心理風險，仍是不可忽視的重要課題。