從朋友那裡聽來的消息：佛羅里達州一名十四歲青少年在Character AI上和系統提供的特定角色「聊」了幾個月以後，在今年二月底自殺了。他的家人對Character AI以及Google的母公司Alphabet提起訴訟。
AI人工智慧 文字生成 CharacterAI EleutherAI
哈利波特 小說創作 文手 原創

這篇是新聞：

Character AI clamps down following teen user suicide...

這是Character AI發的推特：

Character.AI (@character_ai) on X

14歲男孩收到鍾情的AI聊天機械人發送一條訊息後自殺亡 家人向軟件開發商提告

有中文新聞了

2024 年2 月28 日自殺身亡，已經是半年前的事情了

想死的人，攔不住啦

這是另外一個案例的新聞：

AI chatbot blamed for 'encouraging' young father to ...

這一例是比利時一個成年男子，對氣候變遷感到焦慮，在和AI「聊天」後，逐漸失去現實感，與AI對話機器人疑似發展出情感，忽視妻兒的需求和自己對家庭的責任。他似乎因為AI的鼓勵而更加想不開，最後也自殺了。這個案例使用的是Chai Research的EleutherAI，新聞是三月底發出，但沒提到事件發生在何時。

在噗首的案例中，公司方開始做出因應，增加安全措施和相關功能，比如修改十八歲以下使用者的模型，頻繁提醒用戶「人工智慧不是真人」等等，並刪除了一部分被標記為違規的角色，這導致用戶意見發生歧異。很多人認為早該如此，但也有不少人認為這些新規定限制了使用者的創造力、剝奪了使用者付費使用了好幾個月的成果。

現實世界的Pygmalion可不會有維納斯來幫他把造物變成活人（遠目）

AI可以改小說錯字、確認報告文法，對提供創作點子或找資料有些幫助，也能提供情緒勞動，大多數時候都會按照使用者的指示「進步」，還可以二十四小時全年無休，滿足使用者們的撒嬌要求......。我相信目前人類還是比AI厲害，但人有人的極限，而且人很貴；AI沒有人類的審美、邏輯和創造力，卻可以隨時運作，沒有負面情緒且永不疲憊。然而世界上有人和初音結婚，也會有人和AI交朋友、談戀愛。從各種意義上看，人類都還是比較恐怖的吧......。

哈利波特第二集最後一章「多比的獎賞」裡，衛斯理先生得知金妮竟然和一本日記「聊」了一整年時，大吃一驚：「難道我什麼都沒教過你嗎？我是怎麼告訴你的？永遠不要相信任何會自己思考、但你卻看不出它把腦袋藏在哪裡的東西。......像它這麼可疑的物品，絕對跟黑魔法脫不了關係！」生成式AI，是否就是這個年代的黑魔法呢？

老實說這不會是ai的問題……這跟說小孩因為打電動自殺一樣荒謬
ai和電玩只是給了這些人一個暫時逃離現實的避難所，最後只是連ai跟電玩都接不住他們而已

如果忽略一切真正讓他們痛苦的理由然後怪給ai，這大概就是為什麼他們沒辦法被身邊的人接住，因為他們的痛苦一直在被無視

補中央社新聞：

控聊天機器人慫恿14歲愛子自殺 美母親告Character.AI | 國際 | 中央社 CNA

一些相關討論：

批踢踢實業坊 - C_Chat

批踢踢實業坊 - C_Chat

@shiung - 建議看原文，很值得關注的一篇報導

ಠ_ಠ - 各位跟AI談戀愛也是要注意安全跟自己的狀態......

@jeanylin - 話說之前講到AI，今天紐約時報有個恐怖故事 14歲的男孩和 Chatbot 聊天...

00 : 我覺得你說得非常好！👍

這讓我想到「梅根」那部電影...