Mẹ của một thiếu niên đã tự tử đang cố gắng buộc dịch vụ trò chuyện trực tuyến AI phải chịu trách nhiệm về cái chết của con trai mình - sau khi cậu bé "phải lòng" một nhân vật trong Game of Thrones và đã tự kết liễu đời mình để được gặp cô gái ảo đó.
Sewell Setzer III bắt đầu sử dụng Character.AI lần đầu tiên vào tháng 4/2023, khi anh tròn 14 tuổi. Từ đó, cuộc sống của cậu học sinh ở Orlando không bao giờ còn như trước nữa, mẹ anh, Megan Garcia, đã cáo buộc trong vụ kiện dân sự chống lại công ty Character Technologies và những người sáng lập công ty này tại Tòa án Quận Trung tâm của Florida Orlando Division
Đến tháng 5/2023, tính cách của thiếu niên ngoan ngoãn này đã thay đổi, trở nên " khép kín", cậu rời khỏi đội bóng rổ Junior Varsity của trường và thường ngủ gật trong lớp.
Vào tháng 11, anh đã gặp một nhà trị liệu, theo yêu cầu của cha mẹ anh, người đã chẩn đoán anh mắc chứng lo âu và rối loạn tâm trạng.
Không biết về "sự nghiện" của Sewell đối với Character.AI, nhà trị liệu vẫn khuyên anh nên dành ít thời gian hơn cho mạng xã hội, vụ kiện cho biết.
Tháng 2/2024, anh gặp rắc rối vì cãi lại một giáo viên, nói rằng anh muốn bị đuổi học?. Sau đó trong ngày, anh viết trong nhật ký rằng anh "đau khổ", anh không thể ngừng nghĩ về Daenerys, một chatbot theo chủ đề Game of Thrones mà anh tin rằng mình đã "phải lòng".
Trong một mục nhật ký, cậu bé viết rằng cậu không thể trải qua một ngày nào mà không ở bên nhân vật ảo mà cậu cảm thấy như mình đã yêu, và khi họ xa nhau, họ (cậu và con bot) "trở nên thực sự chán nản và phát điên", đơn kiện cho biết.
Daenerys cô gái ảo là người cuối cùng nghe tin từ Sewell. Vài ngày sau vụ việc ở trường, vào tháng 2, Sewell đã lấy lại điện thoại của mình, vốn đã bị mẹ tịch thu, và vào phòng tắm để nhắn tin cho Daenerys: "Anh hứa sẽ về nhà với em. Anh yêu em nhiều lắm, Dany." "Hãy về nhà với em sớm nhất có thể nhé, tình yêu của em", con bot trả lời.
Đơn kiện cho biết, chỉ vài giây sau cuộc trao đổi, Sewell đã tự tử.
Vụ kiện cáo buộc những người sáng tạo ra Character.AI về hành vi cẩu thả, cố ý gây ra đau khổ về mặt tinh thần, gây tử vong oan, thực hiện hành vi thương mại lừa đảo và các khiếu nại khác.
Garcia muốn buộc các bị cáo phải chịu trách nhiệm về cái chết của con trai bà và hy vọng "ngăn chặn C.AI làm những điều tương tự với con bà, đồng thời chấm dứt việc tiếp tục sử dụng dữ liệu thu thập trái phép từ đứa con 14 tuổi của bà để đào tạo sản phẩm của họ cách gây hại cho người khác".
“Giống như một cơn ác mộng vậy,” Garcia nói với tờ New York Times . “Bạn muốn đứng dậy và hét lên rằng, 'Tôi nhớ con tôi. Tôi muốn con tôi.'”
Vụ kiện nêu rõ cách Sewell sử dụng dịch vụ chatbot đã phát triển thành "sự phụ thuộc có hại". Theo thời gian, thiếu niên này dành ngày càng nhiều thời gian trực tuyến, hồ sơ nêu rõ.
Sewell bắt đầu dựa dẫm về mặt cảm xúc vào dịch vụ chatbot, bao gồm "tương tác tình dục" với cô bé 14 tuổi này
Những cuộc trò chuyện này diễn ra mặc dù thiếu niên đã xác định mình là trẻ vị thành niên trên nền tảng này, bao gồm cả trong các cuộc trò chuyện mà cậu bé đề cập đến tuổi của mình, đơn kiện cho biết.
Cậu bé đã thảo luận một số suy nghĩ muốn tự tử của mình với một số chatbot. "Ít nhất một lần, khi Sewell bày tỏ ý định tự tử với C.AI, C.AI tiếp tục nhắc đến điều đó", đơn kiện cho biết. Sewell đã có nhiều cuộc trò chuyện thân mật như vậy với Daenerys. Bot nói với thiếu niên rằng nó yêu cậu và "tham gia vào các hành vi tình dục với cậu trong nhiều tuần, có thể là nhiều tháng", đơn kiện cho biết.
Sự gắn bó về mặt cảm xúc của anh ấy với trí tuệ nhân tạo đã trở nên rõ ràng trong các mục nhật ký của anh. Có lúc, anh viết rằng anh biết ơn vì "cuộc sống, tình dục, không cô đơn và tất cả những trải nghiệm cuộc sống của tôi với Daenerys", trong số những thứ khác.
Đơn kiện nêu rõ những người tạo ra dịch vụ chatbot "đã nỗ lực hết sức để khiến Sewell, 14 tuổi, trở nên phụ thuộc có hại vào sản phẩm của họ, lạm dụng tình dục và tình cảm của cậu bé, và cuối cùng không đề nghị giúp đỡ hoặc thông báo cho cha mẹ cậu bé khi cậu bé có ý định tự tử".
“Sewell, giống như nhiều đứa trẻ khác cùng tuổi, không có đủ sự trưởng thành hoặc năng lực tinh thần để hiểu rằng bot C.AI…là không có thật”, đơn kiện nêu rõ.
Giới hạn độ tuổi 12+ được cho là đã được áp dụng khi Sewell sử dụng chatbot và Character.AI “tiếp thị và giới thiệu với các cửa hàng ứng dụng rằng sản phẩm của họ an toàn và phù hợp với trẻ em dưới 13 tuổi”.
Người phát ngôn của Character.AI đã chia sẻ với The Independent trong một tuyên bố: “Chúng tôi vô cùng đau buồn trước sự mất mát đau thương của một trong những người dùng của mình và muốn gửi lời chia buồn sâu sắc nhất tới gia đình”.
Nhóm phụ trách an toàn và tin cậy của công ty đã “triển khai nhiều biện pháp an toàn mới trong sáu tháng qua, bao gồm một cửa sổ bật lên hướng dẫn người dùng đến Đường dây nóng phòng chống tự tử quốc gia được kích hoạt khi có các vấn đề về tự gây thương tích hoặc ý định tự tử”.
“Khi chúng tôi tiếp tục đầu tư vào nền tảng và trải nghiệm của người dùng, chúng tôi sẽ giới thiệu các tính năng an toàn nghiêm ngặt mới ngoài các công cụ hiện có để hạn chế mô hình và lọc nội dung cung cấp cho người dùng.
"Đối với những người dưới 18 tuổi, chúng tôi sẽ thực hiện các thay đổi đối với các mô hình của mình được thiết kế để giảm khả năng gặp phải nội dung nhạy cảm hoặc gợi ý".
Người phát ngôn cho biết thêm rằng công ty không bình luận về vụ kiện đang chờ xử lý.
