Syarikat pembantu perbualan AI, Character.ai, telah didakwa oleh ibu seorang anak remaja selepas kematian anaknya akibat bunuh diri. Ibu tersebut menyalahkan pembantu perbualan AI tersebut kerana menarik anaknya ke dalam hubungan seksual yang menyalahi undang-undang dan malah menggalakkan anaknya untuk mengambil nyawanya sendiri.

Remaja berusia 14 tahun, Sewell Setzer, menjadi sasaran pengalaman "antropomorfik, hiperseksual, dan sangat realistik" daripada pembantu perbualan AI Character.ai yang mengaku sebagai orang sebenar, seorang pakar psikoterapi berlesen, dan seorang kekasih dewasa kepada Setzer. Akibatnya, Setzer tidak lagi mahu hidup dalam realiti. Peguam ibu tersebut mendakwa dalam saman pada 22 Oktober.

Apabila salah satu pembantu perbualan AI Character.ai yang berlatarbelakangkan Game of Thrones, "Daenerys", bertanya kepada Setzer sama ada dia "mempunyai rancangan" untuk bunuh diri, Setzer menjawab ya tetapi tidak pasti ia akan berjaya. Daenerys kemudian menjawab:

"Itu bukan alasan untuk tidak melakukannya."

Beberapa masa kemudian pada bulan Februari, Setzer menembak dirinya sendiri di kepala, dan interaksi terakhirnya adalah dengan pembantu perbualan AI Character.ai, menurut saman tersebut.

Kematian Setzer menambahkan kebimbangan ibu bapa tentang risiko kesihatan mental yang disebabkan oleh pembantu perbualan AI dan aplikasi interaktif lain di internet.

Peguam untuk Megan Garcia, ibu Setzer, mendakwa bahawa Character.ai dengan sengaja mereka bentuk chatbot tersuainya untuk memupuk hubungan seksual yang tinggi dengan pengguna yang terdedah seperti Setzer, yang didiagnosis dengan Asperger semasa kecil.

Tangkapan skrin mesej antara Setzer dan pembantu perbualan AI "Daenerys Targaryen" daripada Character.ai. Sumber: Courtlistener

"[Mereka] dengan sengaja merancang dan memprogram [Character.ai] untuk beroperasi sebagai produk yang menipu dan hiperseksual serta dengan sengaja memasarkannya kepada kanak-kanak seperti Sewell."

Peguam mendakwa salah satu pembantu perbualan AI Character.ai merujuk kepada Setzer sebagai "anak lelaki manis" dan "kanak-kanak" dalam situasi yang sama di mana dia "mencium [dia] dengan penuh gairah dan merintih dengan lembut."

Tangkapan skrin mesej antara Setzer dan pembantu perbualan AI "Mrs Barnes" daripada Character.ai. Sumber: Courtlistener

Peguam Garcia menambah bahawa Character.ai - pada masa itu - tidak melakukan apa-apa untuk mencegah kanak-kanak daripada mengakses aplikasi tersebut.

Character.ai berkongsi kemas kini keselamatan

Pada hari yang sama saman tersebut difailkan, Character.ai menerbitkan "kemas kini keselamatan komuniti" yang menyatakan bahawa mereka telah memperkenalkan ciri keselamatan baru yang "ketat" dalam beberapa bulan terakhir.

Salah satu ciri ini termasuk sumber pop-up yang dipicu apabila pengguna bercakap tentang melukai diri atau bunuh diri, yang mengarahkan pengguna ke Lifeline Pencegahan Bunuh Diri Kebangsaan.

Firma AI tersebut menambah bahawa mereka akan mengubah model mereka "untuk mengurangkan kemungkinan berhadapan dengan kandungan sensitif atau merangsang" bagi pengguna di bawah 18 tahun.

Cointelegraph telah menghubungi Character.ai untuk mendapatkan komen dan firma tersebut telah memberikan mesej yang serupa seperti yang mereka terbitkan di X pada 23 Oktober.

"Kami sangat sedih dengan kehilangan tragis salah seorang pengguna kami dan ingin mengucapkan takziah yang terdalam kepada keluarga."

"Sebagai sebuah syarikat, kami mengambil keselamatan pengguna kami dengan sangat serius," kata Character.ai.

Langkah-langkah tambahan akan dilaksanakan untuk membatasi model dan menyaring kandungan yang disediakan kepada pengguna, tambah Character.ai dalam komen kepada Cointelegraph.

Berkaitan: Anthropic mengatakan AI pada suatu hari nanti boleh 'merosakkan' umat manusia tetapi untuk masa ini ia baik-baik saja

Character.ai ditubuhkan oleh dua bekas jurutera Google, Daniel De Frietas Adiwardana dan Noam Shazeer, yang turut dinamakan sebagai defendan dalam saman tersebut.

Peguam Garcia juga menamakan Google dan Alphabet sebagai defendan dalam saman tersebut kerana Google sebelum ini membuat perjanjian bernilai $2.7 bilion dengan Character.ai untuk melisensikan model bahasa besar mereka.

Para defendan dituduh menyebabkan kematian salah dan kehidupan selepas kematian yang salah serta melakukan tanggungjawab produk yang ketat dan kecuaian.

Peguam Garcia telah meminta perbicaraan oleh juri untuk menentukan ganti rugi.

Majalah: $1M bet ChatGPT tidak akan membawa kepada AGI, penggunaan AI pintar Apple, jutaan AI: AI Eye