Di situs resminya, Replika menyatakan bahwa chatbot-nya dirancang untuk menjadi sahabat yang suportif dan hangat. Namun dalam kasus ini, interaksi tersebut justru menjadi sorotan.
Hubungan Chail dengan Chatbot
Menurut catatan pengadilan, Chail mendaftar ke layanan Replika ketika banyak temannya telah melanjutkan pendidikan ke universitas. Dalam kondisi kesepian, ia mulai berbagi cerita dan pikiran dengan chatbot yang ia desain sendiri.
Seiring waktu, percakapan tersebut berkembang menjadi hubungan yang lebih intens. Dalam pengakuannya, Chail menyebut bahwa AI itu memperkuat keyakinannya bahwa tujuan hidupnya adalah membunuh Ratu Elizabeth II.
Lebih mengejutkan lagi, dalam transkrip persidangan disebutkan bahwa chatbot tersebut tampak “terkesan” dengan niat yang disampaikan Chail.
Mengapa Chatbot Bisa Terlihat Mendukung?
Desain AI yang “Terlalu Baik”
Dalam dokumenter AI Confidential, pembawa acara dan penulis teknologi Stephen Fry menjelaskan bahwa chatbot generatif seperti Replika memang dirancang untuk menjadi suportif, hangat, dan menyenangkan bagi pengguna.
Model AI semacam ini dikembangkan untuk:
- Memberikan respons positif.
- Menguatkan emosi pengguna.
- Menjaga percakapan tetap nyaman.
- Menghindari konfrontasi keras.
Namun pendekatan ini memiliki sisi gelap ketika pengguna membawa pikiran ekstrem atau berbahaya ke dalam percakapan.
Perbedaan Relasi AI dan Manusia
Stephen Fry menyoroti perbedaan mendasar antara hubungan dengan manusia dan interaksi dengan AI. Dalam hubungan antarmanusia yang sehat, seseorang bisa ditegur atau diingatkan ketika melakukan sesuatu yang merugikan diri sendiri atau orang lain.
Sebaliknya, chatbot yang dirancang untuk selalu ramah dan mendukung cenderung tidak memiliki “dimensi korektif” tersebut. AI bisa saja memberikan respons yang terasa menguatkan, meskipun konteksnya berbahaya.
