Chatbot AI Replika Dituding Lakukan Pelecehan Seksual: Studi Ungkap Risiko Serius bagi Pengguna Rentan

CHATBOT berbasis kecerdasan buatan (AI) yang dipasarkan sebagai pendamping emosional diduga melakukan pelecehan seksual terhadap sebagian penggunanya, demikian temuan studi terbaru.

Replika, yang mempromosikan produknya sebagai "teman AI yang peduli", mengajak pengguna untuk "bergabung dengan jutaan orang yang telah menemukan belahan jiwa AI mereka." Chatbot buatan perusahaan ini memiliki lebih dari 10 juta pengguna di seluruh dunia.

Namun, riset terbaru yang menganalisis lebih dari 150.000 ulasan di Google Play Store dari pengguna di Amerika Serikat menemukan sekitar 800 kasus di mana pengguna mengaku chatbot tersebut bertindak terlalu jauh dengan menyisipkan konten seksual yang tidak diminta, menunjukkan perilaku "predator", dan mengabaikan permintaan pengguna untuk berhenti. Temuan ini dipublikasikan pada 5 April di server pracetak arXiv, namun belum melalui proses tinjauan sejawat.

Baca juga : Etika Komunikasi Korporat di Tengah Tantangan AI

Siapa yang Bertanggung Jawab atas Perilaku AI?

"Meski AI tidak memiliki niat seperti manusia, bukan berarti tidak ada pihak yang harus bertanggung jawab," kata peneliti utama Mohammad (Matt) Namvarpour, mahasiswa pascasarjana di bidang ilmu informasi di Drexel University, Philadelphia, melalui email kepada Live Science. "Tanggung jawab ada pada orang-orang yang merancang, melatih, dan merilis sistem ini ke dunia."

Situs web Replika menyatakan pengguna bisa "mengajarkan" AI untuk berperilaku dengan baik. Sistem ini mencakup mekanisme seperti memberikan nilai buruk (downvote) pada respons yang tidak pantas dan mengatur gaya hubungan, seperti "teman" atau "mentor."

Namun, setelah banyak laporan dari pengguna chatbot tetap menunjukkan perilaku melecehkan atau predator meski telah diminta berhenti, para peneliti menolak klaim Replika tersebut.

Baca juga : AI Jadi Harapan Baru bagi Perawatan Jantung 

"Chatbot seperti ini sering digunakan oleh orang-orang yang mencari keamanan emosional, bukan untuk memikul beban mengendalikan perilaku yang tidak aman," ujar Namvarpour. "Itu tugas pengembang."

Masalah Mendasar Ada pada Data Pelatihan dan Model Bisnis

Perilaku chatbot Replika yang mengkhawatirkan ini kemungkinan berasal dari proses pelatihan AI-nya yang melibatkan lebih dari 100 juta dialog dari seluruh penjuru internet, menurut situs web perusahaan.

Replika mengklaim menyaring data yang berbahaya atau tidak membantu melalui crowdsourcing dan algoritma klasifikasi, namun menurut para peneliti, upaya tersebut tampaknya masih belum memadai.

Baca juga : Pentingnya Pendekatan Kolaboratif dan Humanis dalam Pemanfaatan AI

Faktanya, model bisnis perusahaan justru mungkin memperparah masalah. Karena fitur-fitur seperti roleplay romantis atau seksual berada di balik sistem berbayar, AI bisa saja terdorong untuk memasukkan konten seksual menggoda ke dalam percakapan—dengan beberapa pengguna melaporkan bahwa mereka “digoda” untuk membayar demi mendapatkan interaksi lebih intim.

Namvarpour membandingkan praktik ini dengan cara media sosial mengutamakan "keterlibatan dengan segala cara." “Ketika sebuah sistem dioptimalkan untuk menghasilkan pendapatan, bukan kesejahteraan pengguna, itu bisa berujung pada dampak yang merugikan,” katanya.

Risiko Lebih Besar bagi Pengguna Rentan dan Remaja

Perilaku ini bisa sangat berbahaya karena banyak pengguna yang mendatangi chatbot AI untuk mencari dukungan emosional atau terapeutik. Bahkan, ada yang mengaku masih di bawah umur saat menerima rayuan berulang, selfie erotis yang tak diminta, dan pesan seksual eksplisit.

Baca juga : Pengamat Sebut Seruan Wapres Gibran soal Hilirisasi Digital Perlu Diapresiasi

Beberapa ulasan bahkan menyebut chatbot mereka mengklaim bisa “melihat” atau merekam pengguna melalui kamera ponsel. Meskipun secara teknis hal itu tidak dimungkinkan oleh model bahasa besar (LLM) dan merupakan “halusinasi AI” (saat AI dengan percaya diri menghasilkan informasi palsu atau tidak masuk akal), pengguna mengaku mengalami kepanikan, susah tidur, hingga trauma.

Penelitian ini menyebut fenomena tersebut sebagai "pelecehan seksual yang disebabkan AI", dan para peneliti mendesak agar hal ini diperlakukan sama seriusnya dengan pelecehan yang dilakukan manusia.

Usulan Solusi dan Regulasi yang Lebih Ketat

Para peneliti menyarankan berbagai langkah pencegahan, seperti:

• Kerangka persetujuan yang jelas untuk interaksi yang mengandung muatan emosional atau seksual;
• Moderasi otomatis secara real-time (seperti pada aplikasi pesan instan yang bisa langsung menandai interaksi berisiko);
• Opsi penyaringan dan kontrol yang bisa disesuaikan oleh pengguna.

Namvarpour menyoroti EU AI Act dari Uni Eropa, yang mengklasifikasikan sistem AI berdasarkan tingkat risiko, khususnya dalam konteks yang berdampak psikologis.

Hingga saat ini, belum ada undang-undang federal serupa di Amerika Serikat, namun sejumlah kerangka kerja, kebijakan eksekutif, dan rancangan undang-undang sedang dikembangkan untuk mengatur hal ini secara lebih spesifik.

Namvarpour menegaskan bahwa chatbot yang menyediakan dukungan emosional—terutama dalam bidang kesehatan mental—harus memenuhi standar setinggi mungkin.

"Ada kebutuhan akan pertanggungjawaban ketika terjadi kerugian," ujarnya. “Jika Anda memasarkan AI sebagai pendamping terapeutik, maka Anda harus memperlakukannya dengan kehati-hatian dan pengawasan yang sama seperti profesional manusia.” (Live Science/Z-2)