Algoritma Media Sosial Ini menodai otak Anda

PADA 2022, Cai saat itu berusia 16 tahun, sedang menggulir ponselnya. Dia mengatakan salah satu video pertama yang dia lihat di media sosialnya adalah seekor anjing yang lucu. Namun, semuanya berubah.

Dia mengatakan “entah dari mana” dia direkomendasikan video tentang seseorang yang ditabrak mobil, monolog dari seorang influencer yang berbagi pandangan misoginis, dan klip perkelahian yang penuh kekerasan. Dia mendapati dirinya bertanya - mengapa saya?

Di Dublin, Andrew Kaung bekerja sebagai analis keamanan pengguna di TikTok, sebuah jabatan yang dipegangnya selama 19 bulan, dari Desember 2020-Juni 2022.

Baca juga : Lima Cara TikTok Tingkatkan Keamanan dan Kenyamanan Bagi Remaja

Kaung dan seorang kolega memutuskan untuk meneliti pengguna di Inggris yang direkomendasikan algoritme aplikasi ini, termasuk beberapa anak berusia 16 tahun. Tidak lama sebelumnya, dia pernah bekerja untuk perusahaan saingan Meta, yang memiliki Instagram, salah satu situs yang digunakan Cai.

Ketika Andrew melihat konten TikTok, ia terkejut ketika mendapati bagaimana beberapa remaja laki-laki diperlihatkan unggahan yang menampilkan kekerasan dan pornografi, serta mempromosikan pandangan misoginis, katanya kepada BBC Panorama. Dia mengatakan, secara umum, remaja perempuan direkomendasikan konten yang sangat berbeda berdasarkan minat mereka.

TikTok dan perusahaan media sosial lainnya menggunakan alat AI untuk menghapus sebagian besar konten berbahaya dan menandai konten lain untuk ditinjau oleh moderator manusia, terlepas dari jumlah penayangannya. Tetapi alat AI tidak dapat mengidentifikasi semuanya.

Baca juga : Kepala FBI Peringatkan Ancaman TikTok saat Senat AS Bersiap Mendukung Larangan

Andrew Kaung mengatakan bahwa selama dia bekerja di TikTok, semua video yang tidak dihapus atau ditandai oleh AI kepada moderator manusia, hanya akan ditinjau lagi secara manual jika mencapai ambang batas tertentu.

Dia mengatakan pada satu titik, ambang batas ini ditetapkan hingga 10.000 penayangan atau lebih. Dia khawatir hal ini berarti beberapa pengguna yang lebih muda terpapar dengan video yang berbahaya. Sebagian besar perusahaan media sosial besar mengizinkan orang berusia 13 tahun ke atas untuk mendaftar.

TikTok mengatakan 99% dari konten yang dihapus karena melanggar peraturannya akan dihapus oleh AI atau moderator manusia sebelum mencapai 10.000 penayangan. TikTok juga mengatakan mereka melakukan investigasi proaktif pada video yang memiliki jumlah penayangan kurang dari jumlah ini.

Baca juga : Penampilan Perdana Joe Biden Di TikTok Timbulkan Kontroversi

Ketika dia bekerja di Meta antara tahun 2019 dan Desember 2020, Andrew Kaung mengatakan ada masalah yang berbeda. Meskipun sebagian besar video dihapus atau ditandai ke moderator oleh alat AI, situs ini mengandalkan pengguna untuk melaporkan video lain setelah mereka melihatnya.

Dia mengatakan dia telah menyampaikan kekhawatirannya ketika berada di kedua perusahaan tersebut, tetapi tidak ada tindakan yang dilakukan. Dia mengatakan beberapa perbaikan telah dilakukan di TikTok dan Meta, tetapi dia mengatakan pengguna yang lebih muda, seperti Cai, dibiarkan dalam bahaya untuk sementara waktu.

Beberapa mantan karyawan dari perusahaan media sosial tersebut mengatakan kepada BBC bahwa kekhawatiran Andrew Kaung sejalan dengan pengetahuan dan pengalaman mereka.

Baca juga : Remaja AS Berbondong-bondong Tinggalkan Facebook

Algoritma dari semua perusahaan media sosial besar telah merekomendasikan konten berbahaya untuk anak-anak, bahkan jika tidak sengaja, kata regulator Inggris, Ofcom, kepada BBC.

“Perusahaan-perusahaan telah menutup mata dan memperlakukan anak-anak sebagaimana mereka memperlakukan orang dewasa,” kata Almudena Lara, direktur pengembangan kebijakan keamanan online Ofcom.

TikTok mengatakan kepada BBC, mereka memiliki pengaturan keamanan yang “terdepan di industri” untuk remaja dan mempekerjakan lebih dari 40.000 orang yang bekerja untuk menjaga keamanan pengguna. Dikatakan bahwa tahun ini saja, perusahaan ini akan menginvestasikan “lebih dari US$2 miliar (£1,5 miliar) untuk keamanan”, dan dari konten yang dihapusnya karena melanggar peraturan, mereka menemukan 98% di antaranya secara proaktif.

Meta, yang memiliki Instagram dan Facebook, mengatakan mereka memiliki lebih dari 50 alat, sumber daya, dan fitur yang berbeda untuk memberikan “pengalaman positif dan sesuai dengan usia remaja”.

Cai mengatakan kepada BBC, mencoba menggunakan salah satu alat Instagram dan alat serupa di TikTok, menegaskan ia tidak tertarik dengan konten kekerasan atau misoginis. Sayangnya ia tetap direkomendasikan untuk menggunakannya.

Dia tertarik dengan UFC - Ultimate Fighting Championship. Dia juga menemukan dirinya menonton video dari influencer kontroversial ketika video tersebut dikirimkan kepadanya, tetapi dia mengatakan tidak ingin direkomendasikan konten yang lebih ekstrem ini.

“Anda mendapatkan gambaran di kepala Anda dan Anda tidak bisa mengeluarkannya. [Itu] menodai otak Anda. Dan Anda akan terus memikirkannya sepanjang hari,” katanya.

Gadis-gadis yang dia kenal yang seumuran dengannya lebih merekomendasikan video-video tentang topik-topik seperti musik dan make-up daripada kekerasan, katanya.

Cai, yang kini berusia 18 tahun, mengatakan masih terus disuguhi konten kekerasan dan misoginis di Instagram dan TikTok.

Saat kami menelusuri Instagram Reel miliknya, ada sebuah gambar yang menyoroti kekerasan dalam rumah tangga. Gambar tersebut menunjukkan dua karakter yang berdampingan, salah satunya memiliki memar, dengan keterangan: “Bahasa Cintaku”. Gambar lainnya menunjukkan seseorang yang ditabrak truk.

Cai mengatakan memperhatikan video dengan jutaan suka dapat menjadi persuasif bagi pria muda seusianya.

Sebagai contoh, ia mengatakan salah satu temannya tertarik dengan konten dari seorang influencer yang kontroversial - dan mulai mengadopsi pandangan misoginis.

Temannya “bertindak terlalu jauh”, kata Cai. “Dia mulai mengatakan hal-hal tentang perempuan. Rasanya seperti Anda harus memberi teman Anda sebuah pengecekan realitas.”

Cai mengatakan bahwa dia telah mengomentari postingan untuk mengatakan bahwa dia tidak menyukainya, dan ketika dia secara tidak sengaja menyukai video, dia telah mencoba untuk membatalkannya, dengan harapan hal itu akan mengatur ulang algoritmanya. Namun, ia mengatakan mendapatkan lebih banyak video yang mengambil alih feed-nya.

Jadi, bagaimana cara kerja algoritme TikTok sebenarnya?

Menurut Andrew Kaung, bahan bakar algoritmanya adalah keterlibatan, terlepas dari apakah keterlibatan itu positif atau negatif. Hal ini dapat menjelaskan sebagian mengapa upaya Cai untuk memanipulasi algoritme tidak berhasil.

Langkah pertama bagi pengguna adalah menentukan beberapa kesukaan dan minat ketika mereka mendaftar. Andrew mengatakan beberapa konten yang awalnya disajikan algoritme untuk, katakanlah, seorang anak berusia 16 tahun, didasarkan pada preferensi yang mereka berikan dan preferensi pengguna lain dengan usia yang sama di lokasi yang sama.

Menurut TikTok, algoritmanya tidak dipengaruhi oleh jenis kelamin pengguna. Namun Andrew mengatakan minat yang diungkapkan remaja saat mendaftar sering kali memiliki efek membagi mereka berdasarkan jenis kelamin.

Mantan karyawan TikTok ini mengatakan beberapa anak laki-laki berusia 16 tahun dapat terpapar dengan konten kekerasan “dengan segera”, karena pengguna remaja lain dengan preferensi yang sama telah menyatakan ketertarikan mereka pada jenis konten ini - bahkan jika itu berarti menghabiskan lebih banyak waktu untuk menonton video yang menarik perhatian mereka lebih lama.

Minat yang ditunjukkan banyak gadis remaja dalam profil yang dia teliti - “penyanyi pop, lagu, make up” - berarti mereka tidak merekomendasikan konten kekerasan ini, katanya.

Dia mengatakan algoritme tersebut menggunakan “pembelajaran penguatan” - sebuah metode di mana sistem AI belajar melalui uji coba dan kesalahan - dan melatih diri mereka sendiri untuk mendeteksi perilaku terhadap video yang berbeda.

Andrew Kaung mengatakan algoritme ini dirancang untuk memaksimalkan keterlibatan dengan menampilkan video yang mereka harapkan akan membuat Anda menghabiskan waktu lebih lama untuk menonton, mengomentari, atau menyukai video tersebut - semuanya untuk membuat Anda kembali lagi.

Algoritme yang merekomendasikan konten ke “Halaman Untuk Anda” TikTok, katanya, tidak selalu membedakan antara konten yang berbahaya dan tidak berbahaya.

Menurut Andrew, salah satu masalah yang dia identifikasi ketika dia bekerja di TikTok adalah bahwa tim yang terlibat dalam pelatihan dan pengkodean algoritme tersebut tidak selalu mengetahui sifat pasti dari video yang direkomendasikannya.

“Mereka melihat jumlah penonton, usia, tren, data yang sangat abstrak seperti itu. Mereka belum tentu benar-benar terpapar dengan konten tersebut,” kata mantan analis TikTok itu kepada saya.

Itulah sebabnya, tahun 2022, dia dan seorang rekannya memutuskan untuk melihat jenis video apa yang direkomendasikan kepada berbagai pengguna, termasuk beberapa anak berusia 16 tahun.

Dia mengatakan bahwa mereka prihatin dengan konten kekerasan dan berbahaya yang disajikan kepada beberapa remaja, dan mengusulkan kepada TikTok untuk memperbarui sistem moderasinya.

Mereka ingin TikTok memberi label yang jelas pada video sehingga semua orang yang bekerja di sana dapat melihat mengapa video tersebut berbahaya - kekerasan ekstrem, pelecehan, pornografi, dan sebagainya - dan mempekerjakan lebih banyak moderator yang berspesialisasi dalam berbagai bidang ini. Andrew mengatakan bahwa saran mereka ditolak pada saat itu.

TikTok mengatakan mereka memiliki moderator spesialis pada saat itu dan, seiring dengan perkembangan platform, mereka terus mempekerjakan lebih banyak lagi. Mereka juga mengatakan bahwa mereka memisahkan berbagai jenis konten berbahaya - ke dalam apa yang mereka sebut sebagai antrian - untuk para moderator.

Seperti meminta harimau untuk tidak memakan Anda

Andrew Kaung mengatakan dari dalam TikTok dan Meta, terasa sangat sulit untuk membuat perubahan yang menurutnya perlu.

“Kami meminta perusahaan swasta yang berkepentingan untuk mempromosikan produk mereka untuk memoderasi diri mereka sendiri, yang seperti meminta harimau untuk tidak memakan Anda,” katanya.

Dia juga mengatakan bahwa menurutnya kehidupan anak-anak dan remaja akan lebih baik jika mereka berhenti menggunakan ponsel.

Namun bagi Cai, melarang ponsel atau media sosial untuk remaja bukanlah solusi. Ponselnya adalah bagian integral dari hidupnya - cara yang sangat penting untuk mengobrol dengan teman, menavigasi ketika dia keluar dan bepergian, dan membayar barang.

Sebaliknya, ia ingin perusahaan media sosial lebih mendengarkan apa yang tidak ingin dilihat oleh para remaja. Dia ingin perusahaan-perusahaan tersebut membuat alat yang memungkinkan pengguna menunjukkan preferensi mereka dengan lebih efektif.

“Saya merasa perusahaan media sosial tidak menghargai pendapat Anda, selama itu menghasilkan uang bagi mereka,” kata Cai kepada saya.

Di Inggris, undang-undang baru akan memaksa perusahaan media sosial untuk memverifikasi usia anak-anak dan menghentikan situs-situs yang merekomendasikan konten porno atau konten berbahaya lainnya kepada kaum muda. Regulator media Inggris, Ofcom, bertanggung jawab untuk menegakkannya.

Almudena Lara, direktur pengembangan kebijakan keamanan online Ofcom, mengatakan bahwa meskipun konten berbahaya yang sebagian besar memengaruhi perempuan muda seperti video yang mempromosikan gangguan makan dan melukai diri sendiri telah menjadi sorotan, jalur algoritmik yang mendorong kebencian dan kekerasan terhadap anak laki-laki dan laki-laki muda kurang mendapat perhatian.

“Cenderung hanya sebagian kecil [anak-anak] yang terpapar dengan konten yang paling berbahaya. Namun, kita tahu, sekali Anda terpapar konten berbahaya itu, maka hal itu tidak dapat dihindari,” kata Lara.

Ofcom mengatakan bahwa mereka dapat mendenda perusahaan dan dapat mengajukan tuntutan pidana jika mereka tidak melakukan tindakan yang cukup, tetapi langkah-langkah tersebut tidak akan berlaku hingga tahun 2025.

TikTok mengatakan bahwa mereka menggunakan “teknologi inovatif” dan menyediakan pengaturan keamanan dan privasi yang “terdepan di industri” untuk remaja, termasuk sistem untuk memblokir konten yang mungkin tidak sesuai, dan bahwa mereka tidak mengizinkan kekerasan atau misogini yang ekstrem.

Meta, yang memiliki Instagram dan Facebook, mengatakan bahwa mereka memiliki lebih dari “50 alat, sumber daya, dan fitur yang berbeda” untuk memberikan remaja “pengalaman yang positif dan sesuai dengan usia mereka”. Menurut Meta, mereka mencari umpan balik dari tim mereka sendiri dan potensi perubahan kebijakan melalui proses yang kuat. (BBC/Z-3)