digitalMamaID – Netizen pengguna media sosial X resah karena penyalahgunaan kecerdasan buatan atau artificial intelligence (AI). Kali ini, sorotan tertuju pada Grok, AI buatan Elon Musk dari xAI yang terintegrasi langsung di platform tersebut. Sejumlah pengguna membuat prompt kepada Grok untuk mengganti pakaian perempuan dalam foto menjadi berbikini. Permintaan ini muncul karena Grok tidak dapat memenuhi perintah untuk menelanjangi tubuh perempuan secara langsung.
Fenomena tersebut menuai kritik luas. Sebagian warganet menilai praktik ini sebagai bentuk pelecehan seksual berbasis teknologi, bahkan menyebut Grok sebagai enabler. Namun, di sisi lain, muncul pula pandangan bahwa tanggung jawab utama tetap berada pada pengguna. Sejak awal prompt dibuat tanpa mempertimbangkan etika dan persetujuan.
Menanggapi polemik ini, Center for Digital Society (CfDS) Universitas Gajah Mada (UGM) Yogyakarta menegaskan, kasus Grok tidak bisa dilihat sebagai insiden terisolasi. Fenomena ini merupakan bagian dari pola lama kekerasan berbasis gender yang kini mendapatkan medium teknologi baru.
Akar lama, teknologi baru
Ayom Mratita Purbandani, selaku Research Officer CfDS UGM menjelaskan, praktik manipulasi konten intim tanpa persetujuan atau non-consensual synthetic intimate imagery (NSII) sebenarnya memiliki akar panjang, jauh sebelum kemunculan AI generatif.
“Meskipun terkesan sebagai fenomena baru karena kemunculan AI generatif, sebenarnya memiliki akar yang panjang, mulai dari manipulasi konten intim sejak era analog, non-consensual dissemination of intimage image (NCII) yang masih dikenal sebagai revenge porn, hingga objektifikasi perempuan dalam budaya media,” jelas Ayom pada digitalMamaID, Rabu, 7 Januari 2026.
Menurut Ayom, perubahan utama dari kekerasan berbasis gender bukan terletak pada strukturnya, melainkan pada skala dan presisi teknologi. AI generatif seperti Grok mempercepat proses produksi, menurunkan biaya, dan memperluas jangkauan distribusi konten manipulatif.
“Teknologi, termasuk media sosial X bukan penyebab tunggal, melainkan akselerator. Kemudahan menggunakan Grok di platform X memperluas spektrum korban secara drastic, sebab siapapun bisa disalahgunakan,” ungkap Ayom.
Hal ini sejalan dengan Laporan Tahunan 2024 Komnas Perempuan (CATAHU) yang menyebutkan kenaikan tajam kasus kekerasan terhadap perempuan meningkat 14,17 persen. Dengan kasus terbanyak berupa kekerasan berbasis gender online (KBGO) dengan bentuk yang semakin kompleks, termasuk manipulasi visual dan konten intim sintetik.
Paradoks demokratisasi teknologi
CfDS menyebut, fenomena ini sebagai paradoks demokratisasi teknologi. Di satu sisi, AI generatif membuka akses luas bagi publik. Namun di sisi lain, keterbukaan ini justru memperlihatkan kegagalan tata kelola teknologi, terutama dalam melindungi kelompok rentan.
Dalam konteks Indonesia, kegagalan tersebut memiliki lapisan tambahan. CfDS menyoroti, X beroperasi lintas batas tanpa entitas lokal, sehingga hubungan antara platform dan pemerintah menjadi tidak simetris.
“X beroperasi di Indonesia tanpa kehadiran entitas lokal, sehingga operasinya berjalan lintas batas. Hal ini mempersulit tanggung jawab administratif yang akan diminta ke platform. Dalam konteks kekerasan berbasis gender, hubungan asimetris ini membuat keterlambatan respons dan mengurangi daya paksa kebijakan domestik,” jelas Ayom.
Di mana batas eksperimen dan pelanggaran?
CfDS menilai praktik manipulasi konten intim yang masif di X memperlihatkan kegagapan dalam tata kelola teknologi. Selama ini, fokus lebih banyak diarahkan pada kebebasan berekspresi dan inovasi, tanpa penilaian risiko yang memadai. “Dalam tata kelola teknologi, batas perlu ditentukan dari potensi dan realisasi dampak,“ tegas Ayom.
Menurutnya, dikotomi antara konten nyata dan fiktif perlu ditolak untuk menekankan sebagai harms based assesment. Karena dampak psikologis, sosial, dan reputasi korban tetap nyata, meskipun konten dihasilkan secara sintetik.
“Kebebasan bereksperimen pengguna hanya dapat dibenarkan jika disertai pengamanan sistemik, seperti pembatasan jenis prompt, moderasi input dan output (data pipeline), dan guardrails yang melarang permintaan yang melanggar privasi atau menargetkan individu nyata tanpa persetujuan,” tambahnya.
Pada praktiknya, kebebasan individu dalam bereksperimen tidak bisa dilepaskan dari kewajiban menghormati hak orang lain, termasuk hak atas data pribadi. Karena itu, penentuan batas antara eksperimen dan pelanggaran tidak semata-mata menjadi urusan pengguna, melainkan juga ditentukan oleh bagaimana sistem teknologi tersebut dibangun, diatur, dan diawasi.
Tanggung jawab bersama, tapi tidak setara
Dalam kerangka shared responsibility, CfDS menegaskan, pencegahan penyalahgunaan AI harus dibagi secara proporsional.
“Untuk pengguna, tentu saja tanggung jawab utama terletak pada niat dan tindakan langsung dalam menggunakan AI, kewajiban etis, dan dalam banyak yurisdiksi, kewajiban hukum untuk tidak menggunakan teknologi yang melanggar hak privasi orang lain. Namun, platform memiliki tanggung jawab lebih besar karena menguasai arsitektur teknologi dan memperoleh manfaat ekonomi dari penggunannya,” jelas Ayom.
Dalam konteks hukum Indonesia, manipulasi dan distribusi konten bermuatan asusila dapat dijerat Pasal 27 ayat (1) UU ITE maupun UU Pornografi. CfDS menekankan, fokus hukum sering berada pada produksi dan penyebaran konten, bukan sekadar niat pengguna.
Karena itu, platform perlu mempertimbangkan risiko sejak tahap perancangan, termasuk membatasi prompt tertentu dan menyediakan mekanisme pelaporan yang berpihak pada korban. Ketika AI digunakan di platform besar seperti Grok di X, tanggung jawab tidak bisa dibebankan pada pengguna semata, melainkan harus lebih besar dipikul oleh pihak yang memiliki kontrol atas sistem.
Prompt beretika dan peran orangtua
CfDS menekankan, prinsip paling mendasar dari prompt yang etis adalah persetujuan. “Setiap permintaan kepada AI yang melibatkan individu nyata harus berangkat dari pertanyaan apakah individu tersebut telah memberikan persetujuan yang jelas,” tegas Ayom.
Menurutnya, prompt yang tampak iseng atau eksploratif tetap dapat menghasilkan kerugian nyata, terutama ketika berkaitan dengan seksualitas, reputasi, dan stereotip terhadap kelompok tertentu.
Bagi orangtua, CfDS menilai isu ini menjadi sangat relevan karena AI generatif bersifat interaktif dan imajinatif, berbeda dari mesin pencari yang pasif. “Pendekatan berbasis usia harus disertai pendampingan aktif. Untuk anak usia di bawah 12 tahun, misalnya, penggunaan AI secara mandiri seharusnya dihindari karena belum memiliki kapasitas kognitif dan etis,” imbau Ayom.
Sementara untuk usia 12–15 tahun, pendampingan ideal bersifat reflektif. “Peran orang dewasa sangat penting dalam pendampingan ini, bukan sebagai moderator konten semata, melainkan penafsir nilai. Nilai-nilai ini mencakup bagaimana bahwa AI sebagai teknologi tidaklah netral, sarat dengan relasi kuasa, dan ragam potensi risiko.” pungkasnya. [*]
