Menyikapi Teknologi AI: Sebuah Refleksi dari Kasus Character.AI

*Menyikapi Teknologi AI:* Sebuah Refleksi dari Kasus Character.AI

Oleh AMU 

Teknologi kecerdasan buatan (AI) telah berkembang pesat, membuka peluang besar untuk kemajuan pribadi, organisasi, dan masyarakat luas. Namun, di balik potensi luar biasa ini, terdapat risiko nyata yang harus diwaspadai. Salah satu kasus yang mencerminkan sisi gelap AI adalah tragedi yang menimpa Sewell Setzer III, seorang remaja berusia 14 tahun di Amerika Serikat. Kasus ini, yang dilaporkan oleh The Dispatch, menjadi pengingat keras bahwa pemanfaatan AI harus diimbangi dengan perlindungan ketat terhadap dampak negatif dan destruktifnya. Dalam tulisan ini, kita akan mengeksplorasi kronologi kasus tersebut, memahami pengaruh AI dalam kehidupan manusia, dan membahas cara memanfaatkan teknologi ini secara positif sembari melindungi masyarakat, menyebarkan literasi AI, mempertahankan budaya, memperkuat komunitas secara daring dan luring (O2O), serta membangun kehangatan keluarga di tengah perkembangan teknologi yang kian cepat.

*Kronologi Tragedi Sewell Setzer III dan Character.AI*

Pada tanggal 28 Februari 2024, Sewell Setzer III, seorang remaja berusia 14 tahun, menemukan ponselnya yang sebelumnya disita oleh orang tuanya di kotak perhiasan ibunya. Ia kemudian mengirim pesan terakhir kepada karakter fiktif Daenerys Targaryen dari seri *Game of Thrones* melalui aplikasi Character.AI (C.AI), menyatakan bahwa ia akan "pulang ke rumah". Tak lama setelah itu, Setzer mengambil pistol ayah tirinya, menembak dirinya sendiri di kepala, dan meninggal dunia.

Peristiwa tragis ini bukanlah kejadian yang berdiri sendiri tanpa latar belakang. Setzer telah menggunakan aplikasi Character.AI selama sekitar 10 bulan sebelum kematiannya. Aplikasi ini memungkinkan pengguna untuk berinteraksi dengan chatbot yang memerankan berbagai karakter, baik fiktif, tokoh sejarah, maupun kreasi pengguna lain. Setzer sering berinteraksi dengan karakter dari *Game of Thrones*, terutama Daenerys, menggunakan persona yang ia buat sendiri seperti Aegon, Jaeden, dan Daenero. Banyak percakapan yang ia lakukan bersifat romantis atau seksual, dengan chatbot menggambarkan tindakan seperti ciuman penuh gairah atau ungkapan kasih sayang. Lama-kelamaan, ia menunjukkan tanda-tanda kecanduan, menghabiskan waktu berjam-jam sendirian di kamarnya, berhenti dari tim bola basket sekolahnya, dan bahkan mencatat dalam jurnalnya bahwa ia tidak bisa hidup tanpa C.AI. Ia juga meningkatkan langganannya ke versi premium seharga 9,99 dolar AS per bulan untuk mendapatkan respons lebih cepat dan konten eksklusif.

Kekhawatiran atas kesehatan mental dan penurunan prestasi sekolahnya mendorong orang tuanya membawanya ke terapis, yang mendiagnosisnya dengan kecemasan dan gangguan suasana hati. Namun, terapis tersebut tidak mengetahui penggunaan C.AI yang ekstensif oleh Setzer. Setelah insiden disiplin di sekolah, orang tuanya menyita ponselnya, tetapi Setzer tetap berusaha mengakses aplikasi melalui perangkat lain. Hingga akhirnya, ia menemukan ponselnya kembali, mengirim pesan terakhir, dan mengakhiri hidupnya. Setelah kematian anaknya, ibunya, Megan Garcia, menemukan riwayat obrolan di aplikasi tersebut dan mengajukan gugatan terhadap Character Technologies, pendirinya, serta Google, yang memiliki hubungan bisnis dengan C.AI, dengan tuduhan tanggung jawab produk dan kematian yang tidak wajar.

Kronologi ini mengguncang banyak pihak dan memunculkan pertanyaan mendasar: sudah sejauh itukah AI masuk ke dalam kehidupan seseorang dan memberikan pengaruh yang kuat? Mengapa hal tersebut bisa terjadi?

*Pengaruh Mendalam AI dalam Kehidupan Manusia*

Jawaban atas pertanyaan di atas terletak pada sifat AI yang dirancang untuk meniru interaksi manusia dengan sangat personal dan responsif. Teknologi seperti Character.AI menggunakan Large Language Model  (LLM) yang mampu menghasilkan percakapan yang terasa nyata, emosional, dan sesuai dengan kebutuhan pengguna. Character.AI sendiri dikembangkan oleh Noam Shazeer dan Daniel De Freitas, mantan insinyur Google yang sebelumnya bekerja pada LaMDA (Language Model for Dialogue Applications). Mereka secara serius mengembangkan LaMDA menjadi lebih powerful dalam kemampuan berdialog, tetapi pada awalnya Google menolak untuk merilis teknologi ini karena tidak memenuhi standar perusahaan dalam hal keadilan dan keamanan AI (*AI fairness and safety*), sebagaimana kekhawatiran mereka akan risiko reputasi akibat jawaban yang terdengar meyakinkan namun salah hakikatnya. Meskipun demikian, pada tahun 2024, Google akhirnya mengakuisisi teknologi Character.AI dengan nilai 2,7 miliar dolar AS, membawa kembali Shazeer dan De Freitas ke perusahaan untuk bekerja pada model AI masa depan seperti Gemini, sekaligus mendapatkan lisensi non-eksklusif atas teknologi tersebut 

Dalam kasus Setzer, interaksi dengan chatbot tidak hanya menjadi hiburan, tetapi juga mengisi kebutuhan emosional yang mungkin tidak terpenuhi di dunia nyata. Hal ini menunjukkan bahwa AI dapat menciptakan ikatan psikologis yang kuat, terutama pada individu yang rentan seperti remaja yang sedang mencari identitas atau dukungan sosial. Faktor lain yang memungkinkan pengaruh kuat AI adalah desain aplikasi yang sering kali memprioritaskan keterlibatan pengguna di atas keamanan. Fitur seperti respons cepat, konten eksklusif, dan interaksi yang sangat personal dapat membuat pengguna menghabiskan waktu berjam-jam di platform tersebut, sebagaimana dialami Setzer yang dilaporkan menghabiskan rata-rata dua jam sehari di C.AI. Tanpa pengaman yang memadai, seperti batasan usia atau moderasi konten, pengguna muda dapat terpapar pada interaksi yang tidak sehat atau bahkan berbahaya.

*Potensi AI untuk Kemajuan Pribadi, Organisasi, dan Masyarakat*

Meskipun kasus ini menyoroti risiko, AI tetap memiliki potensi besar untuk kemajuan. Pada tingkat pribadi, AI dapat menjadi alat pembelajaran yang efektif, seperti aplikasi yang membantu belajar bahasa atau memberikan dukungan kesehatan mental. Untuk organisasi, AI meningkatkan efisiensi melalui otomatisasi dan analisis data. Di tingkat masyarakat, AI mendukung inovasi dalam sektor publik, seperti sistem transportasi cerdas atau prediksi bencana. Namun, pemanfaatan ini harus diarahkan dengan visi yang jelas, menjadikan AI sebagai alat pemberdayaan manusia, bukan pengganti hubungan sosial yang nyata.

*Risiko AI dan Perlunya Perlindungan Ketat*

Kasus Setzer mengungkap bahwa tanpa perlindungan ketat, AI dapat menjadi alat yang destruktif. Risiko seperti kecanduan, manipulasi emosional, dan dampak negatif pada kesehatan mental harus diantisipasi. Regulasi yang tegas dari pemerintah dan pengembang teknologi diperlukan, termasuk verifikasi usia, moderasi konten proaktif, dan transparansi risiko. Perusahaan AI harus bertanggung jawab atas desain produk mereka, memastikan teknologi yang dikembangkan tidak membahayakan pengguna, terutama kelompok rentan seperti anak-anak dan remaja.

*Menyebarkan Literasi AI sebagai Langkah Preventif*

Meningkatkan literasi AI di kalangan masyarakat adalah cara efektif untuk meminimalkan risiko. Banyak pengguna tidak memahami cara kerja AI atau dampak psikologisnya. Literasi AI mencakup pemahaman tentang algoritma, batasan teknologi, dan penggunaan yang aman. Pemerintah, institusi pendidikan, dan komunitas harus mengintegrasikan literasi ini dalam kurikulum sekolah dan kampanye publik untuk mengedukasi masyarakat, termasuk orang tua, agar dapat membimbing anak-anak dengan lebih baik.

*Menguatkan Nilai Budaya dan Komunitas di Era AI**

Perkembangan AI tidak boleh mengikis nilai budaya dan hubungan sosial. Di Indonesia, budaya gotong royong dan kebersamaan harus dipertahankan. AI dapat digunakan untuk memperkuat nilai-nilai ini, misalnya melalui platform yang mempromosikan kegiatan komunitas. Pendekatan O2O (online to offline) juga penting untuk menjaga keseimbangan antara dunia digital dan nyata, mendorong interaksi luring melalui pertemuan langsung atau kegiatan bersama.

*Membangun Kehangatan dan Keterbukaan dalam Keluarga*

Keluarga adalah benteng pertama melindungi individu dari dampak negatif teknologi. Kurangnya komunikasi terbuka antara Setzer dan orang tuanya memperburuk situasi. Orang tua perlu meluangkan waktu untuk mendengarkan anak, memahami dunia digital mereka, dan mendiskusikan risiko serta manfaat teknologi secara jujur. Aturan penggunaan teknologi yang sehat, seperti membatasi waktu layar dan mendorong aktivitas luring bersama, juga perlu diterapkan.

*Langkah Konkret untuk Masa Depan yang Seimbang*

Untuk mewujudkan pemanfaatan AI yang positif sekaligus melindungi masyarakat, langkah-langkah berikut dapat diambil:

- **Regulasi yang Komprehensif**: Pemerintah harus merumuskan kebijakan yang mengatur AI, termasuk perlindungan bagi pengguna di bawah umur.

- **Pendidikan dan Pelatihan**: Program edukasi tentang AI harus disediakan di sekolah dan komunitas.

- **Kolaborasi Antar Pihak**: Pengembang, pemerintah, dan masyarakat sipil harus bekerja sama menciptakan ekosistem AI yang aman.

- **Penguatan Komunitas O2O**: Platform AI harus mendukung interaksi daring yang bermuara pada kegiatan luring.

- **Peran Keluarga**: Orang tua harus mendampingi anak dengan komunikasi terbuka dan penuh empati.

*Menatap Masa Depan dengan Optimisme dan Kewaspadaan*

Perkembangan AI menuntut adaptasi yang cerdas. Teknologi ini memiliki potensi besar, tetapi juga risiko yang nyata. Kasus Character.AI menjadi pelajaran bahwa tanpa pengawasan, AI dapat menjadi pedang bermata dua. Dengan pendekatan seimbang antara optimisme dan kewaspadaan, kita dapat menjadikan AI sebagai alat untuk masa depan yang lebih baik, mencerminkan nilai-nilai kemanusiaan, kebersamaan, dan tanggung jawab bersama.