KALIMANTAN UTARA — CEO Microsoft Satya Nadella menyerukan perlunya mekanisme pembatasan dan "rem darurat" pada sistem kecerdasan buatan canggih. Lewat cuitan di X, ia menekankan model AI yang perilakunya sulit diprediksi harus dilengkapi kendali manusia, standar industri, dan prosedur operasional yang andal. Usulan ini muncul di tengah gelombang peringatan dari sejumlah eksekutif teknologi soal laju pengembangan AI yang dinilai terlalu cepat.
Nadella menyampaikan pandangannya melalui akun X pribadinya pada Sabtu (10/10), dikutip dari CNBC. Menurutnya, sistem AI generasi terbaru membutuhkan lapisan pengaman yang memungkinkan otoritas menghentikan sementara atau mematikan model saat tengah menjalankan tugas.
Rem darurat yang dimaksud bukan sekadar tombol mati. Nadella menggambarkannya sebagai kombinasi mekanisme pembatasan, kendali independen, dan prosedur operasional yang bisa diandalkan ketika model berperilaku di luar prediksi.
"Kita perlu melengkapi model yang perilakunya tidak selalu dapat diprediksi dengan desain sistem yang kuat dan terstruktur, kendali manusia, serta prosedur operasional yang dapat diandalkan. Kita juga perlu menetapkan standar industri, jika standar yang ada saat ini belum memadai," kata Nadella.
Ia juga menyinggung perlunya memperlakukan model AI tercanggih, baik yang bersifat tertutup maupun yang bobot modelnya terbuka (open-weight), seperti potensi ancaman dari orang dalam.
Nadella menilai sistem AI harus dirancang berdasarkan prinsip keterpantauan, yakni kemampuan memantau dan memahami tindakan serta proses yang dijalankan sistem. Prinsip ini mencakup penggunaan beragam model AI, pencatatan aktivitas model yang dapat dibaca manusia, pengujian berkelanjutan, kendali independen, kemampuan diaudit, mekanisme pembatasan, hingga pelaporan insiden.
Pandangan Nadella soal kepercayaan pada sistem AI tergolong tidak biasa untuk ukuran CEO perusahaan teknologi besar. "Sistem superintelligence yang paling terpercaya bukanlah sistem yang menggunakan model yang paling kita percayai. Melainkan sistem yang memungkinkan kita untuk sesedikit mungkin memercayai model tersebut," ungkapnya.
Pernyataan Nadella muncul di tengah peringatan sejumlah eksekutif dan peneliti teknologi terkemuka. Bill Gates, CEO Anthropic Dario Amodei, CEO OpenAI Sam Altman, dan CEO SpaceX Elon Musk termasuk yang menyoroti protokol keselamatan AI yang dinilai belum memadai serta laju perkembangan teknologi yang dianggap terlalu cepat.
Bulan lalu, seorang peneliti AI dari Anthropic mengundurkan diri dan menuduh perusahaan tersebut bersama OpenAI mempertaruhkan nyawa manusia melalui pengembangan AI. Pada hari yang sama, seorang pemimpin tim alignment AI di Anthropic menyatakan ada kemungkinan lebih dari 10 persen teknologi tersebut dapat membunuh seluruh manusia.
Di sisi kebijakan, Presiden Amerika Serikat Donald Trump berulang kali menepis kekhawatiran soal risiko AI yang dapat memusnahkan umat manusia. Ia menekankan industri AI di AS harus tetap lebih unggul dari China.
Trump baru-baru ini memperkenalkan gugus tugas bernama "AI Force" yang dipimpin Direktur Intelijen Nasional AS Jay Clayton. Gugus tugas ini dibentuk untuk mendukung perkembangan industri AI sekaligus menindak pihak yang menyalahgunakan teknologi tersebut.
Seruan Nadella menambah panjang daftar desakan agar pengembangan AI canggih disertai pengamanan yang sepadan. Bagi pelaku industri dan investor, arah pembicaraan ini berpotensi memengaruhi standar tata kelola AI yang akan jadi syarat masuk pasar di berbagai yurisdiksi, termasuk Indonesia yang tengah menyiapkan aturan tata kelola AI.