Bagaimana Cara Kerja Detektor AI? Perplexity, Burstiness, dan Classifier

Detektor AI bekerja dengan mengukur seberapa mudah sebuah teks ditebak. Kebanyakan menjalankan teks melalui model bahasa dan mengecek seberapa besar kemungkinan setiap kata muncul, berdasarkan kata-kata sebelumnya. Teks yang secara konsisten mudah ditebak terlihat seperti buatan mesin. Teks dengan pilihan kata yang lebih mengejutkan dan tidak seragam terlihat seperti buatan manusia. Banyak alat komersial menambahkan classifier terlatih di atasnya, yang sudah mempelajari perbedaannya dari kumpulan besar contoh berlabel.

Itulah gagasan intinya. Detailnya menjelaskan mengapa detektor berguna, dan juga mengapa mereka bisa keliru.

Pertanyaan dasar yang diajukan detektor

Detektor tidak memahami argumen Anda, tidak mengecek fakta Anda, dan tidak tahu siapa Anda. Ia melihat permukaan teks, yaitu kata-kata dan cara penyusunannya, lalu mengajukan satu pertanyaan statistik: apakah ini lebih mirip dengan apa yang dihasilkan model bahasa, atau dengan apa yang dihasilkan manusia?

Untuk menjawabnya, detektor memakai beberapa jenis sinyal. Kebanyakan alat modern menggabungkan beberapa di antaranya.

Sinyal 1: Perplexity

Perplexity adalah ukuran keterkejutan. Ambil sebuah model bahasa, masukkan teks Anda satu kata demi satu kata, dan di setiap langkah tanyakan seberapa besar kemungkinan kata berikutnya yang sebenarnya muncul.

Lihat kalimat ini: "Kucing itu tidur di atas ___." Model akan menebak "kasur", "lantai", atau "sofa" dengan tingkat keyakinan tinggi. Jika kata berikutnya "kasur", perplexity-nya rendah. Jika kata berikutnya "naskah", perplexity-nya tinggi.

Model bahasa menghasilkan teks dengan memilih kata-kata yang paling mungkin. Jadi output-nya, jika diukur dengan model serupa, cenderung punya perplexity rendah dari awal sampai akhir. Manusia memilih kata karena banyak alasan: kebiasaan, humor, kenangan tertentu, atau ungkapan yang agak nyeleneh yang mereka sukai. Itu mendorong perplexity naik.

Beberapa detektor awal sangat bergantung pada angka yang satu ini. Masalahnya, banyak tulisan manusia juga mudah ditebak. Laporan praktikum, ringkasan hukum, atau esai lima paragraf yang ditulis mengikuti rubrik bisa mendapat perplexity rendah hanya karena genrenya memang berpola baku.

Sinyal 2: Burstiness

Burstiness melihat bagaimana perplexity berubah sepanjang teks. Seseorang mungkin menulis dua kalimat biasa, lalu satu kalimat dengan gambaran yang tidak lazim, lalu sebuah potongan kalimat. Tingkat keterdugaannya naik turun. Output AI cenderung bertahan di tingkat yang stabil dari awal sampai akhir.

Gagasan yang sama muncul dalam ukuran yang lebih sederhana, seperti seberapa bervariasi panjang kalimat. Paragraf manusia sering mencampur kalimat 30 kata dengan kalimat 4 kata. Paragraf model cenderung menjaga panjang kalimat dalam rentang yang sempit.

GPTZero mempopulerkan pasangan perplexity dan burstiness saat diluncurkan pada awal 2023, dan istilah itu bertahan sampai sekarang. Model-model GPTZero saat ini memakai lebih dari dua ukuran tersebut, tetapi keduanya tetap cara yang berguna untuk memahami apa yang dicari detektor.

Sinyal 3: Classifier terlatih

Pendekatan yang paling umum di detektor komersial saat ini adalah classifier: model machine learning yang dilatih pada kumpulan besar teks berlabel "manusia" dan "AI". Ia mempelajari ciri apa pun yang memisahkan kedua kelompok itu, termasuk ciri-ciri yang tidak akan terpikirkan untuk dinamai oleh manusia.

Classifier sering dibangun dengan teknologi transformer yang sama seperti chatbot itu sendiri. Hasilnya bisa cukup bagus pada teks yang mirip dengan data latihnya. Classifier kesulitan menghadapi teks yang tidak mirip, misalnya:

• Tulisan dari model yang lebih baru yang belum pernah dilihat classifier
• Bahasa atau dialek yang jarang ada di data latih
• Genre yang kurang terwakili, seperti puisi atau dokumentasi teknis
• Teks campuran, di mana sebagian ditulis manusia dan sebagian lagi ditulis AI

Inilah sebabnya vendor melatih ulang detektor mereka secara berkala, dan mengapa teks yang sama bisa mendapat skor berbeda dari alat yang sama dalam selang beberapa bulan.

Sinyal 4: Watermark

Watermark adalah pendekatan yang berbeda. Alih-alih menebak setelah teks jadi, perusahaan yang menjalankan model menggeser pilihan katanya dengan pola statistik tersembunyi saat teks dihasilkan. Detektor yang cocok kemudian bisa mengecek pola tersebut.

Kini ketiga chatbot besar melakukannya, setidaknya untuk sebagian teks mereka. Google telah menandai teks aplikasi Gemini dengan SynthID sejak 2024 (cara kerja SynthID). Anthropic mulai memberi watermark pada teks Claude pada Agustus 2026 (apa kata Anthropic), dan OpenAI menambahkan watermark textGrain ke teks ChatGPT di Uni Eropa mulai Oktober 2026 (di mana watermark ini berlaku). Watermark bisa cukup andal jika memang ada. Masalahnya, hanya perusahaan pembuat model yang memegang kunci untuk mengeceknya, banyak teks yang beredar sama sekali tidak memiliki watermark, dan penyuntingan berat atau penerjemahan melemahkan sinyalnya.

Jadi untuk saat ini, hampir semua detektor yang akan Anda temui, termasuk yang dipakai di sekolah, mengandalkan metode statistik di atas, bukan watermark.

Bagaimana semua bagian itu menjadi skor

Setiap alat melaporkan hasil dengan cara yang berbeda:

• Satu persentase, sering digambarkan sebagai porsi teks yang kemungkinan dibuat AI.
• Penyorotan kalimat atau paragraf, yang menunjukkan bagian mana yang mendorong skor.
• Kategori, seperti sepenuhnya AI, AI yang dihaluskan, atau tulisan manusia. Detektor AI RealWrite memakai empat kategori agar Anda bisa melihat kepenulisan campuran, bukan satu vonis tunggal.

Apa pun formatnya, angka itu adalah perkiraan probabilitas, bukan temuan fakta. Skor 80% tidak berarti 80% kata diketik oleh mesin. Artinya, model cukup yakin bahwa teks itu mirip dengan contoh-contoh AI yang dimilikinya.

Mengapa detektor AI bisa keliru

Setelah tahu cara kerja detektor, pola kegagalannya mudah ditebak.

Genre yang mudah ditebak terlihat seperti AI

Tulisan formal dan terstruktur memang dirancang memiliki perplexity rendah. Abstrak, surat lamaran kerja, deskripsi produk, dan esai standar semuanya mengikuti konvensi yang membuat kata berikutnya mudah ditebak. Penulis manusia di genre-genre ini lebih sering ditandai.

Penulis non-penutur asli bahasa Inggris lebih sering ditandai

Orang yang menulis dalam bahasa kedua sering memakai kosakata yang lebih sedikit dan lebih aman, serta pola kalimat yang lebih teratur. Itulah persis ciri-ciri yang dikaitkan detektor dengan AI. Studi Stanford tahun 2023 yang dipimpin Weixin Liang dan diterbitkan di jurnal Patterns menemukan bahwa beberapa detektor populer salah mengklasifikasikan sebagian besar esai TOEFL karya non-penutur asli sebagai buatan AI, sementara esai karya siswa Amerika Serikat dinilai jauh lebih akurat. Kami membahasnya secara mendalam di false positive detektor AI.

Teks pendek tidak memberi cukup sinyal

Ukuran statistik membutuhkan data. Paragraf 100 kata tidak memuat cukup kata untuk perkiraan yang andal. Banyak alat menetapkan panjang minimum karena alasan ini, dan hasil yang mendekati batas minimum itu paling tidak stabil.

Penyuntingan mengaburkan batasnya

Tulisan nyata makin sering bercampur. Seseorang membuat draf dengan AI lalu menulis ulang separuhnya. Seseorang menulis sendiri lalu memakai alat tata bahasa untuk memolesnya. Detektor sebagian besar dilatih dengan contoh yang bersih dari masing-masing jenis, sehingga teks campuran jatuh ke wilayah tengah yang tidak pasti.

Terjemahan mengeruhkan sinyal

Teks yang ditulis dalam satu bahasa lalu diterjemahkan mesin ke bahasa lain ikut membawa sebagian keteraturan model penerjemah. Teks yang ditulis AI lalu diterjemahkan kehilangan sebagian pola aslinya. Dalam kedua kasus, detektor tidak lagi melihat jenis tulisan yang dilatih untuk dinilainya, dan hasilnya jadi lebih sulit dipercaya.

Alat tata bahasa bisa mendorong teks ke arah "AI"

Saran tata bahasa dan gaya yang agresif cenderung membuat tulisan lebih mulus dan seragam. Terima cukup banyak saran itu, dan tulisan asli Anda bisa mulai terlihat mirip secara statistik dengan output model.

Untuk apa detektor berguna

Semua ini tidak berarti detektor tidak berguna. Jika dipakai dengan baik, detektor adalah pendapat kedua yang cepat. Skor tinggi pada sebuah draf adalah dorongan yang baik untuk membacanya ulang: apakah semua kalimatnya sama panjang? Apakah ada frasa klise di setiap paragraf? Apakah ada sesuatu yang spesifik di dalamnya?

Begitulah kami menyarankan memakai detektor apa pun, termasuk milik kami. Cek draf sebelum Anda mengumpulkannya, lihat bagian mana yang skornya tinggi, lalu revisi bagian itu agar lebih terdengar seperti Anda. Halaman cara kerja menunjukkan alur itu di RealWrite.

Yang tidak boleh adalah menjadikan detektor satu-satunya bukti dalam keputusan tentang karya seseorang. Bahkan perusahaan pembuatnya pun mengatakan demikian. Turnitin, misalnya, memberi tahu pengajar bahwa skor AI-nya tidak boleh dijadikan satu-satunya dasar untuk mengambil tindakan terhadap mahasiswa. Penjelasan kami tentang Turnitin membahas apa yang ditampilkan laporannya.

Versi singkatnya

• Detektor mengukur keterdugaan, bukan makna.
• Perplexity adalah keterkejutan di tingkat kata. Burstiness adalah seberapa besar keterkejutan itu bervariasi.
• Kebanyakan alat komersial memakai classifier terlatih di atasnya, yang perlu terus dilatih ulang.
• Watermark menjanjikan, tetapi jarang ditemui dalam praktik.
• Genre formal, penulis non-penutur asli, teks pendek, dan teks yang sudah disunting adalah tempat detektor paling sering keliru.

Jika ingin melihat skor tulisan Anda sendiri, Anda bisa cek gratis dengan RealWrite. Dan jika Anda sedang menimbang alat, perbandingan detektor AI terbaik kami membahas pilihan-pilihan utama secara berdampingan.