AI Dedektörleri Nasıl Çalışır? Perplexity, Burstiness ve Sınıflandırıcılar

AI dedektörleri, bir metnin ne kadar tahmin edilebilir olduğunu ölçerek çalışır. Çoğu, metni bir dil modelinden geçirir ve önceki kelimeler düşünüldüğünde her kelimenin ne kadar olası olduğuna bakar. Sürekli kolay tahmin edilen metin makine işi gibi görünür. Daha şaşırtıcı, düzensiz kelime seçimleri olan metin ise insan işi gibi. Pek çok ticari araç bunun üzerine, farkı büyük etiketli örnek setlerinden öğrenmiş eğitilmiş bir sınıflandırıcı ekler.

Temel fikir bu. Ayrıntılar ise dedektörlerin neden işe yaradığını ve neden yanıldığını açıklıyor.

Bir dedektörün sorduğu temel soru

Bir dedektör argümanınızı anlamaz, bilgilerinizi kontrol etmez ve kim olduğunuzu bilmez. Metnin yüzeyine, yani kelimelere ve bunların nasıl dizildiğine bakar ve tek bir istatistiksel soru sorar: bu metin bir dil modelinin üreteceği şeye mi, yoksa insanların ürettiği şeye mi daha çok benziyor?

Bunu yanıtlamak için dedektörler birkaç tür sinyal kullanır. Modern araçların çoğu bunların birkaçını birleştirir.

1. sinyal: Perplexity

Perplexity bir şaşkınlık ölçüsüdür. Bir dil modeli alın, metninizi ona kelime kelime verin ve her adımda gerçek sonraki kelimenin ne kadar olası olduğunu sorun.

Şu cümleyi düşünün: "Kedi minderin üstüne ___." Model "kıvrıldı", "yattı" ya da "oturdu" gibi kelimeleri yüksek bir güvenle tahmin eder. Sonraki kelime "kıvrıldı" ise perplexity düşüktür. "Taksitlendirildi" ise perplexity yüksektir.

Dil modelleri olası kelimeleri seçerek metin üretir. Bu yüzden çıktıları, benzer bir modelle ölçüldüğünde, baştan sona düşük perplexity gösterme eğilimindedir. İnsanlar kelimeleri pek çok nedenle seçer: alışkanlık, mizah, belirli bir anı, hoşlarına giden biraz tuhaf bir ifade. Bu da perplexity'yi yukarı iter.

İlk dedektörlerin bazıları ağırlıklı olarak bu tek sayıya dayanıyordu. Sorun şu ki insan yazılarının da pek çoğu tahmin edilebilirdir. Bir laboratuvar raporu, bir hukuki özet ya da bir değerlendirme ölçütüne göre yazılmış beş paragraflık bir kompozisyon, sırf türü kalıplaşmış olduğu için düşük perplexity skoru alabilir.

2. sinyal: Burstiness

Burstiness, perplexity'nin metin boyunca nasıl değiştiğine bakar. Bir insan iki sade cümle yazar, sonra alışılmadık bir imge içeren bir cümle, ardından yarım bir cümle. Tahmin edilebilirlik bir aşağı bir yukarı gider. AI çıktısı ise baştan sona sabit bir seviyede kalma eğilimindedir.

Aynı fikir, cümle uzunluğunun ne kadar değiştiği gibi daha basit ölçülerde de karşımıza çıkar. İnsanların paragraflarında 30 kelimelik bir cümleyle 4 kelimelik bir cümle sık sık yan yana gelir. Modellerin paragrafları ise cümleleri dar bir aralıkta tutma eğilimindedir.

Perplexity ile burstiness ikilisini 2023'ün başında piyasaya çıkan GPTZero popüler hale getirdi ve terimler yerleşti. Güncel modelleri bu iki ölçünün ötesine geçiyor, ama bu ikisi dedektörlerin ne aradığını anlamak için hâlâ kullanışlı bir yol.

3. sinyal: Eğitilmiş sınıflandırıcılar

Bugün ticari dedektörlerde en yaygın yaklaşım bir sınıflandırıcıdır: "insan" ve "AI" olarak etiketlenmiş büyük bir metin setiyle eğitilmiş bir makine öğrenmesi modeli. İki grubu birbirinden ayıran özellikler neyse onları öğrenir; hiçbir insanın adlandırmayı aklına getirmeyeceği özellikler de buna dahil.

Sınıflandırıcılar çoğu zaman sohbet botlarının kendisiyle aynı transformer teknolojisi üzerine kurulur. Eğitim verilerine benzeyen metinlerde oldukça iyi olabilirler. Benzemeyen metinlerde ise zorlanırlar, örneğin:

• Sınıflandırıcının hiç görmediği daha yeni bir modelin yazdığı metinler
• Eğitim setinde nadir olan diller ya da lehçeler
• Şiir ya da teknik dokümantasyon gibi yeterince temsil edilmemiş türler
• Bazı kısımlarını bir insanın, bazı kısımlarını AI'ın yazdığı karma metinler

Sağlayıcıların dedektörlerini düzenli olarak yeniden eğitmesinin ve aynı metnin aynı araçtan birkaç ay arayla farklı skor alabilmesinin nedeni bu.

4. sinyal: Filigranlar

Filigran (watermark) farklı bir yaklaşımdır. Olaydan sonra tahmin yürütmek yerine, modeli çalıştıran şirket metin üretilirken kelime seçimlerini gizli, istatistiksel bir desene göre hafifçe yönlendirir. Eşleşen bir dedektör de daha sonra bu deseni arayabilir.

Üç büyük sohbet botunun üçü de artık bunu metinlerinin en azından bir kısmında yapıyor. Google, Gemini uygulamasındaki metinleri 2024'ten beri SynthID ile işaretliyor (SynthID nasıl çalışır). Anthropic, Ağustos 2026'da Claude'un metinlerine filigran eklemeye başladı (Anthropic'in açıkladıkları); OpenAI ise Ekim 2026'dan itibaren AB'deki ChatGPT metinlerine textGrain adlı filigranını ekliyor (nerelerde geçerli). Filigranlar, mevcut olduklarında oldukça güvenilir olabilir. Sorun şu ki onları kontrol etmeyi sağlayan anahtar yalnızca modeli geliştiren şirkette, dolaşımdaki pek çok metinde hiç filigran yok ve yoğun düzenleme ya da çeviri sinyali zayıflatıyor.

Yani şimdilik karşılaşacağınız neredeyse her dedektör, okullarda kullanılanlar dahil, filigranlara değil yukarıdaki istatistiksel yöntemlere dayanıyor.

Parçalar nasıl bir skora dönüşüyor?

Farklı araçlar sonuçları farklı şekillerde gösterir:

• Tek bir yüzde: genellikle metnin muhtemelen AI tarafından üretilmiş kısmının oranı olarak tanımlanır.
• Cümle ya da paragraf vurgulama: skoru hangi kısımların belirlediğini gösterir.
• Kategoriler: tamamen AI, AI ile iyileştirilmiş ya da insan yazımı gibi. RealWrite AI Dedektörü, tek bir hüküm yerine karma yazarlığı görebilmeniz için dört kategori kullanır.

Biçimi ne olursa olsun, sayı bir olasılık tahminidir, kesinleşmiş bir bulgu değil. %80'lik bir skor, kelimelerin %80'inin bir makine tarafından yazıldığı anlamına gelmez. Modelin, metnin kendi AI örneklerine benzediğinden oldukça emin olduğu anlamına gelir.

AI dedektörleri neden yanılır?

Dedektörlerin nasıl çalıştığını bildiğinizde, nerede hata yapacaklarını tahmin etmek kolaylaşır.

Tahmin edilebilir türler AI gibi görünür

Resmi, yapılandırılmış yazının perplexity'si doğası gereği düşüktür. Özetler, ön yazılar, ürün açıklamaları ve standart kompozisyonlar, sonraki kelimeyi tahmin etmeyi kolaylaştıran kurallara uyar. Bu türlerde yazan insanlar daha sık işaretlenir.

Anadili İngilizce olmayan yazarlar daha sık işaretlenir

İkinci bir dilde yazan insanlar çoğu zaman daha dar, daha güvenli bir kelime dağarcığı ve daha düzenli cümle kalıpları kullanır. Dedektörlerin AI ile ilişkilendirdiği özellikler de tam olarak bunlar. Weixin Liang liderliğinde yürütülen ve Patterns dergisinde yayımlanan 2023 tarihli bir Stanford çalışması, popüler birkaç dedektörün anadili İngilizce olmayanların yazdığı TOEFL kompozisyonlarının büyük bir kısmını yanlışlıkla AI üretimi olarak sınıflandırdığını, ABD'li öğrencilerin kompozisyonlarını ise çok daha doğru puanladığını ortaya koydu. Bunu AI dedektörü yanlış pozitifleri yazısında ayrıntılı ele alıyoruz.

Kısa metinler yeterli sinyal vermez

İstatistiksel ölçümlerin veriye ihtiyacı vardır. 100 kelimelik bir paragraf, güvenilir bir tahmin için yeterli kelime içermez. Pek çok araç bu yüzden bir alt sınır belirler ve bu sınıra yakın sonuçlar en az istikrarlı olanlardır.

Düzenleme sınırı bulanıklaştırır

Gerçek yazılar giderek daha karma hale geliyor. Biri AI ile taslak yazıp yarısını yeniden yazıyor. Bir başkası elle yazıp bir dilbilgisi aracıyla parlatıyor. Dedektörler çoğunlukla her iki tarafın da temiz örnekleriyle eğitildi, bu yüzden karma metinler belirsiz ortaya düşer.

Çeviri sinyali bulandırır

Bir dilde yazılıp başka bir dile makine çevirisiyle aktarılan metin, çeviri modelinin düzenliliğinin bir kısmını alır. AI tarafından yazılıp sonra çevrilen metin ise orijinal desenlerinin bir kısmını kaybeder. Her iki durumda da dedektör artık değerlendirmek üzere eğitildiği yazıya bakmıyordur ve sonuçlara güvenmek zorlaşır.

Dilbilgisi araçları metni "AI"a doğru itebilir

Agresif dilbilgisi ve üslup önerileri, düzyazıyı daha pürüzsüz ve tekdüze yapma eğilimindedir. Bunlardan yeterince kabul ederseniz, kendi yazdığınız metin istatistiksel olarak model çıktısına benzemeye başlayabilir.

Dedektörler ne işe yarar?

Bunların hiçbiri dedektörlerin işe yaramaz olduğu anlamına gelmiyor. İyi kullanıldıklarında hızlı bir ikinci görüştürler. Bir taslakta yüksek skor, onu yeniden okumak için iyi bir işarettir: cümlelerin hepsi aynı uzunlukta mı? Her paragrafta kalıp ifadeler var mı? İçinde somut bir şey var mı?

Bizimki dahil herhangi bir dedektörü kullanmanızı önerdiğimiz yol bu. Teslim etmeden önce taslağı kontrol edin, hangi kısımların yüksek skor aldığına bakın ve o kısımları daha çok sizin gibi konuşacak şekilde düzeltin. Nasıl çalışır sayfası bu döngünün RealWrite'ta nasıl işlediğini gösteriyor.

Dedektörlerin olmaması gereken şey ise birinin çalışması hakkında verilen bir kararda tek kanıt olmaktır. Onları geliştiren şirketler bile bunu söylüyor. Örneğin Turnitin, eğitmenlere AI skorunun bir öğrenciye karşı işlem yapmak için tek dayanak olarak kullanılmaması gerektiğini belirtiyor. Turnitin açıklama yazımız raporunun neler gösterdiğini anlatıyor.

Kısaca

• Dedektörler anlamı değil, tahmin edilebilirliği ölçer.
• Perplexity kelime düzeyindeki şaşkınlıktır. Burstiness bu şaşkınlığın ne kadar değiştiğidir.
• Ticari araçların çoğu bunun üzerine sürekli yeniden eğitilmesi gereken sınıflandırıcılar kullanır.
• Filigranlar umut verici ama pratikte nadir.
• Dedektörlerin en çok yanıldığı yerler resmi türler, anadili olmayan yazarlar, kısa metinler ve düzenlenmiş metinlerdir.

Kendi yazınızın nasıl skor aldığını görmek isterseniz, RealWrite ile ücretsiz bir kontrol yapabilirsiniz. Araçları tartıyorsanız, en iyi AI dedektörleri karşılaştırmamız başlıca seçeneklere yan yana bakıyor.