Как работают детекторы ИИ? Перплексия, бёрстность и классификаторы

Детекторы ИИ измеряют, насколько предсказуем текст. Большинство из них прогоняют текст через языковую модель и проверяют, насколько вероятным было каждое слово с учётом предыдущих. Текст, который всё время легко предсказать, выглядит машинным. Текст с более неожиданным и неровным выбором слов выглядит человеческим. Многие коммерческие инструменты добавляют поверх этого обученный классификатор, который научился различать одно и другое на больших наборах размеченных примеров.

Это основная идея. А детали объясняют, почему детекторы полезны и почему они ошибаются.

Главный вопрос, который задаёт детектор

Детектор не понимает вашу аргументацию, не проверяет факты и не знает, кто вы. Он смотрит на поверхность текста — на слова и то, как они расставлены, — и задаёт один статистический вопрос: похоже ли это больше на то, что выдала бы языковая модель, или на то, что пишут люди?

Чтобы ответить, детекторы используют несколько видов сигналов. Большинство современных инструментов сочетают сразу несколько.

Сигнал 1. Перплексия

Перплексия — это мера удивления. Возьмите языковую модель, подавайте ей текст по одному слову и на каждом шаге спрашивайте, насколько вероятным было настоящее следующее слово.

Возьмём предложение: «Кошка свернулась клубком на ___». Модель с высокой уверенностью предскажет «диване», «коврике» или «подоконнике». Если следующее слово — «коврике», перплексия низкая. Если «рукописи», перплексия высокая.

Языковые модели генерируют текст, выбирая вероятные слова. Поэтому их результат, если измерить его похожей моделью, обычно имеет низкую перплексию от начала до конца. Люди выбирают слова по множеству причин: привычка, юмор, конкретное воспоминание, чуть странный оборот, который им нравится. Всё это поднимает перплексию.

Некоторые ранние детекторы сильно опирались на одно это число. Проблема в том, что многие человеческие тексты тоже предсказуемы. Лабораторный отчёт, юридическая справка или эссе из пяти абзацев, написанное по критериям оценки, могут получить низкую перплексию просто потому, что жанр шаблонный.

Сигнал 2. Бёрстность

Бёрстность (burstiness) показывает, как перплексия меняется по ходу текста. Человек может написать два простых предложения, потом одно с необычным образом, потом обрывок фразы. Предсказуемость скачет. Текст ИИ обычно держит ровный уровень от начала до конца.

Та же идея проявляется в более простых мерах, например в том, насколько сильно различается длина предложений. В абзацах людей предложение из 30 слов часто соседствует с предложением из 4 слов. Модели обычно держат длину предложений в узком диапазоне.

Связку перплексии и бёрстности популяризировал GPTZero, когда вышел в начале 2023 года, и эти термины прижились. Сейчас его модели используют больше двух этих мер, но они по-прежнему помогают понять, что ищут детекторы.

Сигнал 3. Обученные классификаторы

Самый распространённый подход в коммерческих детекторах сегодня — классификатор: модель машинного обучения, обученная на большом наборе текстов с метками «человек» и «ИИ». Она усваивает любые признаки, которые разделяют две группы, в том числе такие, которые человеку и в голову не пришло бы назвать.

Классификаторы часто построены на той же технологии трансформеров, что и сами чат-боты. Они бывают довольно хороши на текстах, похожих на их обучающие данные, и с трудом справляются с текстами, которые на них не похожи, например:

• Тексты от новой модели, которую классификатор ещё не видел
• Языки или диалекты, которые редко встречались в обучающем наборе
• Жанры, представленные слабо, например поэзия или техническая документация
• Смешанные тексты, где одни части написал человек, а другие — ИИ

Поэтому разработчики регулярно переобучают свои детекторы, и поэтому один и тот же текст может получить в одном и том же инструменте другую оценку через несколько месяцев.

Сигнал 4. Водяные знаки

Водяные знаки — другой подход. Вместо того чтобы гадать задним числом, компания, которая управляет моделью, во время генерации слегка смещает выбор слов по скрытому статистическому шаблону. Соответствующий детектор потом может проверить текст на этот шаблон.

Теперь так делают все три крупных чат-бота — по крайней мере с частью своих текстов. Google помечает тексты приложения Gemini с помощью SynthID с 2024 года (как работает SynthID). Anthropic начала ставить водяной знак на тексты Claude в августе 2026 года (что сказала Anthropic), а OpenAI с октября 2026 года добавляет свой водяной знак textGrain в тексты ChatGPT в ЕС (где он действует). Когда водяные знаки есть, они могут быть довольно надёжными. Загвоздка в том, что проверить их наличие может только компания, создавшая модель, ведь ключ есть только у неё, у множества текстов в реальном мире никаких водяных знаков нет, а сильная редактура или перевод ослабляют сигнал.

Так что пока почти каждый детектор, который вам встретится, включая те, что используют в учебных заведениях, опирается на описанные выше статистические методы, а не на водяные знаки.

Как из этого получается оценка

Разные инструменты показывают результат по-разному:

• Один процент, который часто описывают как долю текста, вероятно созданную ИИ.
• Подсветка предложений или абзацев, показывающая, какие части повлияли на оценку.
• Категории, например «полностью ИИ», «доработано ИИ» или «написано человеком». Детектор ИИ от RealWrite использует четыре категории, чтобы вы видели смешанное авторство, а не единый вердикт.

В каком бы виде ни был результат, число — это оценка вероятности, а не установленный факт. Оценка 80% не значит, что 80% слов набрала машина. Она значит, что модель довольно уверена: текст похож на её примеры текстов ИИ.

Почему детекторы ИИ ошибаются

Когда понимаешь, как работают детекторы, их ошибки легко предсказать.

Предсказуемые жанры похожи на ИИ

У формального, структурированного текста низкая перплексия по определению. Аннотации, сопроводительные письма, описания товаров и стандартизированные эссе следуют условностям, из-за которых следующее слово легко угадать. Людей, которые пишут в этих жанрах, помечают чаще.

Тех, для кого английский не родной, помечают чаще

Люди, пишущие на втором языке, часто используют более узкий и «безопасный» словарный запас и более регулярные конструкции предложений. Именно эти признаки детекторы связывают с ИИ. Исследование Стэнфорда 2023 года под руководством Вэйсиня Ляна (Weixin Liang), опубликованное в журнале Patterns, показало, что несколько популярных детекторов ошибочно признали сгенерированными ИИ значительную долю эссе TOEFL, написанных неносителями языка, тогда как эссе американских школьников они оценили гораздо точнее. Подробно мы разбираем это в статье ложные срабатывания детекторов ИИ.

Короткие тексты дают слишком мало сигнала

Статистическим мерам нужны данные. В абзаце из 100 слов просто недостаточно слов для надёжной оценки. Поэтому многие инструменты устанавливают минимальную длину, а результаты около этого минимума наименее стабильны.

Редактура размывает границу

Реальные тексты всё чаще смешанные. Кто-то пишет черновик с ИИ и переписывает половину. Кто-то пишет сам и шлифует текст инструментом для проверки грамматики. Детекторы обучались в основном на «чистых» примерах каждого вида, поэтому смешанные тексты попадают в неопределённую середину.

Перевод мутит сигнал

Текст, написанный на одном языке и переведённый машиной на другой, перенимает часть регулярности модели-переводчика. Текст, написанный ИИ и затем переведённый, теряет часть исходных шаблонов. В обоих случаях детектор смотрит уже не на тот текст, который его учили оценивать, и результатам сложнее доверять.

Инструменты для грамматики могут сдвинуть текст к «ИИ»

Агрессивные подсказки по грамматике и стилю обычно делают текст глаже и однороднее. Примите их достаточно много — и ваш собственный текст статистически начнёт походить на результат модели.

Для чего детекторы хороши

Всё это не значит, что детекторы бесполезны. При разумном использовании это быстрое второе мнение. Высокая оценка черновика — хороший повод его перечитать: все ли предложения одной длины? Есть ли шаблонные фразы в каждом абзаце? Есть ли в тексте хоть что-то конкретное?

Именно так мы советуем пользоваться любым детектором, в том числе нашим. Проверьте черновик перед сдачей, посмотрите, какие части получили высокую оценку, и переработайте их, чтобы они звучали больше как вы. На странице как это работает показан этот цикл в RealWrite.

Чем детекторы не должны быть, так это единственным доказательством при решении о чьей-то работе. Это признают даже компании, которые их создают. Turnitin, например, сообщает преподавателям, что его оценку ИИ не следует использовать как единственное основание для мер против студента. В нашем разборе Turnitin объясняется, что показывает его отчёт.

Коротко

• Детекторы измеряют предсказуемость, а не смысл.
• Перплексия — это удивление на уровне слов. Бёрстность — то, насколько это удивление меняется.
• Большинство коммерческих инструментов добавляют поверх обученные классификаторы, которые нужно постоянно переобучать.
• Водяные знаки перспективны, но на практике редки.
• Чаще всего детекторы ошибаются на формальных жанрах, текстах неносителей языка, коротких и отредактированных текстах.

Если хотите увидеть, как оценивается ваш собственный текст, можно бесплатно проверить его в RealWrite. А если вы выбираете инструмент, в нашем сравнении лучших детекторов ИИ основные варианты разобраны бок о бок.