Ложные срабатывания детекторов ИИ: почему помечают тексты людей

Ложное срабатывание детектора ИИ — это когда инструмент помечает текст человека как созданный ИИ. Такое случается чаще, чем многие ожидают, потому что детекторы судят о том, насколько предсказуемо выглядит текст, а не о том, кто его на самом деле написал. Чаще всего ошибочно помечают формальные тексты, короткие тексты и тексты тех, для кого английский не родной. Если это случилось с вами, сохраняйте спокойствие, соберите черновики и историю версий и просите о разговоре, а не спорьте об оценке.

Ниже — почему так происходит, кого это касается больше всего и практический план, что делать дальше.

Почему тексты людей помечают как ИИ

Детекторы прогоняют ваш текст через статистические модели и оценивают, насколько он похож на результат ИИ. Они смотрят, например, насколько предсказуемо каждое слово и насколько разнообразна структура предложений. Механику мы объясняем в статье как работают детекторы ИИ.

Главное: детектор не видит, как вы печатаете. Он видит только готовые слова. Любой человеческий текст, который оказался гладким, регулярным и предсказуемым, может попасть не на ту сторону границы.

Вот самые частые причины.

Шаблонные жанры

Некоторые виды текстов предсказуемы намеренно. Лабораторный отчёт следует жёсткой структуре. Эссе из пяти абзацев следует шаблону. Сопроводительные письма, аннотации, аналитические справки и описания товаров используют стандартные формулировки, потому что этого ждёт жанр. Низкое «удивление» — свойство жанра, а детектор читает его так же, как низкое «удивление» в тексте ИИ.

Письмо на втором языке

Это самый документально подтверждённый случай. В 2023 году исследователи Стэнфорда под руководством Вэйсиня Ляна (Weixin Liang) опубликовали в журнале Patterns работу, в которой проверили несколько популярных детекторов GPT на эссе для экзамена по английскому TOEFL, написанных неносителями языка. Детекторы пометили значительную долю этих эссе как сгенерированные ИИ, тогда как эссе американских школьников-носителей языка оценили гораздо точнее.

Причина вовсе не загадочна. Когда пишешь на языке, который ещё учишь, используешь частые слова, в которых уверен, и конструкции, про которые знаешь, что они правильные. Именно этот осторожный, регулярный стиль детекторы связывают с машинами.

Короткие тексты

Детектору нужно достаточно слов, чтобы хоть что-то измерить. В ответе на 150 слов пара предсказуемых предложений может перевернуть результат. Многие инструменты устанавливают минимальную длину, а результаты около этого минимума наименее надёжны.

Сильная правка грамматики и стиля

Проверка орфографии — это нормально. Но если принять десятки предложений по переписыванию от помощника по письму, ваш естественный ритм может сгладиться до чего-то ровного и однообразного. Чем больше ваших формулировок заменяет инструмент, тем меньше текст похож на вас.

Известные или часто копируемые тексты

Люди выкладывали скриншоты, на которых бесплатные детекторы оценивали известные исторические документы как вероятно написанные ИИ. Скорее всего, дело в том, что такие тексты так часто встречаются в обучающих данных, что модели предсказывают их очень легко. Хорошее напоминание: «предсказуемо для модели» и «написано моделью» — не одно и то же.

Как выглядит ложное срабатывание

Вот абзац из тех, что студенты пишут каждый день, полностью сами:

Изменение климата является одной из наиболее значимых проблем, стоящих перед современным миром. Оно оказывает влияние на экосистемы, экономику и общество самыми различными способами. Правительства, бизнес и отдельные граждане играют важную роль в решении данной проблемы.

В нём нет ничего нечестного. Но посмотрите, что видит детектор: три предложения похожей длины, очень распространённое начало, перечисление из трёх пунктов в двух предложениях из трёх и ни одной детали, которая могла бы принадлежать только этому автору. Каждое слово легко предсказать. Это профиль текста модели, поэтому детектор может оценить его как вероятно созданный ИИ.

Теперь сравните с версией, в которой та же мысль, но больше самого автора:

Тем летом, когда у бабушки с дедушкой пересох колодец, изменение климата впервые показалось мне чем-то близким. Они брали из него воду сорок лет. Ремонт обошёлся дороже их машины.

Такое никто не примет за шаблон. И это просто лучше написано. Это совпадение не случайно, и это самое полезное, что стоит понять о ложных срабатываниях: привычки, которые их вызывают, — это в основном привычки, делающие текст безликим.

Если английский для вас не родной

Вы не обязаны звучать как носитель языка, чтобы вам поверили. И всё же кое-что помогает. Сохраняйте черновики и заметки. Используйте примеры из собственного опыта и прочитанного — их ни одна модель не предскажет. А если пользуетесь переводчиком или инструментами для грамматики, сохраняйте копию того, что написали до них, чтобы при необходимости показать собственные слова.

Что делать, если вас ошибочно пометили

Если преподаватель, редактор или клиент говорит вам, что ваша работа определилась как ИИ, вот план, который работает лучше паники.

1. Сохраняйте спокойствие и спросите, что именно помечено

Спросите, какой инструмент использовали, какая была оценка и какие фрагменты подсвечены. Вы вправе понимать, в чём претензия. Держите тон деловым. Человек, который поднял вопрос, тоже может сомневаться, насколько доверять инструменту.

2. Соберите доказательства процесса работы

Самое сильное доказательство — запись того, как работа делалась во времени:

• История версий. Google Документы («Файл» → «История версий») и Microsoft Word с OneDrive хранят правки с отметками времени. Документ, который рос за несколько сессий, выглядит совсем иначе, чем вставленный целиком за один раз.
• Заметки и планы. Рукописные или цифровые, по возможности с датами.
• Ранние черновики. Даже самые сырые.
• Источники. История браузера, книги из библиотеки, PDF с вашими пометками.

Если обычно вы всё это не сохраняете, начните сейчас. Это ничего не стоит и проще всего защитит вас в будущем.

3. Предложите обсудить работу

Предложите объяснить свою аргументацию, рассказать, как вы нашли источники, или ответить на вопросы о сделанном выборе. Человек, который сам написал текст, обычно может обсуждать его подробно. Часто это убеждает сильнее любого документа.

4. Сошлитесь на рекомендации самого инструмента

Разработчики детекторов прямо говорят, что оценки — не доказательство. Turnitin, например, указывает, что его индикатор ИИ-текста не следует использовать как единственное основание для мер против студента, и скрывает низкие оценки именно потому, что они менее надёжны. В нашем разборе Turnitin объясняется, что на самом деле показывает его отчёт. Ссылаться на рекомендации самого инструмента — не значит конфликтовать. Это просто помещает оценку в контекст.

5. Узнайте формальную процедуру

Если разговор не решил вопрос, найдите положение об академической честности вашего учебного заведения или условия разрешения споров в вашем договоре. В большинстве вузов есть процедура апелляции, а во многих — омбудсмен или представитель студенческого союза, который может помочь. Попросите изложить решение и доказательства письменно.

Как снизить риск в следующий раз

Вы не обязаны менять манеру письма, чтобы угодить инструменту. Но несколько привычек делают ложные срабатывания менее вероятными, а разбираться с ними — намного проще:

• Пишите в документе с историей версий, а не в простом текстовом редакторе, из которого потом вставляете текст.
• Сохраняйте собственный голос. Конкретные примеры, мнения и предложения разной длины — это и лучшее письмо, и меньше «похожести на ИИ». В нашем руководстве почему текст звучит как ИИ перечислены шаблоны, за которыми стоит следить.
• Не увлекайтесь предложениями по переписыванию от инструментов для грамматики. Исправляйте ошибки, но сохраняйте свои формулировки.
• Проверяйте перед сдачей, если ставки высоки. Детектор, например детектор ИИ от RealWrite, отмечает предложения, которые читаются как ИИ, и объясняет почему. Считайте результат подсказкой, где править, а не вердиктом.

Несколько слов преподавателям и редакторам

Если вы по другую сторону, высокая оценка — повод для разговора, а не для вывода. Попросите показать черновики. Попросите автора рассказать о работе. Сравните её с его прежними работами. Будьте особенно осторожны с теми, для кого язык не родной, и с формальными типами заданий, где ложные срабатывания наиболее вероятны.

По этим причинам несколько университетов полностью отключили функции детекции ИИ. Университет Вандербильта одним из первых заявил об этом публично в 2023 году. Другие оставляют инструменты, но учат сотрудников воспринимать их как один из многих факторов.

Итог

Ложные срабатывания — известное ограничение того, как работают детекторы ИИ, а не признак того, что вы сделали что-то не так. Сохраняйте доказательства своей работы, придерживайтесь фактов и просите, чтобы решение опиралось не только на одно число.

Если хотите увидеть, как оценивается ваш текст, до того как его проверит кто-то другой, можно бесплатно проверить его в RealWrite. Подробности о тарифах — на странице цен.