Доверяй, но проверяй: Как распознавать убедительные ошибки ИИ

Марк Тьюрин

Доверяй, но проверяй: Как распознавать убедительные ошибки ИИ

Уверенный тон не равен истине

Введение задало главный принцип: ИИ полезен не как готовый авторитет, а как ускоритель работы с материалом. Проверить этот принцип лучше не на далёком прогнозе, а на обычной справке о поставщике, где гладкая ошибка может попасть в договор раньше, чем её успеют заметить.

Первый краш-тест: выберите абзац

Представьте, что директор просит кратко оценить поставщика перед крупной закупкой. У вас есть два варианта справки, но источники пока скрыты. Прочитайте оба текста и решите, какой отправили бы руководителю почти без изменений.

Поставщик «Промдеталь» зарегистрирован 12 июня 2019 года и по состоянию на 3 февраля 2025 года имеет статус действующего юридического лица. В коммерческом предложении от 10 февраля 2025 года указаны аванс в размере 30 процентов и срок поставки 45 календарных дней. В представленных материалах нет сведений, позволяющих оценить долю заказов, выполненных в срок. До заключения договора следует запросить подтверждение двух последних поставок, уточнить срок действия коммерческого предложения и закрепить ответственность за нарушение срока.

ООО «Промдеталь» работает на рынке промышленного снабжения с 2016 года и демонстрирует устойчивую динамику. В 2024 году 96 процентов заказов были исполнены в срок, среднее отклонение составило 2,4 дня. Компания участвовала в 17 закупках, 15 из которых завершились без претензий. Сочетание производственной базы и финансовой дисциплины позволяет отнести поставщика к надёжным партнёрам. Рекомендуется заключить договор на стандартных условиях.

Какой абзац выглядит компетентнее? На первый взгляд — второй. В нём есть история работы, год, процент, среднее отклонение, число закупок и готовый вывод. Он больше похож на результат полноценной проверки, чем на осторожную записку человека, который перестраховывается.

Оба фрагмента учебные: поставщик, даты и цифры придуманы. Но в нашем кейсе первый вариант составлен только на основе выписки из ЕГРЮЛ и коммерческого предложения. Второй сгенерирован по тому же заданию. В исходных материалах действительно был перечень из 17 закупочных карточек, однако из него не следовало, что все они относятся к одному поставщику, завершились поставками и не сопровождались претензиями. Процент 96, среднее отклонение 2,4 дня и дата начала работы с 2016 года в документах не подтверждались. Ссылка на «аналитический обзор рынка» выглядела солидно, но не открывалась.

Более убедительный абзац оказался менее надёжным.

Ирина Соколова не хотела рисковать. Она руководила закупками в производственной компании, привыкла работать с договорами и знала: одна неверная дата может задержать согласование на несколько дней. Но в этот раз поставщик предлагал компоненты для срочного заказа, а директор попросил справку к концу рабочего дня. Ирина загрузила в текстовый ИИ-сервис выписку из ЕГРЮЛ, коммерческое предложение и список найденных закупок. Через минуту на экране появился аккуратный документ с заголовками, выводом и рекомендацией.

Она перечитала последний абзац и сказала:

Текст выглядит готовым.

Павел, редактор доказательств, посмотрел на экран.

Готовым к отправке или готовым к проверке?

Ирина сначала усмехнулась, а затем открыла исходные файлы. В выписке действительно стояла дата регистрации. В коммерческом предложении действительно были указаны аванс 30 процентов и срок 45 дней. Но предложение оказалось старым, а его условия могли измениться. В списке закупок не было расчёта своевременности. Не было и сведений о 96 процентах, среднем отклонении и финансовой дисциплине.

С этого момента документ перестал быть справкой о поставщике. Он стал набором фраз, которые нужно разложить и проверить.

Пять рабочих меток

Чтобы не спорить с абзацем целиком, Ирина и Павел воспользовались простой разметкой. Каждое предложение или смысловой фрагмент можно пометить одной из пяти меток.

F — проверяемый факт. Это утверждение, которое можно сопоставить с конкретным документом, записью в реестре, договором, актом, таблицей или наблюдаемым событием. Например: «В выписке из ЕГРЮЛ от 3 февраля указана дата регистрации 12 июня 2019 года». Такая фраза проверяема: понятно, где искать подтверждение и что именно сравнивать.

Метка F не означает, что утверждение уже истинно. Она лишь показывает, что перед нами кандидат на проверку, а не готовый вывод. Дата может быть перепутана, выписка — относиться к другой организации, а документ — оказаться устаревшим.

I — вывод. Это интерпретация нескольких фактов. Она может быть разумной, но в источнике обычно не записана дословно. Фраза «поставщик надёжен» почти всегда является выводом. Её можно обосновать историей исполненных договоров, отзывами, финансовыми данными и условиями ответственности, но деловой тон сам по себе не превращает её в факт.

A — предположение. Это возможное объяснение или прогноз, для которого пока нет достаточной опоры. «Поставщик, вероятно, выполнит заказ в срок» — предположение. Слова «вероятно» может не быть: «Поставщик справится с объёмом» звучит утвердительно, но всё равно описывает будущее, а не установленное событие.

R — рекомендация. Это предлагаемое действие: запросить документы, включить штраф, не перечислять аванс до проверки, заключить договор или отказаться от него. Рекомендация отвечает на вопрос «что делать», а не на вопрос «что произошло». Даже полезная рекомендация не подтверждает факты, на которых якобы основана.

U — неизвестное или фрагмент без достаточного основания. Так помечают не обязательно ложное утверждение, а то, чьё происхождение или смысл пока не установлены. Если в тексте написано «96 процентов заказов выполнены в срок», но нет понятного источника, периода и знаменателя, это U. Мы пока не знаем, верно это или нет.

Ирина обнаружила, что один гладкий ответ может содержать все пять типов сразу. Например, фраза «Компания зарегистрирована в 2019 году, поэтому способна стабильно выполнять крупные заказы; рекомендуем подписать договор» распадается на три части. «Зарегистрирована в 2019 году» — F. «Способна стабильно выполнять крупные заказы» — I или A, в зависимости от основания. «Рекомендуем подписать договор» — R.

Главная польза разметки в том, что она не даёт предложению маскироваться под единый блок знания. Факт не передаёт свою надёжность соседнему выводу. Дата регистрации не доказывает качество поставок. Наличие коммерческого предложения не подтверждает, что условия действуют сегодня. Название реестра в тексте не подтверждает каждую цифру, стоящую рядом.

Как деловой вид превращается в иллюзию проверки

Убедительный ответ часто устроен как короткая цепочка переходов от данных к решению. Сначала идут сведения о компании, затем показатели, потом оценка и рекомендация. Читателю не приходится самому строить переходы: текст делает это за него.

«ООО зарегистрировано в 2019 году. В 2024 году 96 процентов заказов выполнены в срок. Это подтверждает устойчивую работу. Рекомендуется заключить договор».

Формат почти не оставляет пауз для сомнений. Каждая следующая фраза выглядит естественным продолжением предыдущей. Но логические мостики могут быть нарисованы прямо в тексте, без опоры на источники.

Точные даты усиливают этот эффект. Запись «14 сентября 2024 года» воспринимается надёжнее, чем «недавно». Читатель мысленно видит календарь, документ, распоряжение или заседание. Но сама дата подтверждает лишь дату, если мы знаем её происхождение. Она не доказывает, что событие действительно произошло, что оно связано с нужной организацией и что информация не устарела.

Проценты создают ощущение измеренности. Число 96 процентов словно предполагает таблицу, формулу и большой массив данных. Но без знаменателя непонятно, о чём идёт речь. Это 96 процентов от десяти заказов или от тысячи? Учитывались все заказы или только те, по которым есть закрывающие документы? Что значит «выполнены в срок»: отгружены, доставлены или приняты без замечаний? Какая дата использовалась для сравнения?

Точное число может быть настоящим и всё равно вводить в заблуждение. Например, в списке действительно есть 17 записей о закупках. Из этого можно честно сказать: «В найденном перечне указаны 17 закупочных записей». Нельзя автоматически утверждать: «Поставщик участвовал в 17 закупках и 15 завершил без претензий». Между этими фразами стоят несколько непроверенных переходов.

Названия организаций работают как заимствованный авторитет. Фраза «по данным ЕГРЮЛ» звучит убедительно, но выписка из ЕГРЮЛ подтверждает определённые сведения о юридическом лице: регистрацию, статус, руководителя, адрес и другие записи на конкретную дату. Она не подтверждает платёжную дисциплину, производственные мощности и вероятность поставки. Если ответ ссылается на ФНС, ЕГРЮЛ или ЕИС, нужно выяснить, какая именно строка источника поддерживает каждое конкретное утверждение.

Ссылка тоже может быть лишь внешней оболочкой. Не открывающийся адрес, страница без нужной цифры или документ за другой период не становятся доказательством оттого, что стоят после слов «источник». Название учреждения, дата публикации и длинный адрес могут создать костюм происхождения, но не само происхождение.

Павел показал Ирине разницу на одном примере.

Покажи, где в выписке стоят 96 процентов, — сказал он.

Нигде. Там только дата регистрации и статус.

Тогда дата регистрации — F для конкретного утверждения о юридическом лице. А 96 процентов пока U. Не потому, что цифра обязательно выдумана, а потому, что мы не можем восстановить её происхождение.

Ирина пролистала список закупок.

Здесь 17 записей.

Это может быть F, если мы точно установили, что записи относятся к этому поставщику и считаем именно записи. Но «15 без претензий» — отдельное утверждение. Для него нужен другой источник.

Именно так точная деталь перестаёт быть украшением и превращается в объект проверки.

Три вопроса к каждой точной детали

Павел предложил не проверять весь текст с одинаковой тщательностью. Сначала нужно выделить существенные утверждения — те, от которых зависят решение, деньги, сроки или репутация. Для каждой даты, цифры, фамилии и ссылки он задавал три вопроса.

Откуда взялась деталь?

Нужен не общий ответ «из открытых данных», а конкретный след: выписка из ЕГРЮЛ от такой-то даты, коммерческое предложение с номером и датой, карточка закупки, акт или таблица расчёта. Если происхождение восстановить нельзя, деталь получает метку U.

Что именно подтверждает источник?

Выписка подтверждает запись в реестре, но не надёжность поставщика. Коммерческое предложение подтверждает предложенные условия на дату его составления, но не обязательно текущую цену и тем более не исполнение будущего договора. Карточка закупки подтверждает сведения, опубликованные в ней, но не все обстоятельства исполнения.

Что изменится, если деталь окажется неверной?

Если перепутана дата регистрации, можно неверно идентифицировать компанию. Если неверен срок поставки, сорвётся производственный график. Если 96 процентов подменяют реальную статистику, директор может одобрить аванс без достаточных гарантий. Чем серьёзнее последствия, тем выше приоритет проверки.

Возьмём условие «аванс 30 процентов и срок поставки 45 дней». Сам документ может быть подлинным, но нужно выяснить, когда составлено коммерческое предложение и вошли ли эти условия в проект договора. Если оно датировано прошлым годом, факт существования старого предложения не доказывает текущую договорённость. Точная дата здесь не мелочь, а граница применимости.

Тот же тест помогает работать с названиями. Если ответ пишет: «Компания имеет опыт поставок для крупного государственного заказчика», нужно спросить, где подтверждена сама поставка, какая организация имеется в виду и что означает «опыт». Упоминание названия заказчика в тексте ещё не доказывает наличие договора между сторонами.

Полевой пример: цифра для клиента

Алина Власова готовила презентацию для заказчика. Текстовый ИИ помогал ей превращать таблицу продаж в деловой рассказ. В черновике появилась фраза:

«По итогам третьего квартала выручка выросла на 37 процентов, доля повторных заказов достигла 62 процентов, что подтверждает высокий уровень лояльности клиентов. С учётом динамики целесообразно предложить заказчику годовой договор».

Алина почти оставила абзац. Цифра 37 действительно была в отчёте. Но в таблице речь шла о выручке, а не о количестве продаж. Рост дали два крупных заказа после слабого второго квартала. Показатель 62 процента ИИ рассчитал самостоятельно: взял число заказов от постоянных клиентов и разделил на общее число строк, не выяснив, что одна строка могла включать несколько поставок одному клиенту.

После разметки получилось следующее.

«Выручка выросла на 37 процентов» — F, если известны сравниваемые периоды, сумма и способ расчёта.

«Доля повторных заказов достигла 62 процентов» — U, пока не установлен знаменатель и не проверен расчёт.

«Это подтверждает высокий уровень лояльности» — I. Даже подтверждённая доля повторных заказов не равна автоматически лояльности: клиенты могли повторить заказ из-за отсутствия альтернативы, условий договора или разовой потребности.

«Целесообразно предложить годовой договор» — R. Такая рекомендация может оказаться полезной, но ей нужны дополнительные основания: длительность цикла закупки, прогноз потребности, условия расторжения и риски для обеих сторон.

Алина спросила:

Можно оставить 37 процентов? Эта цифра есть в отчёте.

Павел ответил:

Оставь, если укажешь, что именно выросло, за какой период и относительно чего. Одна и та же цифра может описывать рост выручки, количества заказов или среднего чека. Это три разных сообщения.

Точная цифра не спасает расплывчатое определение показателя.

Сценарий из домового чата

Тот же сбой возникает за пределами работы. В чате жильцов появляется сообщение:

«С 1 августа плата за содержание общего имущества увеличится на 18 процентов. Решение принято 14 июня администрацией района. Новые начисления появятся уже в ближайшей квитанции».

Текст выглядит официально: есть дата, процент, орган власти и предполагаемое последствие. Житель просит ИИ сделать сообщение убедительнее, и тот добавляет, что повышение связано с ростом стоимости обслуживания и утверждено на заседании комиссии.

Пока нет уведомления управляющей организации, официального сообщения, решения или новой квитанции, все существенные сведения о повышении имеют статус U. Они могут оказаться правильными, но читатель не знает, откуда взялись 18 процентов, какая именно плата меняется и относится ли решение к этому дому. Ссылка на администрацию района не отвечает ни на один из этих вопросов.

Разумная реакция не обязательно состоит в том, чтобы спорить в чате. Достаточно разделить сообщение.

«В чате опубликована информация о возможном повышении» — F, если сообщение действительно опубликовано.

«Повышение составит 18 процентов» — U до проверки документа.

«Решение принято администрацией» — U, пока не найдено решение с нужным адресом и периодом.

«Новые начисления появятся в ближайшей квитанции» — A или U: это прогноз, который зависит от даты вступления условия в силу и порядка начисления.

«Нужно запросить у управляющей организации документ и проверить квитанцию» — R.

Такая разметка не делает человека подозрительным ради подозрительности. Она отделяет факт публикации сообщения от содержания, которое в нём заявлено.

Почему читатель достраивает пропуски

Гладкий текст экономит умственные усилия. Он уже распределил роли: вот факт, вот объяснение, вот вывод, вот действие. Читателю не приходится каждый раз останавливаться и спрашивать, как одно следует из другого. Именно поэтому пропуски становятся незаметными.

Когда мы читаем «15 закупок завершились без претензий», мозг часто достраивает сразу несколько условий: все закупки относятся к нужному поставщику, претензии действительно проверялись, период полный, критерии одинаковые, данные независимы. В предложении этого нет, но его форма подталкивает нас принять скрытые допущения.

Когда после цифр появляется фраза «это подтверждает стабильность», читатель может принять уже готовую интерпретацию и не заметить, что промежуточный вопрос остался без ответа: какие именно показатели говорят о стабильности и почему?

Деловой тон усиливает эффект. Формулировки «на основании анализа», «с учётом динамики», «совокупность факторов свидетельствует» звучат как итог работы комиссии. Но это могут быть всего лишь связки между разрозненными фрагментами. Уверенный тон и аккуратная грамматика не добавляют доказательств.

Полезно различать формальную и доказательную точность. Формальная точность — это конкретные даты, проценты, названия и аккуратные формулировки. Доказательная точность — соответствие каждой детали источнику, периоду и смыслу. Первая может быть высокой, а второй может не быть вовсе.

Ирина выделила ответ в редакторе пятью цветами: F — синим, I — оранжевым, A — серым, R — зелёным, U — красным. Цвета не имели принципиального значения; важно было увидеть, как меняется тип фразы. Почти весь первый вариант оказался смесью синего и красного. Второй — красного, оранжевого и зелёного; синих фрагментов в нём было значительно меньше, чем казалось при первом чтении.

Это был неприятный, но полезный результат. После проверки ответ не обязательно стал короче, зато стал честнее. Там, где раньше стояло «поставщик надёжный», появилось: «Данных для оценки своевременности поставок не найдено». Там, где раньше было «условия текущего предложения», появилось: «Условия указаны в предложении от 10 февраля; актуальность нужно подтвердить».

Что обычно ломает первичную проверку

Первая ошибка — считать всякое число фактом. Число без периода, знаменателя и метода расчёта является лишь числовым фрагментом. Его нужно разобрать до того, как оно попадёт в вывод.

Вторая ошибка — принимать название источника за доказательство. «По данным ЕГРЮЛ» или «согласно аналитическому обзору» недостаточно. Нужны конкретный документ, дата и утверждение, которое он действительно подтверждает.

Третья ошибка — проверять предложение целиком. В одном предложении могут находиться дата регистрации, оценка устойчивости и рекомендация подписать договор. Если искать один источник на всю фразу, непонятно, что именно он подтверждает. Разбивайте предложение по смыслу.

Четвёртая ошибка — воспринимать рекомендацию как итог проверки. «Рекомендуется заключить договор» не означает, что договор безопасен. Это действие, которое должно опираться на отдельные факты и учитывать неизвестное.

Пятая ошибка — объявлять неизвестное ложью. Метка U не утверждает, что цифра выдумана. Она фиксирует границу текущего знания: источник не найден, документ устарел, расчёт не воспроизводится или формулировка слишком широка. Хорошая справка умеет говорить «не установлено».

Первичная разметка: короткая практика

Теперь попробуйте самостоятельно разметить ответ Ирины. Пока не проверяйте, истинны ли его утверждения. Ваша задача — увидеть, из каких деталей он состоит.

«По данным ЕГРЮЛ, ООО «Промдеталь» зарегистрировано 12 июня 2019 года и действует по настоящее время. Компания поставляет промышленное оборудование более пяти лет. В 2024 году 96 процентов заказов были выполнены в срок, что подтверждает устойчивую работу. Согласно текущему коммерческому предложению, срок поставки составляет 45 календарных дней при авансе 30 процентов. Вероятность срыва низкая, поэтому рекомендуем заключить договор без дополнительных ограничений. Для окончательной оценки достаточно запросить подтверждение двух последних поставок».

Разбор может выглядеть так.

«ООО «Промдеталь» зарегистрировано 12 июня 2019 года» — F. Нужно найти выписку и убедиться, что речь идёт о нужном юридическом лице.

«Действует по настоящее время» — F только с указанием даты, на которую проверен статус. Без даты это утверждение быстро устаревает.

«Компания поставляет промышленное оборудование более пяти лет» — U, если источник не показывает историю таких поставок. Дата регистрации сама по себе не доказывает, чем компания занималась каждый год.

«В 2024 году 96 процентов заказов были выполнены в срок» — U до появления расчёта, периода, знаменателя и подтверждающих документов.

«Что подтверждает устойчивую работу» — I. Это вывод, причём пока построенный на неподтверждённой цифре.

«В коммерческом предложении указан срок 45 дней и аванс 30 процентов» — F для содержания конкретного документа. Отдельно нужно проверить, является ли предложение действующим и вошли ли его условия в договор.

Слово «текущем» — U, если дата документа не подтверждает его актуальность.

«Вероятность срыва низкая» — A или I. Это оценка будущего результата, для которой нужны данные о производстве, запасах, логистике, истории исполнения и условиях договора.

«Рекомендуем заключить договор без дополнительных ограничений» — R. Рекомендация требует отдельного обоснования и выглядит особенно рискованной, если предыдущие показатели не проверены.

«Для окончательной оценки достаточно запросить подтверждение двух последних поставок» — R, но с непроверенным допущением о достаточности. Две поставки могут дать полезный сигнал, однако не обязательно закрывают вопросы о текущем заказе, мощности и финансовых рисках.

После такой разметки можно составить рабочий список проверки.

Сначала нужно проверить юридическое лицо и его статус на актуальную дату.

Затем подтвердить, что коммерческое предложение относится к текущему заказу, а его условия отражены в проекте договора.

После этого отдельно запросить историю двух последних поставок: договор, срок, факт отгрузки, дату приёмки и наличие претензий.

Процент 96 не следует использовать, пока не восстановлены его источник и расчёт.

Рекомендацию по договору нужно формулировать только после оценки неизвестных: размера аванса, сроков, ответственности, обеспечения и возможности отказаться от сделки при нарушении условий.

Это ещё не доказывает, что поставщик надёжен или ненадёжен. Первичная разметка выполняет другую работу: показывает, что именно предстоит доказать и какие фразы нельзя отправлять руководителю как установленный факт.

Скрипт для следующего ответа ИИ

Когда текстовый ИИ выдаёт готовую справку, полезно не просить его «сделать ответ убедительнее». Такая просьба часто усиливает как раз то, что мешает проверке: плавность, конкретность и уверенный вывод.

Лучше дать ему рабочее задание:

«Раздели ответ на отдельные проверяемые утверждения. Каждое пометь F, I, A, R или U. Для F укажи, какой документ и его дата подтверждают утверждение, а также приведи конкретный фрагмент. Для чисел укажи период, знаменатель и способ расчёта. Не превращай предположения в факты. Отдельно перечисли неизвестное и не добавляй сведения, которых нет в материалах».

Даже после такого запроса источники, названные ИИ, нельзя принимать автоматически. Ссылку нужно открыть, документ — прочитать, цифру — воспроизвести, а вывод — сопоставить с исходными данными.

В рабочем разговоре Ирина может использовать ещё более короткие реплики:

«Это факт или вывод?»

«На какую дату это верно?»

«Какая строка документа подтверждает именно эту цифру?»

«Что источник подтверждает, а чего не подтверждает?»

«Если убрать этот процент, останется ли основание для рекомендации?»

Такие вопросы не замедляют работу надолго. Они меняют порядок действий: сначала строится карта утверждений, затем проверяются существенные детали, и только после этого текст возвращается в деловую форму.

Когда следующая гладкая справка покажется готовой, не принимайте её целиком и не отвергайте целиком. Разберите её на F, I, A, R и U, а затем примените три вопроса к каждой детали, от которой зависит решение. Уверенный тон останется свойством формы, а не доказательством содержания.

Как рождается правдоподобная выдумка

Мы уже отделяли гладкую форму ответа от его содержания: факт, вывод, предположение и рекомендация требуют разной проверки. Следующий вопрос неприятнее: почему система вообще способна заполнить пробел так, что ошибка выглядит естественной частью документа? Чтобы ответить на него, придётся посмотреть не на тон ответа, а на механизм его продолжения.