Нейросети на практике. Полное руководство. Четыре книги под одной обложкой

Глава 8. Проверка. Как не подставиться

Ситуация

Адвокат с тридцатилетним стажем готовит документы по делу о травме, полученной на борту самолёта. Ему нужны прецеденты — судебные решения, на которые можно сослаться. Он спрашивает у модели, получает шесть подходящих дел с номерами, цитатами и ссылками, вставляет их в документ и подаёт в суд.

Прецедентов не существует. Ни одного из шести.

Самая показательная деталь этой истории не в том, что модель их придумала. А в том, что адвокат попытался проверить — и проверил у той же модели. Он спросил, настоящие ли это дела. Ответ был коротким: да.

Суд оштрафовал его и коллегу на пять тысяч долларов, а история разошлась по всему миру как первый громкий случай. Первый, но далеко не последний: через два года апелляционный суд Калифорнии оштрафовал другого адвоката уже на десять тысяч — в его жалобе двадцать одна цитата из двадцати трёх оказалась выдуманной.

Судья в одном из таких дел использовала формулировку, которую стоит запомнить: крайнее безрассудство. Не «ошибка», не «недосмотр» — безрассудство.

Эта глава о том, как не оказаться на их месте. Она обязательна к прочтению, даже если остальное вы решили пролистать.

Почему это происходит и почему не лечится

Вернёмся к первой главе. Модель достраивает вероятное продолжение текста. Она не знает, что такое факт, и не отличает существующее от правдоподобного — для неё это одна и та же операция.

Когда вы просите прецедент, она генерирует текст, который выглядит как ссылка на прецедент. Название сторон, номер дела, год, цитата, суд. Всё на своих местах, всё правдоподобно. Существует оно или нет — вопрос, который в её работе просто не возникает.

Отсюда три следствия, и каждое неприятно.

Первое: выдумка неотличима от правды по форме. Нет ни оговорки, ни неуверенности в тоне, ни размытости формулировки. Ложный ответ звучит ровно так же уверенно, как верный. Часто — увереннее, потому что придуманное всегда стройнее реального.

Второе: просьба не врать не работает. «Не выдумывай», «пиши только правду», «если не знаешь — скажи» — эти формулировки немного улучшают ситуацию, но не решают её. Модель не может отличить свою выдумку от знания, поэтому не может по требованию перестать выдумывать.

Третье, самое важное: проверять у той же модели бесполезно. Это ошибка адвоката из истории выше, и её повторяют постоянно. Спросив «это точно правда?», вы получаете не проверку, а ещё один сгенерированный текст — причём с высокой вероятностью подтверждающий, потому что модель склонна соглашаться.

Проверка внутри той же переписки — не проверка. Это ещё одна догадка о том же самом.

Что придумывается чаще всего

Не всё одинаково опасно. Вот шкала риска, отсортированная по частоте выдумок.

Высокий риск — проверять всегда:

—

ссылки на законы, статьи, нормативные акты, номера пунктов

—

судебная практика, прецеденты, решения

—

статистика и любые числа с источником

—

цитаты и их авторство

—

ссылки на исследования, статьи и книги — несуществующие придумываются особенно охотно

—

имена, даты, названия организаций

—

URL-адреса — придумываются особенно охотно и выглядят безупречно

—

любые расчёты (пятая глава)

—

утверждения о том, чего в документе нет: отрицательный ответ надёжен заметно меньше положительного (седьмая глава)

Средний риск — проверять выборочно:

—

пересказ содержания документа, который вы дали

—

технические детали, инструкции, порядок действий

—

отраслевые нормы и стандарты

Низкий риск — можно не проверять:

—

структура и формулировки текста

—

стиль, тон, переформулирование

—

логика рассуждения (но не факты внутри неё)

—

предложения и варианты, которые вы будете оценивать сами

Заметьте закономерность: риск растёт вместе с конкретностью. Чем точнее выглядит ответ — номер, дата, цифра, цитата, — тем внимательнее его надо проверять. Это ровно противоположно тому, как устроено доверие у человека: нас конкретика успокаивает.

Красные флаги

Признаки, по которым выдумку можно заподозрить до проверки. Не гарантия, но повод насторожиться.

Слишком круглые числа. «Примерно 40% компаний», «в три раза выше», «около 2 миллионов». Реальная статистика редко бывает круглой.

Идеально подходящий пример. Вы попросили пример, подтверждающий вашу мысль, и получили безупречно подходящий. Реальность обычно менее удобна. Слишком хороший пример — часто сконструированный.

Источник без реквизитов. «Согласно исследованию Гарвардского университета» — без года, авторов и названия. Настоящая ссылка обычно приходит с деталями.

Согласие с вашей формулировкой. Вы спросили «правда ли, что X» и получили «да, это действительно так». Вспомните первую главу: она склонна соглашаться. Проверьте, задав тот же вопрос в обратной формулировке.

Гладкость там, где должна быть сложность. Спорный вопрос, на который приходит стройный однозначный ответ без оговорок. В сложных темах однозначность подозрительна.

Ответ на вопрос о свежих событиях. Всё, что произошло недавно, модель знает плохо или не знает вовсе, но об этом не предупреждает.

Протокол проверки

Практические приёмы, от самого быстрого к самому надёжному.

1. Требовать источник вместе с фактом

Встраивается в исходный запрос:

Для каждого факта, цифры или ссылки указывай источник: название, автор, год. Если источника нет — не приводи факт.

Не гарантия (источник тоже может быть выдуман), но резко сокращает количество лишнего. Многие утверждения просто не появятся, потому что модели нечего к ним приписать.

2. Разрешить не знать

Если в чём-то не уверен — так и напиши. Помечай места, где степень уверенности низкая. Лучше пропуск, чем догадка.

Работает лучше, чем «не выдумывай», потому что вы не запрещаете, а даёте альтернативу. Модель по умолчанию не выбирает «не знаю», так как это редкое продолжение текста. Явное разрешение меняет расклад.

3. Спросить второй раз в новом окне

Тот же вопрос, чистая переписка, никакого контекста от предыдущей.

Разошлись ответы — как минимум один выдуман. Совпали — это не доказательство, но существенно повышает доверие.

4. Спросить у другого инструмента

Развитие предыдущего приёма и причина, по которой во второй главе я советовал держать запасной инструмент другого происхождения. Две разные модели ошибаются по-разному. Совпадение ответов у двух независимых инструментов — уже серьёзный аргумент.

5. Заставить оспорить себя

Мой любимый приём и самый недооценённый:

Найди три слабых места в этом ответе. Что здесь может оказаться неверным? Где степень уверенности низкая?

А для утверждений — обратная формулировка:

Приведи аргументы против этого утверждения. Что сказал бы человек, который с ним не согласен?

Работает потому, что вы меняете задачу: вместо продолжения линии согласия модель начинает генерировать возражения, и часть реальных проблем всплывает.

6. Проверить в первоисточнике

Единственный по-настоящему надёжный способ. Всё, за что вы отвечаете лично — юридические ссылки, цифры для отчёта, факты для публикации, — проверяется в источнике. Не у модели, не у второй модели, а в законе, в базе, в документе.

Занимает это обычно минуты. Цена пропуска — история из начала главы.

Правило соразмерности

Проверять всё подряд невозможно — вы потеряете всё сэкономленное время. Нужен фильтр, и он простой.

Задайте себе один вопрос: что произойдёт, если это окажется неправдой?

Ничего страшного — черновик для себя, идеи для обсуждения, вариант формулировки. Не проверяйте.

Будет неловко — цифра в письме коллеге, факт в рабочей презентации. Проверьте быстро: второе окно или беглый поиск.

Будут последствия — документ для клиента, отчёт наверх, публикация, цифры в коммерческом предложении. Проверяйте в первоисточнике, каждый факт.

Отвечать будете лично — юридические документы, финансовая отчётность, всё с вашей подписью. Первоисточник плюс профильный специалист. Модель здесь только помогает подготовиться.

Практическое следствие: чем ближе текст к внешнему адресату, тем строже проверка. Внутренний черновик и письмо клиенту требуют разного отношения, даже если написаны одинаково.

Отдельно про репутацию

Один аспект, который в руководствах не пишут, а он существеннее штрафов.

Штраф в пять тысяч долларов — это неприятно, но переживаемо. Разошедшаяся по миру история о том, что вы сослались на несуществующие дела, — нет. В обоих громких случаях наказание было финансовым, а настоящий ущерб — репутационным.

И заметьте, за что именно наказали в первом деле. Судья прямо сказал, что, возможно, не стал бы применять санкции, если бы адвокаты сразу признались в использовании модели. Наказали не за использование инструмента, а за то, что продолжали настаивать на выдумке после того, как её поставили под сомнение.

Отсюда практический вывод, который стоит любого технического приёма: если вы обнаружили, что передали неверную информацию, — исправьтесь первым. Быстро, прямо, без объяснений про инструменты. Это стоит несравнимо дешевле, чем защита выдумки.

Где эта глава не поможет

Она не сделает модель надёжной. Всё описанное — способы снизить риск, а не устранить его. Полностью надёжного режима не существует, и любой, кто обещает обратное, продаёт вам что-то.

Она не заменит знание предмета. Проверить можно то, что вы способны опознать как сомнительное. В незнакомой области вы не заметите ошибки, даже если будете проверять. Это, кстати, главный аргумент против использования модели в областях, где вы совсем не разбираетесь.

Она не защитит от правдоподобных мелочей. Год, слегка сдвинутый на единицу. Фамилия, похожая на настоящую. Формулировка закона, изменённая на одно слово. Такое проходит все проверки, кроме сверки с первоисточником.

Итог главы

Модель не отличает выдумку от знания. Она генерирует правдоподобное, а не истинное.

Ложный ответ выглядит так же уверенно, как верный. Часто — стройнее.

Проверять у той же модели бесполезно. Это ещё одна догадка, а не проверка.

Риск растёт с конкретностью: номера, даты, цитаты, ссылки, статистика — зона наибольшей опасности.

Красные флаги: круглые числа, идеально подходящий пример, источник без реквизитов, согласие с вашей формулировкой, подозрительная гладкость.

Работающие приёмы: требовать источник, разрешать не знать, спрашивать повторно в новом окне, спрашивать у другого инструмента, требовать оспорить себя, проверять в первоисточнике.

Фильтр: что будет, если это окажется неправдой. От «ничего» до «отвечать лично» — четыре разных режима проверки.

Обнаружили ошибку — исправляйтесь первым. Наказывают не за использование инструмента, а за упорство в выдумке.

Что сделать сегодня. Задайте модели вопрос из своей профессиональной области — такой, где вы точно знаете правильный ответ и где он не очевиден. Посмотрите, что придёт. Это дешёвая прививка: увидев уверенную выдумку в знакомой теме, вы иначе отнесётесь к уверенным ответам в незнакомой.

Следующая глава — про границы. Про то, чего не стоит делать вообще никогда.

Глава 9. Границы. Чего не делать никогда

Ситуация

Понедельник, задача обычная: подготовить справку по текучке кадров за полугодие. У вас есть выгрузка из кадровой системы — двести строк с фамилиями, должностями, датами приёма и увольнения, зарплатами и причинами ухода.

Вы копируете её целиком и просите разобрать по отделам и найти закономерности.

Технически всё правильно: это ровно та задача, для которой пятая глава и написана. Практически вы только что отправили в стороннюю компанию персональные данные двухсот человек вместе с их зарплатами. Никто из этих людей на это согласия не давал.

Эта глава — не про запугивание. Она про несколько вещей, которые взрослый человек и так понимает, но редко формулирует, а потому регулярно нарушает не по злому умыслу, а по инерции.

Правил здесь немного, и почти все они умещаются в один принцип.

Главный принцип

Один принцип, из которого выводится почти всё остальное:

Всё, что вы отправляете в облачный сервис, покидает ваш контур. Считайте, что вы отправили это наружу.

Не обязательно это где-то всплывёт. Речь не о теории заговора, а о простом факте: данные ушли из вашего контроля. Дальше вопрос только в том, насколько вам всё равно, что с ними будет.

Из этого принципа выводится рабочая проверка перед любой загрузкой:

Готов ли я отправить это письмом в стороннюю компанию, с которой у нас нет договора о конфиденциальности?

Ответ «нет» означает, что загружать нельзя. Формулировка неудобная, но честная — она снимает иллюзию, что окно чата — это что-то вроде личного блокнота.

Что нельзя отправлять

Персональные данные

ФИО вместе с любыми другими сведениями о человеке: должностью, зарплатой, телефоном, адресом, датой рождения, паспортными данными, состоянием здоровья, оценками эффективности.

Это самая массовая и самая недооценённая ошибка. Люди загружают клиентские базы, кадровые выгрузки, списки участников, реестры договоров — не задумываясь, потому что задача-то рабочая и обыденная.

Что делать вместо. Обезличивайте перед загрузкой. Замените фамилии на «Сотрудник 1», «Сотрудник 2», уберите контакты, округлите или замените суммы. В девяноста процентах задач — анализ структуры, поиск закономерностей, составление сводки — конкретные имена не нужны вообще. Вам нужна структура данных, а не люди в них.

Соответствие имён держите у себя, подставьте обратно в результат. Это две минуты работы и полностью снимает вопрос.

Коммерческая тайна и внутренние документы

Условия договоров, себестоимость, маржа, стратегические планы, незапущенные продукты, переговорные позиции, внутренняя отчётность.

Особенно осторожно с договорами. Разбор договора — сценарий из седьмой главы, полезный и востребованный, но полный текст с реквизитами, суммами и сторонами — это ровно то, что вы обещали контрагенту не разглашать.

Что делать вместо. Убирайте реквизиты и названия сторон, оставляйте формулировки пунктов. Для юридического разбора этого достаточно: важна конструкция пункта, а не то, кто его подписывает.

Учётные данные и доступы

Пароли, ключи, токены, доступы к системам. Кажется очевидным — и тем не менее это регулярно попадает в переписку случайно, вместе со скопированным куском конфигурации или инструкции.

Проверяйте, что именно вы копируете, прежде чем вставить.

Чужие тексты, которые вам доверили

Чужая рукопись, чужой бизнес-план, документы клиента, присланные на конфиденциальной основе. Здесь дело не в законе, а в том, что вам это дали лично.

Чего нельзя решать

Отдельный список — не про данные, а про ответственность.

Юридические решения

Разбор договора, объяснение статьи, черновик претензии — можно. Подпись, отправка, отказ от прав, признание требований — только через юриста.

Причина не в том, что модель плохо знает право. Причина в том, что ошибка здесь обнаруживается тогда, когда исправить её уже нельзя, а отвечать за неё будете вы, а не инструмент. Восьмая глава показала, чем это заканчивается даже у профессионалов.

Медицинские вопросы

Ни для себя, ни для сотрудников, ни для родственников. Симптомы, диагнозы, дозировки, отмена или замена назначений — ничего.

Это единственный пункт главы, который я пишу без всяких оговорок и без объяснений про «в общем случае». Просто нет.

Финансовые и кадровые решения

Увольнять или нет. Брать кредит или нет. Вкладывать или нет. Кому поднять зарплату.

Здесь модель особенно коварна, потому что ответ будет звучать разумно и взвешенно. Он и будет разумным — усреднённо разумным, без учёта всего, что знаете вы: истории, отношений, контекста, того, что не формулируется.

Использовать можно и стоит: как способ разложить варианты, найти упущенное, задать себе вопросы. Решение остаётся за вами — и не потому, что так правильнее морально, а потому что отвечать за него будете вы.

Оценка людей

Отдельно и жёстко: не просите модель оценить конкретного человека. Стоит ли повышать, справляется ли, надёжен ли, что с ним не так.

Даже если данные обезличены. Даже если вам кажется, что это просто способ структурировать собственные мысли. Ответ будет уверенным, обоснованным и построенным на статистических закономерностях, а не на этом человеке. Использовать такой ответ для решения о судьбе конкретного сотрудника — некорректно и по существу, и по-человечески.

Что разрешено у вас в компании

Пункт, который стоит закрыть один раз и забыть.

Во многих организациях уже есть правила: что можно, что нельзя, каким сервисом пользоваться. Иногда это отдельная политика, иногда пара строк в регламенте по информационной безопасности, иногда неписаное «вот этим пользуемся, а туда ничего не грузим».

Спросите. У службы безопасности, у юриста, у руководителя — у кого положено. Три вопроса:

Каким сервисом можно пользоваться для рабочих задач

Какие данные нельзя загружать

Нужно ли помечать документы, подготовленные с помощью модели

Это разговор на пять минут, который снимает целый класс проблем. Формулировка «я не знал, что нельзя» никого не защищает, а вот «я спросил и делал по правилам» — вполне.

Если правил нет — тем более спросите. Возможно, вы окажетесь тем человеком, после чьего вопроса они появятся, и это неплохая позиция.

Авторство и честность

Тема, где нет единого правила, но есть несколько ориентиров.

Где помощь очевидно нормальна. Черновик, редактура, структура, перевод, суммаризация, поиск формулировки. Это инструмент, как проверка орфографии. Никто не сообщает коллегам, что пользуется автозаменой.

Где стоит сказать. Если результат подаётся как ваша личная оценка, экспертиза или творчество, а на деле это в основном сгенерированный текст. Аналитическая записка, экспертное заключение, рекомендация, авторская колонка.

Где нельзя молчать. Работа, где авторство — предмет договорённости или требования. Учебные работы. Тексты, за которые вы получаете деньги как автор, если в договоре есть условие о личном исполнении. Документы, где ваша подпись означает «я это проверил лично».

Простой ориентир. Представьте, что получатель узнает, как именно это было сделано. Если реакция будет «ну и что», — всё в порядке. Если «а почему ты не сказал» — надо было сказать.

Отдельно: не подписывайтесь под тем, что не проверили. Это, пожалуй, главное правило всей главы и прямое продолжение восьмой. Подпись означает ответственность независимо от того, кто набирал текст.

Разбор: одна задача, три версии

Задача: проанализировать причины увольнений за полгода.

Нельзя. Загрузить выгрузку целиком: ФИО, должности, зарплаты, даты, комментарии руководителей о причинах ухода. Персональные данные двухсот человек уходят наружу.

Осторожно. Загрузить ту же таблицу без ФИО, но с должностями и зарплатами. В маленькой компании должность плюс зарплата плюс дата — это опознаваемый человек. Обезличивание работает только тогда, когда по остатку нельзя восстановить личность.

Правильно. Загрузить агрегированные данные: количество увольнений по отделам, распределение по стажу, категории причин, диапазоны зарплат группами. Никаких строк по отдельным людям.

Задача решается полностью. Выводы будут теми же самыми — они и должны быть про закономерности, а не про Иванова.

Правило, которое из этого следует: загружайте минимально необходимое для задачи, а не всё, что есть под рукой. Копировать целый файл проще, чем подготовить выжимку, — и именно эта разница в две минуты создаёт большинство проблем.

Итог главы

Всё, что вы загружаете, покидает ваш контур. Проверка: отправил бы я это письмом в стороннюю компанию без договора о конфиденциальности?

Персональные данные обезличивайте. В большинстве задач имена не нужны вообще.

Обезличивание работает, только если по остатку нельзя опознать человека.

Из договоров убирайте стороны, суммы и реквизиты — для разбора формулировок этого достаточно.

Юридические, медицинские, финансовые и кадровые решения — не к модели. Подготовка к решению — можно, само решение — нет.

Не просите оценивать конкретных людей.

Узнайте правила своей компании. Три вопроса, пять минут.

Не подписывайтесь под тем, что не проверили.

Загружайте минимально необходимое, а не весь файл целиком.

Что сделать сегодня. Вспомните, что вы загружали за последний месяц. Найдите там хотя бы один документ, который загружать не стоило, — он почти наверняка есть. Не ради самобичевания, а чтобы понять, где именно проходит ваша личная граница невнимательности. Обычно она проходит там, где вы торопились.

Дальше — последняя глава. Сорок готовых запросов, которые можно копировать и использовать.

Глава 10. Сорок запросов, которые работают

Как пользоваться этой главой

Здесь сорок готовых запросов. Их можно копировать и использовать сразу.

В квадратных скобках — то, что подставляете вы. Чем подробнее подставите, тем лучше результат: третья глава была о том, что контекст решает больше всего остального.

Комментарии после запросов объясняют, почему они устроены именно так. Не пропускайте их. Смысл этой главы не в сорока готовых текстах, а в том, чтобы на сорока примерах стало видно устройство. Через месяц вы будете писать свои запросы, а эти останутся заготовками.

Ограничения в конце каждого запроса — не украшение. Именно они отличают рабочий текст от шаблонного. Если что-то и стоит адаптировать под себя, то в первую очередь их.

Все запросы обкатаны на реальных задачах и построены по схеме из третьей главы: роль, задача, контекст, формат, ограничения.

Для всех: базовые

1. Письмо-отказ

Ты [ваша должность], пишешь [кому]. Напиши письмо с отказом.

Ситуация: просят [что]. Отказываю, потому что [настоящая причина]. Озвучивать могу [что именно]. Отношения [важны / не важны] — [почему]. Взамен могу предложить [что или «ничего»].

Формат: тема отдельно, тело до 600 знаков, три абзаца.

Ограничения: извинись один раз, не больше. Не оставляй ложной надежды формулировками «возможно, в будущем». Причину объясни одним предложением — длинное объяснение читается как оправдание.

Почему так: настоящая причина в контексте нужна, даже если вы её не озвучиваете, — она задаёт тон. Ограничение на длину объяснения решает главную проблему жанра.