Как работать с ИИ и не свихнуться

Есть одна особенность ИИ, к которой человеку приходится привыкать.

Он может ошибаться очень убедительно.

Не мяться.

Не краснеть.

Не говорить: «Что-то я сегодня не уверен».

Не смотреть в потолок в поисках воспоминаний.

Он просто выдаёт ответ.

Спокойно. Последовательно. Иногда даже красиво.

И именно поэтому ошибка, написанная ИИ, может выглядеть убедительнее, чем правильный ответ человека, который сомневается.

Представь двух людей.

Первый говорит:

«Насколько я помню, это было примерно в 1987 году, но я могу ошибаться».

Второй говорит:

«Это произошло в 1986 году. Причиной стало то-то и то-то».

У кого больше шансов вызвать доверие?

У второго.

А теперь представь, что второй — нейросеть.

Вот здесь и начинается проблема.

ИИ не обязан сообщать тебе только то, в чём он уверен на сто процентов. Он может построить правдоподобный ответ из имеющейся у него информации, языковых закономерностей и контекста разговора.

И если правильного ответа у него нет, это не означает, что он обязательно замолчит.

Иногда он заполнит пробел.

Причём заполнит его очень прилично.

С фамилиями. Датами. Названиями. Ссылками. Объяснениями.

И даже с подробностями, которых никогда не существовало.

Это особенно опасно в тех случаях, когда человек сам не знает предмета.

Если ты знаешь тему, ты хотя бы можешь заметить странность.

Если не знаешь — красивый выдуманный ответ может спокойно пройти внутрь как факт.

Поэтому первое правило здесь очень простое:

Чем меньше ты сам понимаешь в вопросе, тем осторожнее нужно относиться к уверенности ИИ.

Не к длине ответа.

Не к красоте ответа.

Не к количеству подробностей.

Именно к уверенности.

Подробность не является доказательством.

Уверенный тон не является доказательством.

Даже несколько последовательных ответов не являются доказательством.

Можно попросить ИИ проверить самого себя.

Иногда это действительно полезно.

Но есть маленькая проблема: проверять свою ошибку тем же самым инструментом — не то же самое, что получить независимое подтверждение.

Если человек написал неправильную цифру, а потом сам её перечитал и сказал: «Да, вроде всё правильно», цифра от этого правильнее не стала.

С ИИ примерно так же.

Поэтому для действительно важных вещей нужны внешние источники.

Документ. Официальный сайт. Первичный источник. Нормальная книга.