Цена мысли. Об экономике агентного ИИ

Отсюда и весь вопрос. Если у задачи есть видимый счёт и невидимый, то выбирая между машиной дорогой и машиной дешёвой, я выбираю по первому и получаю оба. И прежде чем говорить о том, что невидимый счёт больше, стоит посмотреть на его первую строку — ту, что ближе всего к видимому и написана почти в той же валюте. Слабая машина берёт дешевле за знак. Она берёт куда больше знаков.

3.2. Слабая модель тратит больше

Цена за знак — это цена за знак, а не за работу. Между ними стоит число, которое в прайсе не указано: сколько знаков понадобится, чтобы работа была сделана. Я привык считать это число свойством задачи — она большая или маленькая, и значит, знаков будет много или мало. Оно оказалось свойством исполнителя.

Поручение разворачивается в цепь шагов, и каждое звено чего-то стоит. Звено — это прочитанный файл, запущенная проверка, обдуманный вариант, внесённая и откаченная правка. Одни звенья необходимы: без них задача не закрывается. Другие возникают оттого, что исполнитель потерял нить и восстанавливает её, или пошёл не туда и возвращается. Для надёжности лишнее звено — это ещё один шанс промахнуться. Для счёта лишнее звено — это оплаченная строка, ничем не отличающаяся от необходимой. Машина не делает скидки на то, что шаг оказался напрасным; напрасный шаг тарифицируется так же, как тот, который привёл к результату.

Я несколько раз смотрел подряд на то, как одну и ту же задачу выполняют машина слабая и машина сильная, и постепенно перестал воспринимать разницу как разницу в качестве ответа. Это была разница в повадке. У слабой машины есть характер, и характер этот узнаваем от задачи к задаче, как узнаваем неловкий работник, которого видишь второй месяц.

Она перечитывает. Открывает файл, разбирает его, идёт дальше, а через несколько шагов открывает тот же файл снова и разбирает заново, потому что не удержала прочитанное в рабочей нити. Я видел, как один и тот же файл настроек открывался четырежды за одно поручение, и каждый раз разбирался целиком, от первой строки до последней, будто впервые. Внешне это выглядит как прилежание: машина сверяется с источником. По счёту это выглядит как двойная оплата одного и того же чтения, и чем длиннее поручение, тем чаще повтор. Причём повтор не бесплатен вдвойне: перечитанное вытесняет из нити что-то другое, и через несколько шагов потребуется перечитать уже это.

Она пробует и откатывает. Вносит правку, запускает проверку, видит, что стало хуже, возвращает как было, вносит другую. В этом нет ничего порочного: так работает всякий, кто не видит решения целиком, и человек делает то же самое. Разница в доле. У сильной машины перебор — способ уточнить гипотезу, которая уже почти верна; у слабой перебор заменяет гипотезу. Первая примеряет, вторая ищет наугад, и каждая примерка стоит одинаково. Узнаётся это по тому, как меняется правка: у сильной машины вторая попытка отличается от первой в том самом месте, где проверка показала расхождение, у слабой — в другом месте, выбранном по соседству.

Она упорствует. Выбрав неверное объяснение происходящего, слабая машина не отбрасывает его при первом же противоречии, а начинает достраивать: если не сходится здесь, значит, дело в чём-то рядом, и надо посмотреть рядом. Так возникают самые длинные и самые бесполезные ветви работы — не короткие промахи, а развёрнутые, аккуратные, внутренне связные исследования не той области. Читать их отчёт неприятно именно потому, что он логичен. Неверна только первая посылка, а всё остальное безупречно следует из неё. Однажды машина решила, что дело в устаревших данных, и половину поручения потратила на то, чтобы их обновить, очистить и обновить снова; данные были ни при чём, но каждый шаг этой работы выглядел осмысленным, и каждый был оплачен.

Она рассуждает вместо того, чтобы действовать. Там, где достаточно открыть соседний файл и посмотреть, слабая машина строит предположения о том, что в нём может быть, взвешивает варианты, оговаривает условия. Рассуждение стоит знаков ровно столько же, сколько действие, а иногда больше; при этом действие дало бы ответ, а рассуждение даёт только список того, каким ответ бывает. Хуже другое: рассуждение о неизвестном содержимом файла нередко заканчивается выбором наиболее вероятного варианта, и дальше работа идёт от предположения, которое можно было проверить одним движением.

Все четыре черты — одна черта, увиденная с разных сторон. Слабая машина хуже держит в голове систему целиком и хуже замечает, что уже сбилась. Отсюда и повторное чтение, и перебор вместо гипотезы, и упорство в неверной ветви, и разговор вместо взгляда. Это не случайные промахи, которые в среднем сойдутся: это повадка, воспроизводимая от поручения к поручению. Поэтому её и можно закладывать в расчёт.

Справедливости ради: лишние звенья бывают у любой машины и у любого человека. Сильная тоже открывает не тот файл, тоже проверяет то, что можно было не проверять, тоже иногда идёт по ложному следу. Речь не о безошибочности, которой нет ни у кого, а о доле напрасного в общем объёме и о том, как быстро напрасное распознаётся. Сильная машина возвращается с ложного следа через шаг или два, потому что замечает противоречие; слабая возвращается через десять или не возвращается вовсе. Обе ошибаются; счёт им выставляют за длину заблуждения.

Из этого следует то, что меня в своё время задело. Прайс не позволяет оценить стоимость поручения даже приблизительно, потому что в нём указана цена за знак, а неизвестным остаётся сомножитель — и сомножитель этот тем больше, чем дешевле цена. Умножая одно на другое, я получаю не оценку, а нижнюю границу, причём нижнюю границу тем более оптимистичную, чем слабее выбранная машина. Настоящая цена становится известна после работы, и узнаю я её не из прайса, а из отчёта о том, что было сделано. Даже в этой, самой видимой своей части счёт приходит потом.

Мне возражали — и возражали резонно, — что всё это учтено заранее. Разрыв в цене между машиной дешёвой и машиной сильной бывает не в проценты, а в разы: в 2026 году между самыми дешёвыми машинами и сильнейшими из доступных он доходил до десятикратного и больше. Пусть слабая делает вдвое больше шагов, пусть даже втрое: десятикратная скидка покрывает трёхкратный расход с запасом, и по этому счёту дешёвая остаётся дешёвой. Возражение верное по форме и неполное по существу, потому что множится не только число шагов.

Каждый следующий шаг поручения несёт с собой всё, что было раньше: прочитанные файлы, прошлые попытки, вывод проверок, собственные рассуждения. Это и есть нить, ради которой машине передают историю работы. Длина этой истории растёт вместе с числом шагов, и растёт не у одного шага, а у всех последующих сразу. Поэтому вдвое больше шагов — это не вдвое больше знаков, а заметно больше: удлиняется и список дел, и то, что приходится держать при себе на каждом деле. Перебор, который у сильной машины был бы третьим шагом из пяти, у слабой становится тринадцатым из сорока, и все сорок помнят про все предыдущие.

Сложите одно с другим — и десятикратная разница в цене за знак перестаёт быть десятикратной разницей в цене работы. По моему опыту она сжимается до двух-трёх раз, а на длинных и запутанных поручениях подходит вплотную к единице. Числа эти условны: зависят от того, какие машины сравнивать и в каком году; неусловно направление. Разрыв всегда сжимается, никогда не расширяется, и сжимается тем сильнее, чем длиннее поручение — то есть тем сильнее, чем больше оно похоже на настоящую работу, а не на пробный запуск.

У длинной работы есть и та сторона счёта, которая знаками не меряется. Сорок шагов идут дольше пяти — не в разы дольше по времени ожидания, потому что машина работает быстро, но достаточно долго, чтобы человек, отдавший поручение, успел переключиться на другое и потерять контекст. Когда результат приходит, ему нужно возвращаться в задачу, которую он уже выпустил из головы. Эта строка не попадает ни в один отчёт, и всё же она из того же счёта, что и остальные: длинная работа машины оплачивается коротким разрывом в чужом внимании.