Цифра и интеллект. 50 сюжетов об искусственном интеллекте

Неожиданные эмерджентные свойства могли появляться также у сложных технических систем, созданных человеком. С самого начала цифровой эпохи разработчиков ПО преследовала проблема появления неожиданных ошибок после интеграции программных компонентов, стабильно работающих по отдельности. Правда, практически всегда удавалось найти причины проблем и устранить их.

Сделав это краткое отступление, обратимся к технологиям ИИ.

Современные нейросети – сложнейшие системы, состоящие из данных и алгоритмов работы с ними. Минимальный компонент нейросети – искусственный нейрон – как и его естественный собрат обладает минимальным набором свойств. Он проводит электрические сигналы, усиливая или ослабляя их по заданным алгоритмам.

Все многочисленные свойства, которые демонстрируют современные нейросети – это с точки зрения теории систем свойства эмерджентные. Просто одни эмерджентные свойства разработчики планировали и/или ожидали, а другие оказались совершенно неожиданными. Учили LLMгенерировать текст, а она в какой-то момент начала проявлять арифметические способности, распознавать юмор и эмоции, поддаваться лести, критике и давлению.

Революция генеративных нейросетей на то и революция, чтобы менять привычные представления. В публичном пространстве эмерджентными свойствами генеративного ИИ стали называть только те свойства, которые разработчиками не планировались. Не будем и мы идти против сложившейся трактовки и далее под эмерджентными свойствами будем понимать те, «которых не ждали».

Вокруг эмерджентных свойств LLMведутся не менее горячие споры, чем вокруг AGI. В определенных моментах эти дискуссии связаны и пересекаются. Главное – единого понимания нет, поэтому разберем основные позиции участников дискуссий.

Вот их перечень:

никаких эмерджентных (неожиданных) свойств у LLMнет, просто нужно глубже изучать и оценивать внутренние механизмы их работы;

эмерджентные свойства LLMсвязаны исключительно с их масштабированием, и на этом пути нас ждет еще много неожиданностей, вплоть до появления полноценного AGI;

эмерджентные свойства способны проявлять не только LLM, но и сложные экосистемы ИИ-агентов, при этом процессом их корректировки и использования можно управлять;

эмерджентные свойства современного ИИ – это проявление новой разумной формы жизни, в основе которой не сознание и воля, а структурная сложность.

Кратко остановимся на каждой, используя здравый смысл.

Первую позицию в 2023 году стали отстаивать несколько исследователей из авторитетного Stanford University. Они заявили, что неожиданные способности LLM– это лишь узкое использование метрик для оценки результатов. Вот что они утверждали:

Мираж возникающих способностей существует только из-за выбора метрики программистами. Как только вы начинаете исследовать этот вопрос, изменяя метрики, мираж исчезает.

Исследователи не относились к ИИ-элите, серьезного влияния на общественное мнение их публикация не оказала. Гораздо авторитетнее выглядело открытое письмо, которое подписали около 1000 представителей научного мира и технологической отрасли. Они предлагали на полгода заморозить эксперименты с технологиями ИИ как раз по причине непредсказуемости их результатов. По сути, сыграв на руку рекламным лозунгам лидеров ИИ-отрасли о грядущих прорывах.

У первой позиции сегодня немного сторонников. LLMи цифровые экосистемы на их основе предельно сложны, их решения построены на вероятностных подходах. «Заглянуть под капот» современных нейросетей получается далеко не всегда, объяснить те или иные ответы, решения и способности LLMчасто не получается. Поэтому невозможно сегодня отрицать эмерджентные (неожиданные) свойства, которые они проявляют.

Выглядит разумным и подтверждено исследованиями утверждение о том, что эмерджентные способности появляются у LLMпо мере увеличения количества параметров и данных для обучения. В 2023-2024 годах это мнение доминировало среди экспертов.

В 2018 году модель ChatGPT-1имела немногим более 100 миллионов параметров. Она могла генерировать текст, предсказывать следующее слово и выполнять некоторые задачи по обработке текстов. Однако её способности были ограничены по сравнению с последующими версиями и широкой общественности не предъявлялись.

В 2019 году у модели ChatGPT-2было 1,5 миллиарда параметров. Модель могла генерировать связные и качественные тексты, которые иногда сложно было отличить от написанных человеком. Модель генерировала текст на основе коротких фрагментов, поддерживая логику и контекст на протяжении нескольких абзацев. Именно модель ChatGPT-2показала разработчикам, что увеличение количества параметров напрямую улучшает качество результатов.

В 2020 появляется модель ChatGPT-3, в которой количество параметров увеличили на два порядка – до 175 миллиардов. На обучение и отладку новой LLMпотребовалось два года. Модель оказалась способной не только генерировать текст, но и выполнять широкий спектр других задач: ведение диалогов, обработка и перевод текстов, создание сложных аналитических материалов, написание программного кода. Общественность узнала о прорыве в ноябре 2022 года, когда OpenAIвыпустила в свет ChatGPT-3.5.

2023 год – выходит ChatGPT-4у которой предположительно около 500 миллиардов параметров. Модель продемонстрировала улучшения в понимании контекста, логике рассуждений и точности генерации. Она стала способна обрабатывать более сложные запросы, в том числе за счет мультимодальной архитектуры.

Эта динамика подтверждает, что в развитии LLMдействует закон диалектики «переход количества в качество», который как раз и относится к сложным системам. Увеличение числа параметров и параллельно увеличение объема данных для обучения приводило к росту возможностей LLM. Некоторые возможности сначала удивляли разработчиков, хотя потом быстро переходили в разряд привычных.

А что же ChatGPT-5? Точны данных нет, но оценки экспертов колеблются от полутора до десятков триллионов. Только есть одно большое «но». ChatGPT-5– это не одна модель, а целая система с роутером, который решает, какую именно модель использовать для каждого запроса. Быстрая версия для простых задач, рассуждающая модель для сложных, и алгоритм, который выбирает между ними на лету.

Напомним, что в 2025 году главным архитектурным решением для LLMстала архитектура MoE, в рамках которой одна большая LLMзаменяется согласованно работающим ансамблем специализированных мини-нейросетей, получивших название нейросети-эксперты. Мини – это условно, так как каждая нейросеть-эксперт содержит десятки миллиардов параметров. Вполне ожидаема архитектура, в которой есть универсальная LLM на несколько сотен миллиардов параметров, и есть интегрированные с ней нейросети-эксперты.

Подводя итог, можно сказать следующее. До определенных размеров увеличение параметров приводило к появлению неожиданных свойств LLM, которые стали называть эмерджентными. Ограничения на вычислительные ресурсы не позволили и дальше просто увеличивать масштабы LLM. Поэтому ожидание, что такое масштабирование приведет к появлению AGIможно считать несостоятельным.

Наиболее логичной нам представляется третья позиция: эмерджентные свойства способны проявлять не только отдельные LLM, но и их ансамбли в архитектуре MoE, а также сложные экосистемы ИИ-агентов. Это подтверждается, в частности, великолепными возможностями последних версий ChatGPTи DeepSeek, а также результатами теста ARC-AGI-2(напомним, что лучшие результаты получил согласованно работающий ансамбль из нескольких моделей).

Третья позиция предполагает также, что эмерджентными свойствами в определенном смысле можно управлять. Так, например, можно понижать способности LLMк галлюцинациям, которые тоже являются эмерджентным свойством генеративного ИИ. За счет специального обучения можно усиливать возможности LLMк рассуждениям. Можно предположить, что за счет специально подобранных инструкций поразрядного сложения и вычитания можно научить LLMпростейшим вычислениям с многозначными числами.

Третья позиция предельно прагматична. Ее сторонники, как правило, считают, что критерием близости к AGIявляется способность решать интеллектуальные задачи. В эту сторону нужно в первую очередь развивать технологии ИИ, так как успехи будут способствовать экономическому росту и процветанию.

Понятная и эффективная позиция. Угрозы и риски, которые с ней связаны, относятся не к технологиям ИИ и не к их эмерджентным свойствам. Это проблемы того, как человечество встроит ИИ в свою жизнь. Решит почивать на лаврах в условиях доступного потребления – милости просим в цивилизационный тупик. Захочет с помощью ИИ технологически развиваться и покинуть колыбель – добро пожаловать в космос, сначала ближний, а потом, возможно, и дальний.

Четвертая позиция, по нашему мнению, относится скорее к философским манипуляциям, чем к реальному технологическому развитию. Ее сторонники выстраивают примерно такую логику.

Поведение и свойства предельно сложных систем, к которым относятся современные LLM, по определению непредсказуемы. Такая непредсказуемость ставит под сомнение саму идею полного контроля над технологией. Эмерджентность разрушает границы между проектированием предельно сложных систем и их самопроявлением.

С технической точки зрения, эмерджентные способности ИИ – непредсказуемые результаты сложных взаимодействий, связанных с размерами модели, объёмом обучающих данных, архитектурной и алгоритмической сложностью. С философской — это проявление новой онтологии мышления, в которой смысл возникает не из субъекта, а из сложной структуры с огромным количество элементов и сцеплений между ними. В какой-то момент новая онтология мышления проявится, и на Земле возникнет новая разумная жизнь.

Рассуждать в подобном ключе можно долго. В определенном смысле такие рассуждения интересны и полезны, особенно для профессиональных философов. Для решения практических задач, которые ставит перед людьми, организациями и человечеством революция генеративного ИИ, данные рассуждения малопродуктивны.

Возможно, четвертую позицию поддержат интересные результаты, полученные исследователями, которые изучали как LLMпринимают те или иные решения.

После полного обучения LLMони подавали на ее вход специально подобранные наборы картинок. Когда LLMанализировала картинки, исследователи с помощью специальных инструментов отслеживали, какие конкретно узлы нейронной сети наиболее активны. Выяснилось, что одни узлы более активно реагируют на цвета, другие на лица, третьи на эмоции, которые явно видны на лицах. Более того. Одни узлы активно реагировали на лица исторических персонажей, а другие – на лица современных актеров. Это тоже можно отнести к эмерджентным свойствам.

Резюме. Современные технологии ИИ за счет своего масштаба безусловно относятся к предельно сложным системам. Такие системы неизбежно будут демонстрировать эмерджентные способности, как запланированные, так и неожиданные. Но это системы – технологические, во многом – математические. Поэтому у человечества есть все основания рассчитывать, что ими можно управлять.

Сюжет 26. Сильный ИИ и технологическая сингулярность

Конец света маловероятен.

Но всегда остается надежда.

Стивен Кинг

Этот сюжет несколько выбивается из общего контекста книги. Мы старались рассматривать в первую очередь практические задачи и проблемы, которые ставит перед людьми шестая информационная революция. Но обойти стороной концепции, связанные с появлением на планете Земля искусственного сверхразума, посчитали неправильным.

В основу сюжета лег материал из книги «Цифра и будущее».

Далее под сильным ИИ будем понимать искусственный интеллект, который не уступает человеческому по когнитивным способностям, эффективности решения задач и сопутствующим энергозатратам. Сильный ИИ должен также обладать волей и сознанием.

Экосистему ИИ-агентов, способных согласовано решать многие интеллектуальные задачи, к сильному ИИ относить не будем.

Во-первых, пока решаются не все задачи. Во-вторых, многие когнитивные способности современному ИИ недоступны (о воле и сознании и речь не идет). В-третьих, современный модели расходуют слишком много энергоресурсов. Вряд ли такой уровень развития технологий ИИ способен породить технологическую сингулярность.

Поэтому данная история о тех событиях, которые, если и произойдут, то в отдаленной перспективе. Даже оптимисты говорят, что появление сильного ИИ не стоит ожидать раньше 2045 года. Пессимисты откладывают это завораживающее перспективами и угрозами событие на XXII век. Скептики считают разговоры на эту тему бессмысленными спекуляциями, а задачу – неразрешимой.

Однако говорить о сильном ИИ нужно по нескольким причинам.

Масштаб такого события эксперты считают уникальным. Сравнивают с зарождением человеческой цивилизации. Другие сценарии социальных и техногенных катастроф не идут в сравнение с технологической сингулярностью. Не по последствиям – человечество может уничтожить себя разными способами, сильный ИИ здесь не одинок. А вот породить принципиально новую ветку эволюции разумной жизни – это дорогого стоит. Если такое произойдет, наступят интересные времена.

Генеративный ИИ меняет мир прямо сейчас. Последствия впечатляющи, но в целом предсказуемы. Их можно прогнозировать, предупреждать, сглаживать. А вот предсказать последствия появления сильного и сверхчеловеческого ИИ сложно, если вообще возможно.

Единства по поводу создания сильного ИИ нет. Некоторые специалисты сомневаются, что это возможно в принципе. Другие уверены, что этого не избежать, что сильный ИИ – не за горами. Железных доказательств для сомнений одних и уверенности других нет. Есть более-менее правдоподобные обоснования.

Приведем одно, связанное с парадоксом Ферми.

Если создание сильного ИИ неизбежно, где полчища роботов, завоевывающих просторы Вселенной? Ограничений в межзвездных полетах для механической цивилизации меньше, чем для органической. Мотивация тоже понятна. Если сильный ИИ уничтожил на планете конкурента в лице органической разумной жизни, почему он должен остановиться? Во Вселенной могут быть другие конкуренты, с которыми по логике нужно разобраться пораньше.

Возможных ответов на этот вопрос как минимум два. Первый – создание сильного ИИ невозможно в принципе. Второй – созданный человеком сильный ИИ будет обладать высокой моралью, которая позволит спокойно сосуществовать с биологической разумной жизнью. Ему будет неинтересно жить в окружении только себе подобных.

Эти гипотетические рассуждения одни эксперты поддержат, другие опровергнут. Но практически все сходятся в том, что после создания сильного ИИ (если это, конечно, возможно), создание сверхчеловеческого ИИ неизбежно. Принципиальный порог сложности будет преодолен, остановить спектакль уже никто не сможет. Сверхчеловеческий ИИ – это даже не Ломоносов, Моцарт и Леонардо да Винчи в одном флаконе. Количество решаемых задач перейдет в качество.

Скептики и адепты сильного ИИ сходятся еще в одном. Если возможность создания сильного ИИ существует – его создадут. Человеческое любопытство и конкурентные преимущества, которые даст сильный ИИ создателям, не оставят шансов избежать технологической сингулярности.

Термин технологическая сингулярностьввел американский профессор математики, писатель-фантаст Вернор Виндж в знаменитой статье 1993 года. Правда, сам он дает отсылку на такие мысли одного из основателей кибернетики Джона фон Неймана:

Ускорение технологического прогресса и перемены в образе жизни людей свидетельствуют о приближении существенной сингулярности в истории рода человеческого, такой сингулярности, после которой дела людские в том виде, в котором они нам известны, продолжаться уже не смогут.

Эти слова были сказаны в 50-е годы XX века.

Теперь о сингулярностикак понятии. В переводе с латинского сингулярный– единственный, особенный. Иногда добавляют – уникальный. Соответственно сингулярность – это особое, единичное и уникальное событие, явление.

Наиболее известный пример – момент зарождения Вселенной, Большой Взрыв. Космологическая сингулярность – состояние Вселенной в начальный момент времени. Непредставимое для разума состояние точки, в которой сосредоточена вся материя Вселенной.

Единственность и уникальность не исчерпывают современное понимание сингулярности. Еще одной важнейшей характеристикой является непредсказуемость, принципиальная неопределенность. Явление, событие может быть уникальным в своем роде, но к сингулярности не иметь никакого отношения. Например, создание единственной и неповторимой Джоконды.

Уточним также, о какой неопределенности идет речь.

Первая трактовка: неопределенность – это невозможность определить, какой из сценариев развития событий произойдет. Сами сценарии известны, но на их вероятности влияет много факторов. Такая неопределенность к сингулярности не имеет отношения.

Неопределенность сингулярности вообще ничего не говорит о возможных сценариях или состояниях. Вещество в момент космологической сингулярности характеризуется бесконечной плотностью и бесконечной температурой, что противоречит всем законам физики.

Вводя термин технологическая сингулярность, Вернор Виндж имел в виду следующее. Как только на Земле появится сверхчеловеческий ИИ, события начнут развиваться по сценарию, который нельзя предсказать в принципе.

Критерием наступления технологической сингулярности считается первое создание одним сильным ИИ другого сильного ИИ. Как только это произойдет, ситуация выйдет из-под контроля, станет непредсказуемой. Моральные искусственные ограничения вроде трех законов робототехники Айзека Азимова, как обоснованно полагал Виндж, не помогут. Стоит один раз от них отступить – и технологической сингулярности не избежать.

При этом люди влиять на события уже не смогут. Какую судьбу им назначит сверхчеловеческий разум – неизвестно. Вернор Виндж считает, что вряд ли она нас обрадует. Вот цитата из его статьи:

При всем моем безудержном технологическом оптимизме иногда я думаю, что мне спокойней было бы наблюдать эти переходные события с расстояния в тысячу лет… а не в двадцать.

В статье Винджа описано несколько вариантов сверхразума:

разумный компьютер, который сначала сравнится с человеком, а потом мгновенно его превзойдет (это сильный ИИ в современной трактовке, наиболее вероятный вариант);

компьютерная сеть, которая в какой-то момент «осознает себя» как сущность и станет сверхчеловеческим разумом (в настоящее время этот вариант пригоден для сюжетов фантастических романов);

киборг, в котором сочетание биологических и компьютерных технологий даст новое качество (маловероятный вариант, человеческий интеллект, дополненный слабыми ИИ, – это просто человеческий интеллект с большим набором вспомогательных инструментов);

биологические исследования, например, в области генетики и нейрофизиологии, приведут к качественному усилению природного человеческого интеллекта (наиболее благоприятный для человечества сценарий, если удастся преодолеть понятные социальные проблемы).

Первый вариант, создание сильного ИИ техническими средствами, является наиболее понятным направлением исследований. Насколько они далеки от реального результата? Наше мнение – пока еще далеки.

Вот что в этой связи интересно. С появлением первых ЭВМ футурологи делали прогнозы о сроках создания искусственного разума. И каждый раз ошибались, а сроки приходилось переносить.

Вернор Виндж в статье 1993 года писал, что сильно удивится, если сверхразум появится раньше 2005 и позже 2030 года. До 2030 года осталось несколько лет, но решения пока нет (если, конечно, не принимать во внимание бравые лозунги Сэма Альтмана, Илона Маска и других ИИ-визионеров).

Оптимисты-практики сегодня называют 2045-2050 годы. Скорее всего – сроки опять придется переносить. И вряд ли мы по этому поводу расстроимся.

Однако есть несколько «но».

Прошлые прогнозы заведомо делались без серьезных обоснований. Технологические результаты были в зачаточном состоянии, эйфория – заоблачная. Авторы нынешних прогнозов, опираясь на феноменальные успехи LLM, понимают также, что для создания сильного ИИ нужно решить несколько проблем.

Компьютерные вычислительные мощности должны сравниться с вычислительными мощностями человеческого мозга. Не будем приводить количественные оценки, которые можно найти в интернете. Важно, что вычислительные мощности суперкомпьютеров уже можно сравнивать с человеческим мозгом. Они пока занимают сотни квадратных метров и расходуют огромное количество энергии. Но ведь современный смартфон по мощности тоже превосходит шкафы первых ЭВМ. И квантовые вычисления – перспективная и набирающая обороты технология. Время, когда вычислительные мощности, сравнимые с человеческим мозгом, станут доступными, не так уж и далеко.

Нужно досконально разобраться, как функционирует человеческий мозг. Как при таком объеме и при низком уровне энергопотребления он способен решать огромное количество самых разнообразных задач. Такое понимание позволит перейти к моделированию работы мозга с помощью компьютерных технологий. Многое получается уже сейчас, но воспроизвести полный спектр когнитивных способностей человека пока невозможно.

Исследования в области функционирования мозга – одно из самых спонсируемых научных направлений в мире. Главная задача этих исследований – разработка модели, которую можно воплотить в жизнь технологическими средствами.

По этому направлению прорывных результатов пока нет. Ученые, участвующие в таких исследованиях, любят говорить, что человеческий мозг – самый сложный объект во Вселенной.

Однако цель понятна, продвижение к ней идет. Результатом будет либо модель для последующего воплощения сильного ИИ, либо понимание, что такая модель невозможна в принципе.

Иногда приводят две правдоподобные, но не доказанные причины, по которым невозможно будет создать сильный ИИ.

Первая причина: человеческое сознание неведомыми способами подключено к информационному полю, выходящему за рамки материального мира. Не только эзотерические и религиозные учения, но и квантовая физика допускает такую возможность.

Вторая причина также связана с квантовой теорией. Есть гипотеза, что сознание и разум человека – не являются следствием электрических сигналов в нейронной сети мозга. Их природа глубже – в основе лежат квантовые взаимодействия, возникающие во время электрической активности мозга. Об этой гипотезе мы еще поговорим в одном из следующих сюжетов.

Угрозу технологической сингулярности можно использовать для популяризации в молодежной среде тематики космических исследований. Вернор Виндж рассматривал вариант космической экспансии как спасение человечества от подступающих проблем.

В 60-70 годы мальчишки и девчонки во многих странах мечтали стать космонавтами. Это была одна из самых романтических профессий. Сегодня мечты у молодежи более приземленные, хотя Илон Маск делает многое, чтобы вернуть те времена.

Резюме.Перспектива создания сильного и сверхчеловеческого ИИ, последующая технологическая сингулярность – это отдаленное будущее. Цивилизационный тупик, связанный с массовым распространением современных технологий ИИ, может возникнуть раньше. Поэтому возвращаемся в основной контекст нашей книги.

Часть 5. Материальные технологии в мире ИИ

Сюжет 27. Мир роботов или пылесосы против андроидов

Позабыты хлопоты, остановлен бег.

Вкалывают роботы, а не человек.

Из фильма «Приключения Электроника»

Сюжет о прошлом, настоящем и будущем мира роботов мы решили начать с далекого 1920 года, когда была опубликована научно-фантастическая пьеса «R.U.R» чешского писателя Карела Чапека. Именно в этой пьесе впервые появляется слово робот(производное от чешского слова, которое переводится как «принудительный труд»).

Сюжет пьесы на столетие определил содержание дискуссий о том, что несет человечеству робототехника. Думаем, краткое изложение на один абзац будет интересно читателю.

Компания «R.U.R» создает человекоподобных роботов, умных, но без эмоций, которые постепенно заменяют людей во всех сферах производства. Проходят годы. Люди больше не работают, а только наслаждаются плодами труда подневольных робото