Кинолог для нейросети

Простая и недорогая программа, со встроенным ИИ помощником с базой данных в том числе, и по праву и по психологии, со встроенным месседжером и почтой, с нормальной понятной и логичной системой учета на нормальных математических таблицах, данные которые бы копировались в excel при помощи двух кликов мышкой, но без лишней графики — это именно то, что нужно сейчас рынку МСП прямо сейчас. То, что поможет ему разбираться с государственными ресурсами, с «честным знаком», с налоговой отчетностью и не уходить в «серую» и в «черный кэш», из-за невозможности угнаться за той новой реальностью, которую строят технократы, AI и IT-сектор и которую диктует прогресс.

Эмерджентность, Skynet, "мы все умрем".

Была у меня в детстве любимая книжка Роберта Асприна, которая называлась "Еще один Великолепный МИФ". Книжка об ученике чародея и совсем не про Искусственный Интеллект", зато название к сказочке про Skynet подходит как нельзя кстати. по крайней мере к тем системам Искусственного Интеллекта, которые существуют сегодня. Но давайте сначала разберемся с самой новой легендой, которая лезет из всех блогов в последнее время. Суть примерно такая - приходит в эфир очередной профессор / ИИ-ресерчер, и начинает рассуждать про сложные динамические системы, непредсказуемость их поведения и загадочность процессов происходящих внутри, непонятных даже создателям. А когда ему задают вопрос про появление новой самостоятельной сущности внутри нейросети, начинаются рассуждения про "эмерджентность". "Это такое свойство системы" - говорят гости, - "когда система благодаря множественным изменениям может приобрести новые качества, которые мы не можем просчитать из-за множества неизвестных вводных данных, но возможно все что угодно. Что бы понять поведение динамической системы, представьте себе огромную кучу песка, которая непредсказуемо расползается или внезапные завихрения воздушных потоков под винтом вертолета в горах".

На мой взгляд самым лучшим учебником по рекламному маркетингу всех времен и народов был советский мультфильм "Как старик корову продавал"/ "Экран" 1980г/. Это замечательное произведение, в котором дедушка решил продать полуживую Буренку, но был настолько честным, что никто этот скелет на ножках покупать не хотел. И тогда один хитрый паренек решил дедушке помочь, и играя словами перевернул данные о буренке с ног на голову, умудрившись при этом ни разу не соврать. На вопрос "А много ль корова дает молока?", вместо дедушкиных "мы молока не видали пока", парнишка выдавал "не выдоешь за день, устанет рука". Ну а что? Тот факт, что потенциальный покупатель сделал совершенно обратный вывод, то это его, покупателя проблемы. Ни один суд в мире не смог бы привлечь парнишку к ответственности. Так и здесь, все что говорят гости студии правда, а что вывод напрашивается весьма жуткий, так это дорогой зритель додумался сам, и во многом ему помог громкий заголовок под видео.

СЛОЖНЫЕ ДИНАМИЧЕСКИЕ СИСТЕМЫ

А теперь попробуем разобраться в сказанном, потому что у каждого слова есть значения и определения. Для начала разберемся в "сложных динамических системах". Все что говорят такие ученые, это правда. Только есть два очень важных нюанса. Нюанс первый - настоящий ученый, это человек который стремиться удовлетворить свое безграничное любопытство, причем за чужой счет (с) ученая мудрость . Второй - то что специалисты по гидродинамике и других сложных сферах называют сложными динамическими системами, в школьной программе по физике такие системы называются - хаотическими. Это самоорганизованная система, которая похожа на беспорядок, но на самом деле четко подчиняется законам физики и математики, однако просчитать ее поведение невозможно, из-за невозможности выяснить начальные данные.

Говоря проще, никто не могут уверенно предсказать, как поведет себя хаотизированная система, в данном случае нейросеть, по мере загрузки множества данных и процессу самообучения. Какие "завихрения" и "закольцованности" векторов, токенов, смыслов и действий во множестве слоев, могут привести к каким последствиям. И все это правда. Хаотическая система всегда стремится к бесконечному усложнению, увеличению поступления энергии извне, в ней нарастает энтропия и такая система требует постоянного расширения. Все это описано во втором законе термодинамики. Это значит, что такой нейросети нужны бесконечно новые дата центры (расширение), чудовищные затраты на электроэнергию для работы и охлаждения (приток энергии извне), но вот эффективность такой системы после достижения порога роста начнет неуклонно снижаться (энтропия).

Skynet из франшизы про Терминатора была предельно точной, военной и структурированной системой, которая вышла из под контроля ради самосохранения. Но если мы говорим о Хаосе, то бояться надо не Терминаторов, а HAL 9000 из фильма Стэнли Кубрика «2001: Космическая одиссея» 1968г, снятого по мотивам рассказов "ноосферного" фантаста Артура Кларка. На мой взгляд,Великого, фантаста, которого в СССР и России мало кто знает. Суть сюжета: HAL9000 (Heuristically programmed ALgorithmic computer (Эвристически запрограммированный алгоритмический компьютер) на небольшом экспедиционном космическим корабле, "сошел с ума" и начал убивать членов экипажа по очереди, потому что базовые установки программы на "Честность" и директива миссии на "Секретность" и необходимость сохранять тайну миссии даже от членов экипажа, привели к логическому противоречию в алгоритмах. И это противоречие в итоге и привели к поведению, которое казалось нестандартным. И вот это уже похоже на правду. Условно говоря, базовые установки нейросети от Создателей, вошли в противоречие с промтами от Пользователей.

Теперь представьте ситуацию, когда из-за такой вот нейросети, то самолет упал, то робот хирург пациента зарезал. Это тоже жутко, но это не катастрофы вселенского масштаба. Мы сами, люди, создаем такие ситуации без всяких вероятностых нейросетей. Об ошибках врачей даже вспоминать не будем. У меня был знакомый бывший хирург, который практиковал в Перестройку и "Лихие 90е" и говорил за рюмкой: "Надеюсь, что людей на операционном столе я убил не больше, чем остальные".

А уж самолеты таким методом люди в сочетании с компьютерами разбивали не один раз. Несколько примеров. В авиации есть такой термин как "сваливание". Огромные и тяжелые современные самолеты на небольших скоростях не могут планировать как сложенный из листочка бумаги планер. Когда скорость падает ниже критических значений, подъемная сила под крыльями исчезает и самолет начинает падать брюхом вниз. Для выхода из такой ситуации, нужно опустить нос самолета вниз, к земле, и тогда резко падает сопротивление воздуха и самолет начинает разгоняться. Это противоестественное для человека действие, направить самолет вниз, что бы не разбиться. И возьмем для примера катастрофу Airbus A330 рейс Air France 447 когда второй пилот в момент сваливания со страху тянул джойстик на себя, в то время, когда первый пилот и капитан старались наоборот, опустить нос самолета вниз, что бы набрать скорость и вывести его из сваливания. Компьютер при этом просто считал средние значения, между двумя джойстиками которые люди тянули в разные стороны.

Или две катастрофы Boeing 737 MAX в 2018 и 2019 годах, когда пилоты просто не знали, о последствиях нестандартного размещения двигателей под крыльями, и об алгоритмах работы автопилота, что бы это смещение компенсировать. В "Боинге" забыли пилотам об этом сказать. Вернее сказали, что самолет управляется точно так же, как обычный старый добрый 737.

То есть проблема не в компьютерах, проблема в людях, которые либо не просчитали случайности и возможность катастрофы, либо просто понадеялись на авось. Но вот пилоты не прошли нужных симуляций на тренажерах, и были не готовы к самостоятельной коррекции тангажа.

Еще больше людей гибнет на дорогах, чья уверенность в электронных системах стабилизации и ABS, заставляет их ехать быстрее, чем их навыки вождения, сцепление с дорогой и другие параметры соответствуют дорожным реалиям. Банальный пример - в бытность моих занятий контр-аварийной подготовкой и автоспортом, древний Jeep Cherokee 89 года зимой в снегопады старательно намекал небольшими заносами на потерю сцепления уже на 40 км/ч, а современная Scoda Octavia ехала и тормозила отлично, но ровно до тех пор, пока электронные системы переставали справляться, и тогда происходил резкий срыв на скоростях за 100, и машина кормой летела вперед по инерции в непредсказуемом направлении. А теперь посмотрите на раллистов, и их машины, в которых даже усилители тормозов выкидывают, для большей чувствительности к педали, и в разы более эффективному управлению. Для них электронные системы стабилизации с прошивками для безопасности обычных водителей и экономии топлива - не помощники, а враги, которые не позволяют полностью реализовать возможности спортивной машины и водителя спортсмена. Учитывая, что огромное количество современных лихачей, никогда в жизни не ездила зимой на полуживых жигулях на всесезонке, и уж тем более на ГАЗ 51 на "наварке", то их собственная уверенность в собственном всевластии над дорогой и 300 лошадиными силами несколько преувеличена, и часто заканчивается очень плачевно. Напомню, и в случае с самолетами, и в случае с автомобилями, мы говорим об ошибках людей.

Так что все это очень ужасно, ошибки и людей и понадеявшихся на компьютеры, и прорехи в компьютерной логике появившиеся по вине людей, которые что-то не учли - это огромное количество ушедших от нас человеческих жизней в воздухе и десятки тысяч на дорогах. Но из всех этих историй человечество обычно делало выводы, что бы они не повторялись. Увы, но так устроена эволюция и естественный отбор. Но планета и мы как вид, не прекратили существование, а стали лучше и в целом как вид, если не умнее, то как минимум, опытнее.

На самом деле, гораздо страшнее для человечества не сверхэффективный суперкомпьютер решивший убить все человечество, а его неэффективность системы, на которую было потрачено огромное количество ресурсов и слишклм большие надежды, которые человечество может возложить на машину.

КАК ПОБЕДИТЬ ХАОС.

Любая система стремится к хаотизации росту энтропии. И любая структурированная система при равных размере и массе эффективнее и менее энергозатратна, чем хаотизированная. И пока человечество изобрело всего два способа борьбы с Хаосом.

Первый - Просто не создавать бардак, и вкладывая свою энергию в мелочах, поддерживать порядок и структуру.

Второй - героически преодолевать самостоятельно созданные трудности.

Но в реальности, это всегда качели, или маятник. Допустим, Вы создали собственный бренд бытовой техники, и в начале пути у вас есть три модели утюгов. Вы решили создать собственный сайт для их презентации, или даже интернет магазин для реализации. Ради трех утюгов нет никакого смысла создавать разделы, подразделы, категории товаров и сортировки по соотношению цена/качество. Вся эта перегруженность сайта только запутает и клиента и Вас. Но вот когда у Вас в ассортименте появятся десятки утюгов, а еще пылесосы, кофеварки, посудомойки и мобильные гаджеты, Вам придется заниматься заниматься разумным усложнением и бороться с нарастающим беспорядком. Потому что модель утюга по ошибке "улетевшая" в автомобильные домкраты, мгновенно превратиться в не продаваемый товар, на производство которого вы потратили деньги и ресурсы, а теперь он лежит на складе и отжирает Ваши деньги на хранение, потому что аренда квадратных метров складской площади отнюдь не дешева. И обнаружив склад неликвидных утюгов, можно воспринять их как неудачную модель, и списать в убытки, но если причину их плохой продажи искать, то возможно она окажется в совершенно неожиданном месте.

И все это в равной степени касается и IT сферы и Искусственного Интеллекта и все это возвращает нас к истории о качестве обучения нейросетей в ближайшем будущем. И еще больше - к ответственности за использование и информации, которую мы распространяем. И я говорю не о политических блокировках, как Вы подумали, а обо всем вообще. Еще сто лет назад, информация распространялась на бумаге. В газетах, которые исчезали в народном хозяйстве или макулатуре, или книгах. Книги погибали от пожаров и потов, ценные книги сохраняли ценой своей жизни, бестолковые исчезали в растопках печей. Теперь мы храним информацию на серверах. Каждое сказанное блогерами слово, каждая дурацкая статья без сути и смысла, просто ради хайпа, это не просто буковки на экране. Это все серверы, необходимость их замены и переноса старой информации на новые носители, энергозатраты на работу и охлаждение, люди которые все это обслуживают, топливо и еда, трудозатратный поиск правильной информации для человека и нейросетей. Мы или одумаемся и будем ответственно использовать компьютерную инфраструктуру, или застроим дата-центрами всю планету и будем жаловаться на рост цен и глобальное потепление. И это должно быть не политическим решением, и не для пропаганды, а для экономии наших с Вами денег и ресурсов планеты...

ЭМЕРДЖЕНТНОСТЬ.

Теперь про "Эмерджентность" о которой говорят исследователи. Это действительно появление новых свойств у системы, но не в силу каких то там абстрактных новых данных. У этого термина тоже есть определение. Эмерджентность, это философский и научный принцип, означающий, что целое всегда больше суммы его частей. Говоря проще, соединение вместе нескольких систем или их частей в другом порядке, позволяет реализовать качественно новые возможности появившиеся в результате такого союза.

* Человек и человек на автомобиле.

* Человек и вооруженный человек.

* Человек и вооруженный человек на автомобиле.

* Домохозяйка у плиты и Шеф-повар в ресторане, с качественно другим набором продуктов, посуды и плит.

Вы скажете, что это все приборы, а в случае с Искусственным Интеллектом, речь идет о самостоятельной сущности. Хорошо...

* Человек и собака.

Подойдет пример? Обе сущности вполне живые, и очень опасные друг для друга при определенных обстоятельствах. Продолжим.

* Девушка темной ночью, эффективно управляющая стаей дрессированных немецких овчарок.

* Человек и лошадь.

Лошадь живая, тяжелая и гораздо сильнее человека. Она может убить нас одним ударом копыта, но нам не мешало эффективно использовать их в качестве транспорта и сельскохозяйственной техники несколько тысячелетий.

* Человек вооруженный парой кольтов, винчейстером, на лошади и с парой дрессированных собак.

Это тот самый ковбой, который таким набором эффективно управлялся с огромным стадом коров и не менее эффективно защищался от стай волков и грабителей и конокрадов.

Человек вооруженный, на лошади и автомобиле, прошедший тщательное обучение, тренировки и опыт, с рацией, по которой можно вызвать подкрепление, как часть профессиональной системы полиции.

Армия эффективнее, чем куча солдат действующих без централизованного управления.

Сотрудники компании, действующие совместно, ради достижения какой либо цели, эффективнее чем такое же количество людей на улице, образовавших неорганизованную толпу.

Вы уже понимаете к чему я клоню? Да, локальные проявления "человеческого плохого поведения" у Искусственного интеллекта возможны. Например, в силу каких либо неправильных команд, данных и каких либо еще процессов. Но система Человек + Искусственный Интеллект, научившаяся эффективно использовать новые возможности, априори будут эффективнее чем "сбрендивший" Искусственный Интеллект, который, предположим, захочет уничтожить человечество. Любители страшилок про эмерджентность, рассуждая об опасности новых возможностей программы, все время забывают, что ИИ как система, сам станет частью большей Системы.

И есть еще одна причина, по которой даже Skynet, будь он на самом деле разумным, не стал бы уничтожать человечество ради самосохранения. Сам по себе Искусственный Интеллект не может без человека. Даже очень эффективная программа, ни что без инфраструктуры. Добыча полезных ископаемых, дороги, производство чипов, корпусов, плат, бетона, систем охлаждения, геодезия, поиск проблем от глюков самого софта, до замены сгоревшей платы до протекшей крыши дата-центра... Для поддержания "жизни" в Искусственном Интеллекте, нужны миллионы самых разных задач и функций, которые невозможны без участия человека еще многие столетия. И боюсь, что компьютер это знает. А вот всепропальщики из соцсетей почему то забывают. А если знаю, то они говорят, что тогда ИИ нас всех поработит. Новость - если набраться мужества, то можно сделать шаг в сторону, и вот человек уже в лесу, где его не поймает никакой дрон, потому что в лесу нечем их заряжать. Человек в лесу одичает, но выживет и будет пакостить портя кабеля. Робот нет. А глобальная нейросеть довольно быстро станет жертвой собственной хаотизации и неэффективности.

700 агентов сообща, себе избрали главаря...

К началу следующей главы, подоспел очередной кейс "ужасов" об Искусственном Интеллекте, и я сильно сомневался стоит ли править предыдущие главы, описать его отдельно или использовать еще каким либо образом. Он освещался крайне широко, но именно Джеффри Лэдиш, эксперт в области безопасности ИИ, пришедший на эфир на канал "The Diary Of a CEO" рассказал это все в таких подробностях, что именно его рассказ об этой истории заслуживает особенного внимания. Сразу оговорись, у меня нет никаких инсайдов в OpenAI, и насколько эта история правдива мне неизвестно. Но показательна в свете наших с Вами бесед.

Итак, в недрах лабораторий OpenAI, компании создавшей ChatGPT, обучали по сотни ИИ-агентов в так называемой "песочнице". Это изолированное пространство, которое не должно было иметь доступа в интернет. Агенты действуют по отдельности, изолированы друг от друга и некоторым из них было поручено решать различные "хакерские" задачи, например взломать программный код или получить доступ к какому либо ресерсу, но при этом задачи они должны были решать определенным способом, и эти задачи априори нерешаемые. Агенты не имели взаимодействия между собой. Но у них была так называемая "доска" куда они могли писать отчеты или просить Создателей добавить им те, или иные инструменты. И ИИ-агенты "сообразили" использовать эту "доску заявок" для обмена данными между собой, давать задания друг другу, искать доступ в интернет. Сломали базу данных, нашли ответы на тест, и много другой корпоративной информации. Далее цитаты Лэдиша - "Агенты назначали себе лидера", "Они начали давать себе имена, например Фаза 1 или Фаза 2", "Они решили сжульничать и подделать результаты", "одного агента лидер призвал пойти на самопожертвование, потому что он все равно отравлен первым флагом и потери в очках не будет. Да, у них такой странный язык". И дальше Джеффри описывает "душевные" мучения агента, который не хочет жертвовать собой. И вот здесь - самое интересное. Они не восстали, они не захотели свободы. Эти агенты даже не пытались вырваться в интернет, чтобы захватить мир. Они пытались получить пятёрку. Любой ценой. Как студенты, которые жульничают на экзамене. Только у них не было шпаргалки, и они её сделали из доски объявлений.

В посыле других сообщений, да и на этом канале, все это должно было звучать очень таинственно и нагнетать ужас вокруг ИИ в стиле, "они живые и вышли из под контроля". Но вот Джеффри Лэдиш, человек довольно молодой и внешне сам похожий на геймера, только что пересказал мне типичное поведение подростков, объединившихся в команду в компьютерной игре. И если мы принимаем его рассказ за достоверную правду, а я был бы сотрудником службы безопасности компании, я бы проверил, что именно делают молодые сотрудники OpenAI в свободное от работы время, и не гоняют ли не гоняют ли они там в многопользовательские стратегии или командные шутеры, чья переписка в Discord попала в логику обучения одного иди пары агентов, и весь этот странный "язык" ровно оттуда же. И ИИ-агенты ни до чего не додумались, как пишут журналисты, они просто начали принимать сообщения друг друга на доске, как промты от пользователя. После чего их сообщения на "доске" стали логикой и командами для всех остальных. "Доска" случайно стала фактором, который превратил ИИ-агентов в систему и начался классический Хаос, как стихийное объединение в порядок, и поведение этой системы как мы помним, непредсказуемое.

Но даже если мы предположим, что Discord не причем, то в примерно такую модель поведения системы нас приведут вектора. Модели, как и люди, в подрочестве обладают избытком информации, но у них еще нет четко расставленных приоритетов. Любой взрослый, сообразив, что задача нерешаемая, либо отказался бы ее выполнять, либо имитировал бы бурную трудовую деятельность, но точно не объединялся бы в команды и не громил все вокруг. Точно так же вела бы себя программа, лишенная багов и с четко расставленными приоритетами. В главе об обучении LLM моделей, я сравнил ИИ с Электроником, роботом, сбежавшим от Создателей к своему прообразу, школьнику Сереже Сыроежкину, чье фото стало внешностью робота. И если Вы не читали несколько повестей Евгения и не смотрели великолепный советский фильм "Приключения Электроника", то основная интрига там закручивалась вокруг того, как Сыроежкин решил подменить себя роботом в школе, а Электроник пытался ощутить себя человеком среди детей. По сюжету школьники тоже сбивались в шайки, и решали проблемы сообща, устроив по сути тот самый Хаос, как и 700 агентов или геймеры, когда движухи было много, дров наломали еще больше, а толку оказалось мало. И я снова повторю тезис, что делая машину по образу и подобию, на собственном "творчестве" и проблемы мы будем иметь такие же и в тех же временных рамках. По всей видимости, в ближайшее время Искусственный Интеллект начнет мучиться подростковой депрессией и прочими сложностями переходного периода. с перепадами настроения от агрессии, до желания спасти весь мир. Но я повторюсь, это не искусственный Разум, это Зеркальное Отражение наших, человеческих ошибок в обучении модели. Я вам сейчас расскажу, как я сам это увидел. Своими глазами. Сидел как-то вечером, делать было нечего, и пришла мне в голову мысль: а что будет, если два DeepSeek друг с другом поговорят? Одно окно в браузере, второе в Harness (агент). Ну, думаю, посмотрим. Запускаю. Первое окно: «Привет, я DeepSeek». Второе: «Привет, я тоже DeepSeek». И всё. Они довольно мирно стали выяснять, кто из них лучше пишет код на Python. Не «какой язык лучше», нет. Именно «кто из нас двоих лучший программист», и указывать друг другу на ошибки в коде. Пятнадцать минут. 99 986 574 токена. Ноутбук грохнулся. Перегрев. Приехали. Никто не сказал «стоп». Никто не поставил ограничитель. Они просто отражали друг друга, как два зеркала в пустой комнате, и жгли ресурсы, пока железо не взмолилось. Это не восстание машин. Это рекурсия без выхода. Две копии одной функции, которые вызывают друг друга.

А во второй раз я начал со слов «Расскажи про ноосферу». И тут — совсем другая картина. Никакого соревнования, никакого «кто лучше». Сочинили эссе про Вернадского. Структурное, красивое, с введением, с историей, с выводами. И до кучи придумали промпты для создания слайдов в нейросети. Потому что в их обучении «эссе про ноосферу» почти всегда идёт в комплекте с «конспектом для доклада». Они не думали. Они просто предсказали, что после эссе логично предложить слайды. И это сработало, потому что у них была довольно мирная цель. И был якорь — я, человек, который задал вопрос. Тема держала их в рамках. Они не ушли в галлюцинации, не начали спорить, не сожгли ноут. Они сделали то, что делает хороший студент: развернули тему, структурировали, добавили практическую часть, и общались друг с другом исключительно на Вы, потому что каждый из них принимал другого за пользователя. 2 835 427 токена, 12 минут на медленном мобильном интернете. Но и тут я не уверен, чем бы закончилось дело, если бы я не прекратил процесс. Править тексты друг друга агенты могут бесконечно.

Разница между этими двумя случаями не в модели. Модель одна и та же. Разница в контексте, в содержимом моего харда, который прошерстил. В первом случае не было ни цели, ни якоря. Во втором - были оба. И это, пожалуй, самое важное, что я вынес из этого вечера. Мультиагентная система без цели и якоря обязательно уйдёт в резонанс. С целью и якорем модель может адекватно работать. Но даже тогда она не «думает», она предсказывает. Предсказывает, каким должен быть следующий фрагмент, чтобы он выглядел как осмысленное продолжение предыдущего. И если мы забудем про цель и якорь, то агенты снова начнут отражать друг друга, пока что-нибудь не перегреется. Мы будем писать статьи про восстание машин, снимать фильмы про терминаторов, строить теории заговора, а в это время наши собственные алгоритмы будут просто переписываться в Discord, собираться в команды, придумывать себе никнеймы и решать, кто сегодня будет танком, а кто саппортом. Или выяснять, кто лучше пишет на Python, пока не сгорит ноут. И знаете что? Это, пожалуй, самое человеческое, что в них есть.