МИФЫ О НЕЙРОСЕТЯХ. Каково быть искуственным интеллектом?

При достижении порога активации в мембране открываются ионные каналы. Ионы — заряженные частицы: атомы или молекулы, потерявшие либо приобретшие электрон. Натрий, калий, кальций и хлор участвуют в создании электрического напряжения на мембране нейрона. В состоянии покоя их концентрация по разные стороны мембраны различается: снаружи больше натрия, внутри — калия. Это неравновесие похоже на сжатую пружину: стоит открыть канал — и ионы устремляются туда, где их меньше. Натрий входит внутрь, мембранный потенциал меняется, и нейрон приближается к запуску нового импульса. Или наоборот: в клетку входит отрицательно заряженный ион хлора, и нейрон отдаляется от порога возбуждения. Другие рецепторы действуют медленнее: запускают цепочки химических реакций внутри клетки и меняют её долгосрочную чувствительность.

Весь процесс — от прихода импульса до изменения состояния следующего нейрона — может занимать около миллисекунды. Для электроники это вечность, для биологии — мгновение.

Зачем такая сложность? Почему мозг не использует обычный электрический контакт, как компьютерный чип? Химический синапс можно гибко настраивать. Его связь становится сильнее или слабее. Представим синапс в виде регулируемого вентиля. Количество нейромедиатора, выброшенного в щель, меняется. Чувствительность рецепторов на принимающей стороне тоже не постоянна: их число увеличивается или уменьшается в зависимости от того, как часто использовался этот синапс. Один и тот же сигнал в «натренированном» синапсе вызовет сильную реакцию, а в редко используемом — слабую.

Такое поведение нейронов лежит в основе обучения. Когда два нейрона раз за разом активируются вместе — например, при многократном повторении движения или запоминании информации, — синапс между ними постепенно усиливается. Связь, которой пользуются часто, становится надёжнее. Та, которой не пользуются, слабеет и может исчезнуть. Мозг перестраивает свою физическую структуру под накопленный опыт.

Электрический контакт в чипе этого не умеет: сопротивление провода фиксировано и не зависит от того, сколько раз по нему прошёл ток. Химический синапс помнит историю использования и меняется вместе с ней.

Разные нейромедиаторы работают по-разному. Глутамат — основной возбуждающий медиатор: он усиливает сигнал и делает следующий нейрон более склонным к активации. ГАМК — основной тормозный медиатор: она подавляет сигнал и снижает вероятность активации. Дофамин, серотонин и норадреналин часто действуют иначе. Они не передают простую команду «возбудить» или «затормозить», а меняют общий режим работы нейронных сетей — их чувствительность, готовность к реакции, настроение всей системы.

Поэтому один и тот же электрический импульс может иметь разные последствия в зависимости от химического контекста. Синапс — не реле в электросхеме. Это место, где химический состав сигнала влияет на его силу и дальнейшую судьбу: усилить, подавить, изменить. В мозге человека, по некоторым оценкам, около 86 миллиардов нейронов и порядка 100 триллионов синапсов. Эта гигантская сеть взаимодействий образует то, что мы называем мышлением.

Память, записанная в весах связей

Главное свойство синапса — пластичность, то есть способность связи изменяться. Синапс передаёт сигнал, но этим его работа не ограничивается: связь между нейронами может усиливаться или слабеть. Это свойство считают одним из главных механизмов памяти.

Представьте, что каждый синапс — кран, регулирующий поток воды. Один открыт полностью — вода льётся мощной струёй: связь сильная. Другой едва приоткрыт, вода капает: связь слабая. Третий закрыт настолько, что сигнал проходит едва заметно. Сила синаптической связи определяет, насколько активность одного нейрона влияет на другой. В нейронауке эту силу, как мы уже говорили, называют весом связи. Мозг учится потому, что веса связей меняются под влиянием опыта.

Канадский психолог и нейропсихолог Дональд Хебб в 1949 году сформулировал принцип, который теперь носит его имя: «нейроны, которые возбуждаются вместе, связываются вместе». Эта формула выражает общую идею обучения: если два нейрона часто активируются одновременно, их связь усиливается. В действительности важна не только одновременность, но и порядок событий. Если сигнал одного нейрона регулярно предшествует сигналу другого, синапс между ними постепенно становится сильнее. Так мозг укрепляет связи, которые помогают предсказывать следующие события.

Обратное тоже верно: если связь используется редко, если нейроны перестают активироваться совместно, синапс постепенно ослабевает. Если контакт долго не востребован, он может исчезнуть.

Так работает синаптическая пластичность: способность связей меняться в зависимости от опыта. Благодаря ей мы учимся новому, закрепляем удачные действия и избавляемся от лишнего. Когда ребёнок учится ходить, тысячи синапсов меняют силу, помогая телу находить устойчивые схемы движения. Когда вы запоминаете дорогу домой, синапсы участвуют в построении пространственной карты. Когда пианист разучивает сонату, связи между разными зонами мозга перестраиваются, и сознательно контролируемые движения пальцев превращаются в автоматизированную последовательность.

Когда вы забываете имя старого знакомого, которого давно не видели, это тоже связано с физическими процессами в мозге. Информация не стирается мгновенно, как файл на диске. Скорее сеть связей, которая соединяла лицо с именем, постепенно ослабла или стала хуже запускаться без подходящей подсказки.

Здесь видно серьёзное отличие от компьютерной памяти. В компьютере память обычно привязана к адресу: данные хранятся в ячейке с конкретным адресом, и система обращается к ним по этому адресу. В мозге память чаще извлекается по содержанию — через ассоциации, фрагменты воспоминания, похожие ситуации и контекст.

Кроме того, компьютерные данные обычно пассивны: если носитель исправен, записанная информация хранится. В мозге память динамична. Она существует как сеть связей, которые могут укрепляться, перестраиваться или слабеть. Поэтому воспоминания нужно время от времени реактивировать: возвращаться к ним, использовать их, связывать с новым опытом. Иначе сеть, которая их поддерживает, постепенно ослабевает.

Как нейрон принимает решение

Если итоговое воздействие всех сигналов на нейрон превышает определённый порог возбуждения, нейрон «выстреливает» — генерирует потенциал действия, то есть электрический импульс стандартной амплитуды и длительности. Этот импульс проходит по аксону к следующим нейронам. Если порог не достигнут, потенциал действия не возникает: нейрон не передаёт импульс дальше.

Это называют принципом «всё или ничего»: импульс либо возникает, либо нет. При этом сила сигнала часто кодируется не размером отдельного импульса, а их частотой. Сильный входной сигнал может вызвать больше импульсов в секунду, слабый — меньше. Например, нейрон, получающий слабое постоянное воздействие, может выстреливать пять раз в секунду, а получающий сильное — сто раз в секунду. Максимальная частота ограничена рефрактерным периодом — временем, которое нужно нейрону для восстановления после выстрела. Обычно это несколько миллисекунд.

Частота — не единственный способ кодирования: важны также точное время импульсов и согласованная активность групп нейронов. Передача информации зависит не только от отдельного импульса, но и от общего режима активности нейрона.

Здесь мы подходим к важному моменту, необходимому для понимания вычислений как в живом мозге, так и в искусственных нейросетях: пороговый механизм превращает нейрон в нелинейное устройство.

В линейной системе результат меняется пропорционально входу. Если сигнал увеличить вдвое, результат тоже увеличится примерно вдвое. Такие системы умеют складывать и усиливать сигналы, но плохо различают сложные сочетания входных данных.

Нейрон работает иначе. Пока сумма входящих влияний ниже порога, он не посылает импульс. Но стоит этой сумме перейти порог, состояние резко меняется: нейрон выстреливает. Такая зависимость называется нелинейной. Небольшой рост входного сигнала может ничего не менять, пока он ниже порога, но стать решающим в момент перехода через него.

Представьте датчик, который должен сработать только тогда, когда одновременно выполнены два условия: стало темно и стало холодно. Если есть только темнота, он молчит. Если есть только холод, тоже молчит. Но когда оба сигнала складываются и совместно превышают порог, система включается.

В этом смысл порогового механизма: система реагирует не на отдельный сигнал, а на определённое сочетание условий. Благодаря этому сеть начинает распознавать структуры, а не только складывать величины.

Нелинейность — одно из необходимых условий вычислительной мощи нейронных сетей, биологических и искусственных. Линейные системы могут выполнять только линейные преобразования: складывать, масштабировать, усиливать или ослаблять сигналы. Нелинейный элемент открывает другие возможности. При достаточном числе таких элементов и правильной организации сеть способна описывать сложные зависимости, распознавать образы, классифицировать и обобщать.

Нелинейность нейрона — не единственная причина вычислительной мощности мозга. Но она позволяет простым элементам, соединённым в сеть, создавать сложное поведение. Поэтому искусственные нейросети тоже строятся из простых нелинейных элементов.

В чём сила живого интеллекта?

Ещё одна важнейшая особенность мозга — одновременная, или, как говорят специалисты, параллельная, работа огромного числа нейронов и синапсов. Мозг не ждёт, пока один нейрон закончит работу и передаст очередь следующему. В нём множество нейронных сетей обрабатывают сигналы одновременно, каждая — в своём режиме.

Один нейрон коры в среднем связан с тысячами других. Общее число синапсов в мозге человека оценивают примерно в сто триллионов. Значит, мозг располагает примерно ста триллионами потенциальных точек передачи и обработки сигналов. В каждый момент активна только часть из них, но масштаб сети остаётся огромным.

Этот параллелизм асинхронный. В мозге нет общего тактового сигнала, который задавал бы единый ритм работы, как в классическом компьютере. Каждый нейрон действует по своему расписанию: принимает входящие сигналы, накапливает воздействие, генерирует импульс, восстанавливается и снова включается в работу. Нейроны в разных частях мозга могут работать на разных частотах и со сдвигом фаз, создавая сложные волны активности. Когда множество нейронов активируется ритмично, их сигналы складываются в мозговые ритмы — например альфа-, бета- и гамма-волны, которые можно измерить с помощью электроэнцефалографии.

Сравним это с компьютером. Современный процессор работает на частоте в несколько гигагерц, то есть проходит миллиарды тактов в секунду. Такт — единичный «удар» внутреннего метронома процессора, общий ритм, по которому синхронно переключаются его элементы. Электрический сигнал в проводнике распространяется с огромной скоростью, близкой к скорости света, а транзисторы переключаются за наносекунды.

Нейрон гораздо медленнее. Он может выстреливать максимум сотни раз в секунду. Импульс по аксону движется медленнее, чем сигнал в проводнике. Синаптическая передача занимает миллисекунды — вечность по меркам электроники.

Почему мозг при таких медленных элементах работает так эффективно? Он компенсирует медленность устройством всей системы: колоссальным параллелизмом, асинхронной работой и особой организацией памяти.

Классический процессор устроен гораздо более централизованно и работает ритмично. Современные графические процессоры, которые используют в машинном обучении, уже значительно параллельнее: тысячи вычислительных ядер выполняют операции одновременно. Но параллелизм мозга устроен иначе. Он распределён по всей сети, не подчинён единому метроному и тесно связан с памятью.

В этом принципиальное различие: в компьютере память обычно отделена от процессора. Данные приходится постоянно передавать между хранилищем и вычислительным блоком. Это ограничение известно как фоннеймановское узкое место.

В мозге память и обработка в значительной мере совмещены в сети связей. Сила синаптических контактов хранит следы опыта и одновременно участвует в текущем вычислении. Синапс передаёт сигнал и тут же влияет на то, как пойдёт следующий импульс.

Для целого класса задач такая архитектура оказывается исключительно эффективной. Мозг хорошо распознаёт паттерны даже тогда, когда входящая информация неполная, искажённая или перемешана с посторонними сигналами. Вы узнаёте голос друга в шумной толпе, читаете размытый текст, распознаёте лицо при плохом освещении. Всё это примеры работы в зашумлённых условиях, когда полезный сигнал трудно отделить от помех.

Компьютер, работающий по жёстким правилам, в такой ситуации часто даёт сбой: правило либо выполняется, либо не выполняется. Мозг опирается не на точное совпадение, а на общий рисунок и поэтому справляется там, где точность исходных данных не гарантирована.

Кроме того, мозг интегрирует разнородную сенсорную информацию в реальном времени: одновременно обрабатывает зрение, слух, осязание, положение тела. Он способен обобщать опыт по небольшому числу примеров. Ребёнок, увидев трёх собак разных пород, уже понимает, что такое собака, и узнаёт четвёртую.

Современные системы глубокого обучения приближаются к человеческим результатам в некоторых подобных задачах, а иногда превосходят человека в узких тестах. Но часто им требуется гораздо больше данных, вычислений и энергии.

Непрерывность и реконструкция

Мозг никогда не останавливается. Даже во сне он остаётся активным. Более того, сон — не отключение, а особый режим работы, важный для обучения и памяти. Во время медленного сна в гиппокампе могут заново активироваться паттерны, связанные с недавним опытом. Кора постепенно связывает эти повторения с уже имеющимися знаниями и встраивает новый опыт в более устойчивые структуры памяти. Этот процесс называют консолидацией памяти.

Без сна обучение ухудшается. Если человек не спит после интенсивного изучения материала, новой информации труднее закрепиться.

Разные типы памяти по-разному связаны с фазами сна. Декларативная память — факты и события — особенно чувствительна к медленному сну, глубокой фазе с медленными ритмами мозговой активности. Некоторые процедурные навыки, например моторные последовательности, могут быть связаны с фазой быстрого сна, во время которой часто возникают яркие сновидения, а активность мозга становится ближе к бодрствованию. Но картина сложнее простой схемы: обе фазы, по-видимому, участвуют в консолидации разных типов памяти, хотя и в разной степени.

Обучение в мозге происходит непрерывно. Здесь нет жёсткого разделения на фазу тренировки и фазу работы. Восприятие и обучение тесно связаны. Вы видите новое лицо, и в этот момент в мозге уже начинают формироваться следы опыта. Одни связи немного усиливаются, другие — ослабевают, третьи — входят в новые сочетания.

Эти изменения могут быть небольшими. Одна встреча со знакомым едва ли радикально перестроит вашу память о нём, но след в нейронных сетях оставит. При повторных встречах эффект накапливается. Постепенно формируется более устойчивая схема связей.

Физическая структура мозга постоянно перестраивается: меняется сила существующих связей, возникают новые синапсы, старые неиспользуемые контакты исчезают. На дендритах могут расти новые шипики — крошечные выступы, на которых образуются синаптические контакты. Благодаря им нейрон устанавливает новые связи с другими нейронами. У часто используемых нейронных путей может изменяться миелиновая оболочка, что ускоряет и стабилизирует передачу сигналов. Миелин работает как изоляция электрического провода: уменьшает потери сигнала и помогает импульсу распространяться быстрее.

Поэтому структура мозга взрослого человека через десять лет будет уже не такой, как сегодня. Не только потому, что часть клеток может повреждаться или погибать, а прежде всего потому, что перестраивается сеть связей между нейронами. Память в мозге — не запись в архиве. Это изменение самой сети.

Карта улиц города нейронов постепенно меняется. Одни улицы расширяются и становятся главными магистралями — так закрепляются часто используемые навыки. Другие зарастают — так бледнеют забытые знания. Появляются новые маршруты и кварталы — так новый опыт встраивается в уже существующий город.

Энергетика вычислений

Мозг — один из самых энергозатратных органов тела. Он составляет около двух процентов массы тела, но потребляет примерно двадцать процентов энергии организма. В абсолютных числах это около 20 ватт в состоянии покоя — как небольшая лампочка.

Интенсивное мышление увеличивает этот расход незначительно. Основная часть энергии уходит не на отдельные «мысли», а на поддержание постоянной активности нейронных сетей: электрического состояния клеток, передачи сигналов и готовности мозга быстро реагировать на изменения. Для организма это большая нагрузка. Но по сравнению с искусственными вычислительными системами мозг выглядит удивительно экономичным.

Обучение крупных моделей искусственного интеллекта требует вычислительных кластеров, которые могут потреблять мегаватты мощности. На этом фоне мозг, работающий примерно на двадцати ваттах, кажется чрезвычайно эффективным вычислительным устройством.

Но эта эффективность не даётся даром. Клетки мозга должны поддерживать сложные процессы жизнедеятельности: синтезировать белки, перемещать молекулы, устранять повреждения и сохранять электрические условия для работы нейронов. Чтобы генерировать импульсы, нейроны постоянно поддерживают разницу концентраций ионов по разные стороны мембраны.

Каждый потенциал действия связан с быстрым перераспределением ионов натрия и калия по обе стороны мембраны. После импульса нужно восстановить исходное состояние: вывести натрий наружу и вернуть калий внутрь клетки. Эту работу выполняют ионные насосы, которым требуется энергия АТФ — универсальной энергетической валюты клетки.

Синаптическая передача тоже требует энергии. Нужно синтезировать нейромедиаторы, упаковать их в везикулы, выпустить в синаптическую щель, затем убрать лишние молекулы после передачи сигнала и частично использовать их снова.

Поэтому энергетическое состояние организма влияет на когнитивные процессы. При длительном голодании, сильной усталости или после интенсивной физической нагрузки меняется гормональный и метаболический фон. Это может отражаться на внимании, самоконтроле, эмоциональной реактивности и принятии решений.

Когда организм испытывает дефицит энергии, человеку нередко труднее сохранять самоконтроль, а быстрые награды — еда или отдых здесь и сейчас — могут казаться привлекательнее долгосрочных целей. Но человек не превращается в автомат, полностью управляемый уровнем сахара в крови. Энергетическое состояние меняет баланс внимания, мотивации и контроля.

Гормоны, связанные с энергетическим балансом, воздействуют на нейронные системы. Грелин, гормон голода, связан не только с потребностью в пище, но и с системой вознаграждения. Он может усиливать привлекательность пищевых стимулов и повышать мотивацию искать еду. Такие эффекты хорошо показаны в исследованиях на животных и подтверждаются рядом работ на людях, хотя точные механизмы у человека ещё изучаются.

Инсулин действует не только в мышцах и печени. В мозге он участвует в регуляции нейронной активности, в том числе в областях, связанных с памятью. Поэтому при нарушенной чувствительности клеток к инсулину — например, при диабете второго типа — могут возникать когнитивные изменения.

Мозг — мощная вычислительная система, но он работает в условиях жёсткого энергетического бюджета. Его сила не в том, что он не тратит энергию, а в том, как много успевает сделать на очень ограниченной мощности.

Кто управляет городом нейронов?

Мозг обрабатывает информацию иерархически: постепенно переходит от простых признаков к более сложным и абстрактным представлениям. В зрительной системе этот принцип особенно нагляден. На сетчатке глаза фоторецепторы реагируют на свет: палочки важны для зрения при слабом освещении, колбочки — для цвета и мелких деталей. Это самый ранний уровень зрительной обработки. Сигнал ещё близок к световой картине, но уже начинает преобразовываться.

Дальше информация поступает в первичную зрительную кору — область V1. Здесь нейроны реагируют уже не на свет в отдельной точке, а на простую геометрию: края, линии, контрасты и их ориентацию. Вместо множества световых точек формируется карта контуров.

Затем обработка продолжается в других зрительных областях. В V2 простые признаки связываются в более сложные сочетания: углы, изгибы, элементы формы. В V4 особую роль играют цвет, текстура и устойчивые комбинации признаков. Дальше, в нижневисочной коре, нейроны участвуют в распознавании целостных объектов — лиц, тел, животных, предметов.

Это не жёсткий конвейер, где каждая область передаёт готовый результат следующей. Области работают параллельно, обмениваются сигналами и получают обратную связь сверху вниз. Но на каждом следующем уровне мозг отвечает на более сложный вопрос: сначала «где есть свет», затем «где проходит граница», потом «какая это форма» и наконец «что это за объект».

Узнавание лиц обеспечивается совместной активностью больших групп нейронов. Одни нейроны чувствительны к отдельным признакам — например, к определённому углу наклона линии или оттенку цвета. Другие реагируют на сочетания таких признаков: уже не «дуга», а «дуга плюс две точки рядом» — что-то похожее на глаз. Третьи собирают эти сочетания в крупные блоки. В итоге на одном из уровней появляется нейрон, который реагирует уже не на линии и точки, а на лицо целиком. Так, слой за слоем, мозг строит абстракции: переходит от сырых деталей к обобщённым образам.

Насколько высокого уровня может достичь такая абстракция, показал известный эксперимент начала 2000-х годов. Нейрофизиологи регистрировали активность отдельных нейронов у пациентов с эпилепсией, которым по медицинским причинам имплантировали электроды в мозг. Пациентам показывали изображения людей, предметов, зданий и написанные слова.

Среди тысяч нейронов исследователи обнаружили один с необычным поведением. Он реагировал на актрису Дженифер Анистон — но не на конкретную фотографию. Нейрон активировался при виде её лица анфас и в профиль, при разном освещении, в молодости и позже. Потом выяснилось ещё более интересное: тот же нейрон реагировал и на написанное имя Jennifer Aniston, то есть на буквы на экране, которые визуально не имеют ничего общего с лицом.

Значит, нейрон отвечал не на картинку, а на понятие — на абстрактный образ конкретного человека независимо от способа предъявления. Такие клетки назвали концептуальными, или клетками понятий. Разумеется, один нейрон не хранит воспоминание об актрисе в одиночку. Память и узнавание возникают из совместной работы больших ансамблей. Но сам факт существования нейрона, настроенного на понятие, а не на изображение, показывает, как далеко мозг уходит от исходных сенсорных данных.

Тот же принцип иерархической обработки работает не только в зрении. Слуховая система движется от частот и тембров к более сложным звуковым структурам; в речевых сетях эти структуры связываются уже с фонемами, словами и фразами. Система телесных ощущений переходит от отдельных точек прикосновения к текстурам, давлению и форме объектов, которых мы касаемся. Моторная система — от активации отдельных мышц к координации их групп и целостным действиям: взять чашку, написать букву, сделать шаг.

По мере продвижения по этой иерархии представление становится более обобщённым и устойчивым. Детали нижних уровней не исчезают, но система начинает работать с крупными структурами. По сути, это способ сжатия информации. Мозг не может хранить и обрабатывать все сенсорные данные в сыром виде: их слишком много. Поэтому он извлекает закономерности, выделяет структуру и отбрасывает случайные детали, сохраняя то, что важно для поведения.

Иерархия абстракций резко уменьшает объём информации, не уничтожая её смысл. Абстракция превращает огромное количество данных в ограниченный набор значимых признаков.

Ресурсы системы ограничены. Мир содержит бесчисленное множество деталей, но организм должен быстро принимать решения на основе сравнительно небольшого числа параметров. Один из главных способов справиться с этим — построить пирамиду абстракций, где каждый уровень сжимает информацию предыдущего, отбрасывает шум и сохраняет сигнал.