Просто про нейросети

Нашли мы эксперта по нейросетям, и какая польза от него?

Во-первых, эксперт может объяснить сложные моменты проще, чем написано в книге. Знаете, как бывает: читаешь, вроде все понятно, но потом бац – и вообще потерялся и не знаешь, чего делать-то. Эксперт тут как спасательный круг!

Во-вторых, эксперт может показать, как теория превращается в практику. Потому что одно дело читать про нейросети, а совсем другое – видеть, как они реально работают. Ну и конечно, эксперт поделится лайфхаками, о которых в книгах забыли указать. Мышкой не туда тыкнули или клавишу при регистрации не ту нажали. Всякое бывает же с этими современными технологиями.

И наконец, эксперт может уберечь вас от ошибок. Ведь опыт – это не только знание, но и умение избегать глупостей. Особенно когда речь идет о нейросетях. А применяя нейросети впервые, ох как много глупостей мы можем наделать.

Так что да, эксперт – это как личный тренер в спортзале: помогает, направляет и не дает сойти с ума от перегруза информацией.

Я думаю, вы понимаете, как это бывает: сидишь вечерком, пьешь чай, и вдруг понимаешь, что твой смартфон умнее тебя. И это не шутка! Оказалось, что нейросети уже везде: в твоих фото, музыке, даже в поиске рецептов борща. И тут я подумал: а почему бы не разобраться в этом самому? Сначала было сложно, как пытаться собрать пазл с закрытыми глазами. Но потом я понял: если я смог это понять, то смогу и объяснить другим. И вот появилась эта книга – мой способ поделиться тем, что узнал, чтобы вы тоже могли почувствовать себя частью этого технологического будущего.

И вот мы с вами уже прочитали предисловие. Очень надеюсь, что в своей фантазии вы берете меня за руку и идете читать вместе со мной следующие страницы этой замечательной книги. Ведь свои книги – вы не поверите! – как часто я перечитываю – иногда даже забываю их содержание и сам удивляюсь, как я такое мог написать! И почему мне такие книги так редко попадаются, ведь я обожаю читать и читаю очень много! Минимум 40—50 книг в год!

Ну что?

Вперед покорять нейросети! Узнаем, что там за таинство истории появления нейросетей в наш удивительный и прекрасный мир!

Глава 1: Что вообще такое

эти ваши нейросети

История, и откуда идут корни

Тут мы с вами поговорим от первых концепций до современных достижений.

Зачем нам изучать историю нейросетей?

Чтобы ясно представить себе, какой долгий путь прошла эта технология, какие события повлияли на ее развитие и кто приложил усилия, подарив миру такие удивительные возможности. Эта история должна быть полна интересных событий и насыщенной разными этапами – от первых идей ученых до сегодняшних достижений. И ведь так оно и было, хоть мы там сами и не присутствовали. Но попробуем хотя бы на секунду нашим воображением и полученными данными представить эту картину!

Мы же вообще не представляем, как вот так взяли люди, собрались и давай лет 20—30 это все понимать да разрабатывать. Маленькими шагами всем миром буквально пришли к этой чудной инновации в XXI веке.

Давайте рассмотрим ее подробнее, этап за этапом.

Первые попытки создать системы, имитирующие работу мозга, появились еще в середине XX века. Одним из ключевых моментов стало создание модели нейрона Уорэна Маккаллока и Уолтера Питтса в 1943 году. Эта модель была попыткой смоделировать простейший элемент нервной системы – нейрон. Она заложила основу для понимания того, как могут функционировать искусственные нейронные сети. Представьте себе: в 40-х годах прошлого века два парня, Маккаллок и Питтс, сидят и думают: «А что если мы сделаем модель нейрона?» И тут понеслась идея по головам! Они придумали такую штуковину, которая потом стала основой для всех этих умных будущих приложений и платформ.

А там и до перцептронов дошли!

Что это за заумные слова такие, перцептроны? Даже запомнить с первого раза будет сложно!

Я разделил это слово на три части и выговариваю его частенько, чтоб запомнить.

Пер-Цеп-Троны!

Так и проще запомнить, и забавнее звучит.

И что же это?

Это несложная система, созданная специально для того, чтобы помогать компьютеру самостоятельно находить повторяющиеся схемы и правила в различных типах данных. То есть, задача такой модели – научиться видеть определенные связи между элементами данных, чтобы потом применять полученные знания для решения конкретных задач.

Они были разработаны для решения конкретных задач классификации, а не для общего обучения на любых данных, чтоб не спутать это нам! Но как оказалось, перцептроны имели существенные ограничения для этого.

Еще проще: надо представить один нейрон из нашей головы! Он отвечает за одну задачу. Например, видеть и понимать цифру один! То есть, самую настоящую единицу! И только ее! Теперь представим искусственный нейрон, который понимает только одну функцию, – видеть только цифру один!

Этот искусственный нейрон принимает несколько входных разных чисел и решает, к какой категории эта цифра относится – к цифре один или не к цифре один.

Еще проще: у нас есть один человек, который говорит, что перед нами яблоко или апельсин. Больше других задач он не имеет никогда. Откуда он знает, что перед ним яблоко или апельсин? Методом долгих проб и ошибок! Его тренируют и обучают этому! Ему дают информацию, например, как в руку предмет, и он его анализирует математическими свойствами (весами) и решает, к какой категории будет относиться именно этот предмет. Например, светофор никогда не станет яблоком. Или апельсином. И когда ему дадут в руку целый светофор, он скажет: «Это не яблоко и точно не апельсин!»

Яблоко или апельсин можно заменить другими значениями. Например, представьте, что это будет цифра один и цифра два. Женщина или мужчина. Небо или земля. Вода или бетон. Чему обучат этот искуственный нейрон, то уметь он и сможет, грубо говоря!

Держите цифры этих эпохальных моментов:

– 1943 год – модель нейрона Маккаллока-Питтса;

– 1950-е годы – первые исследования (!пер-цеп-тронов!), предложенных Фрэнком Розенблаттом. Перцептрон был первой моделью искусственного нейрона, способной учиться на основе примеров.

Перцептроны и кризис зарождавшегося искусственного интеллекта

В 1960-х годах произошел всплеск интереса к искусственному интеллекту благодаря работам Марвина Минского и других исследователей. Однако вскоре наступил период скептицизма и разочарования, известный как первый «зимний период» искусственного интеллекта. Одной из причин стал знаменитый доклад Минского «Perceptrons», где он доказал ограниченность однослойных перцептронов.

Но знаете, как бывает: сначала все на подъеме, а потом бац – и разочарование. В 60-х годах Минский написал книжку «Перцептроны» и сказал:

«Ребята, да ваши нейросетки – это фигня, они даже простое XOR решить не могут!»

И все!

Началось похолодание в мире искусственного интеллекта. Финансирования нет, энтузиазма тоже. Частично именно это не дало развитию этой технологии в те времена. Либо все в эти года просто были помешаны на финансировании космической идеи.

Это что получается? Разработки искуственного интеллекта еще в 1960-х годах начались?

Как мы с вами видим – да! А там и фильмы про Терминатора начали появляться по мотивам книжек научной фантастики того времени!

– 1969 год – доклад Марвина Минского «Perceptrons». Этот труд показал ограничения однослойных перцептронов и привел к снижению финансирования исследований в области ИИ;

– 1970—1980-е годы – первый «зимний период» искусственного интеллекта, когда интерес к нейросетям снизился.

Возрождение интереса к нейросетям

В конце 1980-х годов произошел новый виток интереса к нейросетям благодаря появлению многослойных перцептронов и методов обратного распространения ошибки (backpropagation). Эти методы позволили создавать более сложные и мощные модели.

Как говорится, без зимы не бывает весны. Все снова пошло вверх! Люди начали строить многослойные сети, и оказалось, что они могут делать крутые вещи.

– 1986 год – книга Дэвида Румельхарта, Джеффри Хинтона и Рональда Уильямса «Learning Representations by Back-Propagating Errors». Это было ключевое событие, которое вернуло интерес к нейросетям;

– 1990-е годы – начало активного применения нейросетей в распознавании образов, обработке сигналов и других приложениях.

Что?

В 90-е уже были модели распознавания образов? Честно говоря, изучая это, самому не верится. Ведь автор этой книги родился в 90-х годах. Активное использование нейросетей в коммерческих и промышленных масштабах началось чуть позже, ближе к концу 1990-х и началу 2000-х годов.

Современный бум глубокого обучения

И вот в начале XXI века появляется тематика глубокого обучения (deep learning). Глубокие нейронные сети показали выдающиеся результаты в таких задачах, как компьютерное зрение, обработка естественного языка и автоматическое управление в том числе.

– 2006 год – статья Джеффри Хинтона «A Fast Learning Algorithm for Deep Belief Nets». Это стало началом эры глубокого обучения;

– 2012 год – победа глубокой сверточной нейронной сети AlexNet в конкурсе ImageNet, что продемонстрировало возможности глубоких нейросетей в компьютерном зрении;

– 2010-е годы – активное развитие архитектуры рекуррентных нейронных сетей (RNN), трансформеров и других моделей, применяемых в обработке текста и речи.

Нейросети буквально стали мощными по сравнению с тем, что имелось в 90-х. Глубокое обучение не является абсолютно новой областью для 2010 года, но представляет собой дальнейшее развитие всех идей, заложенных в предыдущих десятилетиях. Тем не менее, успехи в области глубокого обучения в XXI веке действительно открыли новые горизонты для применения будущего искусственного интеллекта.

Современные достижения и тренды

Сегодня нейросети используются практически везде: от автопилотов в автомобилях до систем рекомендаций в интернете. Некоторые из последних достижений включают:

– генеративные модели, такие как GANs (Generative Adversarial Networks), способные создавать реалистичные изображения и видео;

– большие языковые модели, такие как GPT-4 и Grok-4, демонстрирующие впечатляющие способности в понимании и генерации текста;

– роботы и автономные системы, использующие нейросети для навигации и принятия решений.

Нейросети теперь повсюду: в смартфонах, автомобилях, умных домах.

Их история началась с простеньких моделей, постепенно превратившихся в мощные системы, способные справляться с самыми разными заданиями. Каждое нововведение приносило свежие идеи и технические улучшения, раздвигавшие рамки возможностей. Сейчас нейросети активно развиваются дальше, открывая перед нами все больше новых перспектив в науке и технике.

А что ждет впереди?

Мы еще даже близко не подошли к пределу их потенциала – важно об этом напоминать себе буквально каждый день. Буквально сейчас, на лето 2025 года, финансируются и строятся объекты, поддерживающие развитие и потенциал самого настоящего будущего искусственного интеллекта.

Как они вообще работают эти ваши нейросети?

Представь, что у тебя есть большой пазл, состоящий из множества маленьких кусочков. Ты собираешь этот пазл, подбирая каждый кусочек к другому, пока не получится целая картинка. Так вот, нейросеть работает примерно так же, только вместо кусочков пазла у нее есть маленькие кирпичики, называемые «нейронами». Эти нейроны соединены между собой, как кусочки пазла, и вместе они помогают решить сложную задачу.

Например, когда ты показываешь нейросети картинку с котиком, она пытается подобрать нужные нейроны, чтобы сказать: «Да, это кот!» Для этого ей нужно пройти через огромное количество уровней – прям как в компьютерных играх! Только делает она это за секунду! Для нейросети секунда – это целое тысячелетие! Эти уровни нейросеть проходит словно лестницу, где на каждом уровне она сравнивает разные части картинки с тем, что уже знает. Сначала она смотрит на общие формы и цвета, потом на более мелкие детали, и в итоге приходит к выводу, что это действительно наш милый котик на картинке.

Нейросети состоят из множества взаимосвязанных элементов (нейронов), которые совместно обрабатывают информацию и формируют выводы. Аналогия с пазлом подчеркивает процесс постепенного формирования результата.

В нейросетях происходит многоуровневая обработка данных. Например, в сверточных нейронных сетях (CNN) сначала выделяются базовые признаки (края, контуры), затем более сложные (формы, объекты), и в конечном итоге сеть делает вывод о содержании изображения. Помните, мы говорили о весах про апельсины и яблоки? Очень похоже, да?

Вот еще аналогия:

Нейросети – это как если бы у вас был гигантский железнодорожный вокзал, где вместо поездов маленькие человечки бегают туда-сюда с бумажками. И каждый раз, когда они добегают до стрелки, они смотрят на свою бумажку и думают: «Ага, значит, мне сюда!» И так они бегают, пока не соберутся все вместе и не скажут: «Ха-ха, мы решили наконец – это тот самый котик!»

Только представь: тысячи таких человечков, и каждый несет свою маленькую подсказку. Один видит ушки, другой – хвостик, третий – лапки. И в итоге они все вместе кричат: «Это кот! Мы увидели все вместе общую картинку и сразу все поняли!» А если ты им покажешь собаку, они побегут по другим путям и в конце концов скажут: «Нет, это собака – тут уши совсем другие, не как у кота, а как у собаки!»

В процессе обучения нейросеть накапливает информацию от отдельных нейронов и объединяет ее для получения финального вывода. Этот процесс называется «прямое распространение» (forward propagation). И давайте с вами сразу расставим точки в понимании: нейросеть не «играет», а систематически обрабатывает данные согласно заранее заданным правилам и настройкам.

Так что нейросети – это как огромная игра в «угадай объект», где все эти маленькие человечки пытаются собрать пазл из кусочков информации и подтвердить, что это за информация перед ними.

Что необходимо для создания нейросети

Как компании делают свои нейросети и чего вообще для этого им необходимо. Давайте кратко тут рассмотрим, чего в реальности им нужно.

А зачем это нам вообще знать? Ведь работает – и слава богу!

А вот причина: для расширения кругозора и чего интересного можно погуглить из мира нейросетей. Вдруг вам захочется освоить область нейросетей профессионально и в будущем стать экспертом в этой области.

Так чего же нужно-то?

1. Оборудование

Для создания и мощного обучения современных нейросетей требуется высокопроизводительное оборудование. Даже, хочу сказать, нереально мощное, чтобы хоть капельку сравняться с современными идеями и реализациями.

Вот основные компоненты:

1) Графические процессоры (GPU)

– Для чего нужны: для ускорения вычислений, особенно в задачах машинного обучения, где нужно обрабатывать большие объемы данных;

– Примеры: NVIDIA, AMD Radeon;

– Зачем это: Современные нейросети требуют больших вычислительных мощностей. Например, обучение модели на базе трансформеров (например, GPT-3) требует десятков или даже сотен GPU.

2) Центральные процессоры (CPU)

– Для чего нужны: для управления вычислительным процессом и выполнения общих задач;

– Примеры: Intel Xeon, AMD EPYC;

– Зачем это: Несмотря на то, что основная вычислительная нагрузка ложится на GPU, мощные CPU необходимы для координации работы и выполнения задач, связанных с обработкой данных.

3) Память (RAM)

– Для чего нужна: для хранения промежуточных данных и моделей во время обучения;

– Примеры: модули DDR4 или DDR5 с высокой пропускной способностью;

– Зачем это: Обучение больших моделей требует значительного объема оперативной памяти, особенно если модель работает с большими наборами данных.

4) Хранилище данных (SSD, HDD)

– Для чего нужно: для хранения данных, моделей и промежуточных результатов;

– Примеры: SSD для быстрого доступа к данным, HDD для длительного хранения больших объемов данных;

– Зачем это: Нейросети обучаются на больших наборах данных, которые могут занимать десятки или сотни гигабайт. Быстрый доступ к этим данным критичен для эффективного обучения.

5) Сетевое оборудование

– Для чего нужно: для передачи данных между узлами в распределенных системах;

– Примеры: высокоскоростные сетевые интерфейсы (10GbE, 100GbE);

– Зачем это: При использовании распределенных систем для обучения нейросетей важно, чтобы данные передавались между узлами с минимальной задержкой.

2. Знания

Для создания и обучения нейросетей требуются глубокие знания в нескольких областях. Вот основные из них:

1) Математика

– Что нужно знать: линейная алгебра, математический анализ, теория вероятностей и статистика;

– Зачем это: Нейросети основаны на математических моделях, и понимание этих основ критично для разработки и оптимизации алгоритмов.

2) Программирование

– Что нужно знать: языки программирования, такие как Python, C++, JavaScript;

– Зачем это: Программирование необходимо для реализации алгоритмов, работы с данными и создания интерфейсов для взаимодействия с моделями.

3) Машинное обучение и нейросети

– Что нужно знать: основные алгоритмы машинного обучения, архитектуры нейросетей (например, сверточные нейросети, рекуррентные нейросети, трансформеры), методы оптимизации (например, градиентный спуск);

– Зачем это: Понимание принципов работы нейросетей и методов их обучения критично для создания эффективных моделей.

4) Обработка данных

– Что нужно знать: методы предобработки данных, нормализация, выбор признаков, работа с большими данными;

– Зачем это: Качество данных напрямую влияет на качество обученной модели. Правильная предобработка данных может значительно улучшить результаты.

5) Распределенные системы

– Что нужно знать: принципы работы распределенных систем, параллельные вычисления, алгоритмы синхронизации;

– Зачем это: Обучение больших моделей требует использования распределенных систем, чтобы ускорить процесс.

3. Инструменты

1) Фреймворки для машинного обучения

– Примеры: TensorFlow, PyTorch, Keras;

– Зачем это: Эти фреймворки предоставляют готовые инструменты для создания и обучения нейросетей, что значительно упрощает процесс разработки.

2) Библиотеки для работы с данными

– Примеры: NumPy, Pandas, Matplotlib;

– Зачем это: Эти библиотеки позволяют эффективно работать с данными, проводить их анализ и визуализацию.

3) Инструменты для развертывания моделей

– Примеры: Docker, Kubernetes;

– Зачем это: После обучения модели ее нужно развернуть в производственной среде. Эти инструменты помогают автоматизировать процесс развертывания и управления моделями.

4) Облачные платформы

– Примеры: Google Cloud, Amazon Web Services (AWS), Microsoft Azure;

– Зачем это: Облачные платформы предоставляют доступ к высокопроизводительным вычислительным ресурсам, что особенно полезно для обучения больших моделей.

5) Инструменты для мониторинга и логирования

– Примеры: TensorBoard, MLflow;

– Зачем это: Эти инструменты позволяют отслеживать процесс обучения, анализировать метрики и оптимизировать модели.

6) Инструменты для предобработки данных

– Примеры: Scikit-learn, NLTK, OpenCV;

– Зачем это: Эти инструменты помогают проводить предобработку данных, такую как нормализация, фильтрация, удаление шумов и заполнение пропусков.

7) Инструменты для визуализации данных

– Примеры: Matplotlib, Seaborn, Plotly;

– Зачем это: Визуализация данных помогает лучше понять структуру и распределение данных, что может быть полезно на этапе анализа и предобработки.

8) Инструменты для распределенных вычислений

– Примеры: Apache Spark, Dask;

– Зачем это: Эти инструменты позволяют эффективно распределять вычислительные задачи между несколькими узлами, что особенно полезно при работе с большими наборами данных.

9) Инструменты для работы с графами и сетями

– Примеры: NetworkX, Graphviz;

– Зачем это: Эти инструменты полезны для анализа и визуализации графов и сетей, что может быть полезно при работе с нейросетями, такими как графовые нейросети.

10) Инструменты для работы с большими данными

– Примеры: Hadoop, Apache Hive, Apache Kafka;

– Зачем это: Эти инструменты позволяют эффективно работать с большими объемами данных, что особенно важно при обучении нейросетей на больших наборах данных.

11) Инструменты для автоматического машинного обучения (AutoML)

– Примеры: AutoKeras, H2O.ai;

– Зачем это: Эти инструменты автоматизируют процесс создания и обучения нейросетей, что может быть полезно для ускорения разработки и снижения требований к экспертизе.

12) Инструменты для обработки естественного языка (NLP)

– Примеры: spaCy, Gensim, Hugging Face;

– Зачем это: Эти инструменты позволяют эффективно работать с текстовыми данными, что особенно важно при создании нейросетей для задач обработки естественного языка.

13) Инструменты для работы с изображениями и видео

– Примеры: OpenCV, Pillow, FFmpeg;

– Зачем это: Эти инструменты позволяют обрабатывать и анализировать изображения и видео, что полезно при создании нейросетей для задач компьютерного зрения.

14) Инструменты для работы с временными рядами

– Примеры: Prophet, Statsmodels;

– Зачем это: Эти инструменты позволяют анализировать и прогнозировать временные ряды, что полезно при создании нейросетей для задач прогнозирования.

4. Деньги

1) Графические процессоры (GPU)

NVIDIA Tesla A100 (около $10,000), NVIDIA RTX 3090 и выше (около $1,500—3000).

Для обучения больших моделей может потребоваться от нескольких до сотен GPU.

2) Центральные процессоры (CPU)

Intel Xeon Platinum 8380 (около $8,000), AMD EPYC 7763 (около $7,000).

Обычно требуется несколько мощных CPU для координации работы и выполнения задач, связанных с обработкой данных.

3) Память (RAM)

128GB DDR4 (около $500), 256GB DDR5 (около $1,000).

Для обучения больших моделей может потребоваться от десятков до сотен гигабайт оперативной памяти.

4) Хранилище данных (SSD, HDD)

SSD 1TB (около $100), HDD 10TB (около $300).

Для хранения больших наборов данных и промежуточных результатов может потребоваться несколько терабайт или даже петабайт хранилища.

5) Сетевое оборудование

10GbE сетевой интерфейс (около $500), 100GbE сетевой интерфейс (около $1,000).

Для распределенных систем может потребоваться несколько высокоскоростных сетевых интерфейсов.

5. Образование и обучение

Курсы по машинному обучению и нейросетям (около $1,000—5,000), магистратура в области данных (около $20,000—50,000).

Обычно требуется несколько лет обучения и практики для приобретения необходимых знаний и навыков.

Большинство сервисов и облачных моделей идут условно-бесплатными, но для корпоративных масштабов, конечно, имеются платные версии этих программных обеспечений с расширенным функционалом.

Можно ли самому сделать свои нейросети?

Все, что сделано руками человека, мы тоже можем сделать сами! Главное – труд, упорство и постоянное развитие! Было бы желание и ресурсы, мы бы и ракету в космос своими руками могли построить!

А нейросети тем более людьми сделаны! Особенно в век открытых данных в интернете мы с вами точно можем сами свои нейросети создавать!

Создание собственных нейросетей без технических знаний определенно возможно! Но будет обалдеть как много ошибок и легкой нотки геморроя, чтобы во всем было можно разобраться без советов и подсказок со стороны. В современном мире существует множество инструментов и платформ, которые упрощают этот процесс. Разные приложения и даже сами нейросети публичные делают это все доступным для широкого круга пользователей.

Держи пример поэтапного плана для расширения своего кругозора о нейросетях. Но не придавай это все близко к сердцу, если ты уже самостоятельно имел опыт создания нейросетей. В основном тут мы просто приоткрываем глаза тем, кто вообще не представляет, как это можно сделать самому.

Это всего лишь приближенный пример для визуализации создания нейросетей самостоятельно своими руками. И я думаю, подобное можно легко встретить в любых других книгах о нейросетях и их создании.