Цифровая трансформация промышленных предприятий

Есть разные виды нейронных сетей, каждый из которых используется для определенных целей.

1. Однослойные нейронные сети. В однослойных нейронных сетях сигналы с входного слоя сразу подаются на выходной слой. Он производит необходимые вычисления, результаты которых сразу подаются на выходы. Выглядит однослойная нейронная сеть следующим образом, рис.2.7.

Рис.2.7. Однослойная нейронная сеть

Модель ее состоит из четырех основных компонентов: входа, веса, сумматора и функции активации. Входные данные перемножаются с весами, суммируются и поступают на вход функции активации.

2. Многослойные нейронные сети. Многослойная нейронная сеть — одна из самых базовых архитектур. Она состоит из искусственных нейронов, которые объединяются в слои. Нейрон из одного слоя связан с каждым нейроном из следующего слоя, поэтому такие нейронные сети часто называют полно связными, рис.2.8. Чаще всего их используют для обработки числовых данных или в составе других нейронных сетей.

Рис.2.8. Многослойная нейронная сеть

Такие сети, помимо входного и выходного слоев нейронов, характеризуются еще и скрытым слоем (слоями). Понять их расположение просто– эти слои находятся между входным и выходным слоями. Такая структура нейронных сетей копирует многослойную структуру определенных отделов мозга.

Название скрытый слой получил неслучайно. Дело в том, что только относительно недавно были разработаны методы обучения нейронов скрытого слоя. До этого обходились только однослойными нейросетями. Многослойные нейронные сети обладают гораздо большими возможностями, чем однослойные.

3.Сети прямого распространения— искусственные нейронные сети, в которых сигнал распространяется строго от входного слоя к выходному. В обратном направлении сигнал не распространяется. Такие сети широко используются и вполне успешно решают определенный класс задач: прогнозирование, кластеризация и распознавание.

4.Сети с обратными связями. В сетях такого типа сигнал может идти и в обратную сторону, рис.2.9.

Рис. 2.9. Сеть с обратной связью

Дело в том, что в сетях прямого распространения выход сети определяется входным сигналом и весовыми коэффициентами при искусственных нейронах. А в сетях с обратными связями выходы нейронов могут возвращаться на входы. Это означает, что выход какого-нибудь нейрона определяется не только его весами и входным сигналом, но еще и предыдущими выходами (так как они снова вернулись на входы).

Возможность сигналов циркулировать в сети открывает новые, удивительные возможности нейронных сетей. С помощью таких сетей можно создавать нейросети, восстанавливающие или дополняющие сигналы. Другими словами, такие нейросети имеют свойства кратковременной памяти (как у человека).

Работа нейронных сетей основана на трех этапах: получение данных, их обработка и принятие решения.

1. Получение входных данных. Данные — это основа работы нейронной сети. На этом этапе сеть получает информацию. Это могут быть изображения, текст, звук или числовые данные. Нейросеть преобразует данные в числовой формат, который может быть обработан. Например, для задачи классификации изображений сеть принимает пиксели и преобразует их в числовые значения.

2.Обработка через слои нейронов. Каждый слой нейронной сети выполняет специфическую обработку данных:

-входной слой передает данные в виде чисел;

-скрытые слои извлекают ключевые признаки, например, для изображения это может быть контур или текстура;

-выходной слой преобразует данные в результат: например, вероятность того, что на фото изображена кошка.

Отдельной взятый нейрон отвечает за простую операцию, но в совокупности сеть способна решать сложные задачи. Важным компонентом обработки является функция активации. Она помогает нейронам «решить», какие данные важны, а какие можно игнорировать.

3.Обучение модели. Когда нейронная сеть готова и инициализирована, у нее случайные веса — они еще не настроились под нужный результат. Такая нейросеть называется необученной. Ее надо обучить на определенные действия. Процесс обучения бывает ручным и автоматическим и выглядит обычно так. Нейросети дают на вход разные данные, она анализирует их, а потом ей сообщают, каким должен быть правильный ответ. Сеть устроена так, что будет «стремиться» подогнать веса синапсов, чтобы выдавать верные результаты.

Для эффективного обучения нужно много повторений. Иначе нейронная сеть будет работать неточно — ведь входные данные могут серьезно различаться, а она окажется натренирована только на один возможный вариант. Поэтому обучение проводится в несколько итераций и эпох.

Итерация — это одно прохождение тренировочного сета. Эпоха — это количество полных прохождений всех сетов. Чем больше эпох, тем лучше натренирована нейросеть.

После обучения можно давать нейронной сети входные данные уже без подсказок. Она будет давать ответы на основе весов, которые подсчитала в процессе обучения. Затем нейронная сеть запускается в работу. На вход поступает какая-то информация или запрос. Входной слой нейронной сети обрабатывает ее и переводит в понятный машине вид — в числовые наборы. Затем эти наборы передаются нейронам. Нейроны по формулам, которые в них заложены, обрабатывают информацию. Как именно реагировать на разные детали этих данных, определяют коэффициенты — их нейросеть разработала при обучении. По сути, эти коэффициенты работают как память: нейросеть «вспоминает», как следует реагировать на похожие кластеры информации с известными ей признаками. Данные передаются дальше по нейронной сети, проходит разные слои и типы нейронов. В конечном итоге на последнем слое нейросеть может сделать вывод. На выход подается ее финальная «реакция» на запрос.

ГЛАВА 3. МАШИННОЕ ОБУЧЕНИЕ

Машинное обучение представляет собой подобласть искусственного интеллекта, которая позволяет компьютерным системам обучаться на основе опыта и данных. Для построения таких методов используются средства математической статистики, численных методов, методов оптимизации, теории вероятностей, теории графов, различные техники работы с данными в цифровой форме. С помощью машинного обучения, компьютерные программы могут самостоятельно улучшать свою производительность и адаптироваться к новым задачам.

3.1. Типы машинного обучения

Типы машинного обучения в широком смысле можно разделить на четыре основные парадигмы в зависимости от типа данных и целей обучения:

-контролируемое обучение,

-неконтролируемое обучение,

-полу контролируемое обучение,

-обучение с подкреплением.

Классификацию типов машинного обучения, с учетом целевой переменной и решаемых задач можно представит в следующем виде, рис.3.1.

Рис.3.1. Классификация типов машинного обучения с учетом решаемых задач.

3.1.1. Контролируемое обучение (обучение с учителем)

Контролируемое обучение — это фундаментальный подход к машинному обучению и искусственному интеллекту. Он предполагает обучение модели с использованием размеченных данных, где каждому входному значению соответствует правильное выходное значение. Разметка данных — это процесс добавления значимых и информативных меток к набору данных, чтобы облегчить машинным алгоритмам понимание и обработку информации. Без нее алгоритмы машинного обучения терялись бы в море неструктурированных данных.

Алгоритм обучения состоит из входных признаков и соответствующих выходных меток. Процесс работает следующим образом. Моделям предоставляется набор данных для обучения, который включает входные данные (признаки) и соответствующие выходные данные (метки или целевые переменные). Во время обучения алгоритм обрабатывает обучающие данные, изучая взаимосвязи между входными характеристиками и выходными метками. Это достигается путём настройки параметров модели для минимизации разницы между её прогнозами и фактическими метками.

После обучения модель оценивается с помощью тестового набора данных для измерения её точности и производительности. Затем производительность модели оптимизируется путём настройки параметров и использования таких методов, как перекрестная проверка для сбалансирования смещения и дисперсии. Используя размеченные входы и выходы, модель может сопоставлять входные данные и полученные результаты на точность и постепенно обучаться.

Эта модель затем используется для прогнозирования меток новых данных. Если метки дискретные (например, «да» или «нет»), то модель будет решать задачу классификации (например, определять, какие сообщения являются спамом). Если же метки непрерывные (числа), то модель будет решать задачу регрессии – к примеру, предсказывать динамику цен на недвижимость

Контролируемое машинное обучение использует наборы обучающих данных для достижения желаемых результатов. Например, вы хотите научить машину прогнозировать, сколько времени вам понадобится, чтобы доехать до дома с работы. Здесь вы начинаете с создания набора помеченных данных. Эти данные включают в себя: погодные условия, время суток, каникулы. Все эти детали являются вашими входными данными в этом примере контролируемого обучения. Результатом является количество времени, которое потребовалось, чтобы вернуться домой в этот конкретный день. Инстинктивно понимаешь, что если на улице дождь, то дорога домой займет больше времени. Но машине нужны данные и статистика.

Первое, что вам необходимо создать, — это обучающий набор, который будет содержать общее время в пути и соответствующие факторы, такие как погода, время и т. д. На основе этого обучающего набора ваша машина может обнаружить прямую зависимость между количеством дождя и временем, которое вам понадобится, чтобы добраться домой. Таким образом, он устанавливает, что чем сильнее идет дождь, тем дольше вам придется ехать, чтобы вернуться домой. Он также может увидеть связь между временем, когда вы уходите с работы, и временем, когда вы будете в дороге.

Это начало вашей модели данных. Это начинает влиять на то, как дождь влияет на то, как люди водят машину. Также становится заметно, что все больше людей путешествуют в определенное время суток.

Для реализации контролируемого машинного обучения понадобятся следующие алгоритмы: регрессии, логистической регрессии, классификации, наивные байесовские классификаторы, деревья решений, машина опорных векторов.

Проблемы, с которыми сталкиваются при контролируемом машинном обучении:

-нерелевантная входная функция, присутствующая в обучающих данных, может дать неточные результаты;

-подготовка и предварительная обработка данных всегда представляют собой сложную задачу;

-точность страдает, когда в качестве обучающих данных вводятся невозможные, маловероятные и неполные значения.

Преимущества контролируемого машинного обучения:

-обучение под наблюдением позволяет собирать данные или производить вывод данных на основе предыдущего опыта;

-помогает оптимизировать критерии производительности, используя опыт;

-помогает решать различные типы реальных вычислительных задач.

Недостатки контролируемого обучения:

-граница принятия решения может быть переобучена, если в вашем обучающем наборе нет примеров, которые вы хотите иметь;

-во время обучения классификатора нужно выбрать множество хороших примеров;

-сортировка больших данных может стать настоящим испытанием;

-обучение контролируемому обучению требует много вычислительного времени.

3.1.2. Неконтролируемое обучение (обучение без учителя)

При неконтролируемом обучении алгоритмы машинного обучения используются для анализа и группирования наборов неразмеченных данных. Эти алгоритмы выявляют шаблоны в данных без вмешательства человека (поэтому они «неконтролируемые»). Обучение без учителя работает путем анализа немаркированных данных для выявления закономерностей и взаимосвязей. Данные не помечены никакими предопределенными категориями или результатами, поэтому алгоритм должен находить эти закономерности и взаимосвязи самостоятельно. Это может быть сложной задачей, но она также может быть очень полезной, поскольку позволяет получить представление о данных, которые не были бы очевидны из помеченного набора данных.

Входные данные для моделей обучение без учителя следующие:

-неструктурированные данные: могут содержать зашумленные (бессмысленные) данные, пропущенные значения или неизвестные данные;

-немаркированные данные, которые содержат только значение входных параметров, целевого значения (выходных данных) нет. Данные легко собрать по сравнению с помеченным при контролируемом подходе.

Модели неконтролируемого обучения используются для выполнения трех основных задач— кластеризации, ассоциации и снижения размерности:

1. Кластеризация— это метод интеллектуального анализа данных, применяемый для группирования неразмеченных данных исходя из их сходств и различий. Например, в рамках алгоритмов кластеризации по K-средним похожие точки данных объединяются в группы, где значение K представляет размер группы и степень структурированности. Этот метод подходит для сегментации рынка, сжатия изображений и т.д.

2. Ассоциация— метод неконтролируемого обучения, в котором для выявления взаимосвязей между переменными и заданным набором данных используются определенные правила. Метод изучения правил ассоциации выявляет некоторые очень полезные взаимосвязи между параметрами большого набора данных и, в основном, используется для анализа рыночной корзины, который помогает лучше понять взаимосвязь между различными продуктами. Например, магазины используют алгоритмы, основанные на этой технике, чтобы выяснить взаимосвязь между продажей одного товара без учителя и продажами другого на основе поведения покупателей.

3. Снижение размерности. Снижение размерности при предварительной обработке данных может превратить огромный набор данных с сотнями функций в меньший, но по-прежнему значимый набор ключевых измерений, который легче обрабатывать и визуализировать. Представьте набор данных из 100 характеристик учащихся (рост, вес, оценки и т.д.). Чтобы сосредоточиться на ключевых чертах, сведите его всего к двум характеристикам: росту и оценкам, что упростит визуализацию или анализ данных. Этот метод часто используется на этапе обработки данных, например, когда авто кодировщики удаляют помехи из визуальных данных для повышения качества изображения.

Неконтролируемое обучение может обнаружить аномальные шаблоны данных. Благодаря этому банки могут обнаруживать мошеннические транзакции, которые не соответствуют обычной схеме расходов. Также это можно использовать для выявления аномалий в структуре сетевого трафика, которые могут быть признаком кибератаки.

Неконтролируемое обучение группирует гены, которые экспрессируются сходным образом, тем самым помогая исследователям определить функцию гена и возможные мишени для лекарств.

Алгоритмы неконтролируемого обучения могут быть задействованы в анализе медицинских карт пациентов и выявлять группы пациентов с похожими симптомами, что может быть очень полезно при ранней диагностике пациента или планировании лечения.

Ключевые проблемы обучения без учителя:

-зашумленные данные: выбросы и шум могут искажать шаблоны и снижать эффективность алгоритмов;

-зависимость от предположений: алгоритмы часто полагаются на предположения (например, формы кластеров), которые могут не соответствовать реальной структуре данных;

-риск переобучения: переобучение может произойти, когда модели фиксируют шум вместо значимых закономерностей в данных;

-ограниченное руководство: отсутствие ярлыков ограничивает возможность направлять алгоритм к конкретным результатам;

-интерпретируемость кластеров: результаты, такие как кластеры, могут не иметь четкого значения или соответствия категориям реального мира;

-чувствительность к параметрам: многие алгоритмы требуют тщательной настройки гиперпараметров, таких как количество кластеров в k-средних;

-отсутствие достоверности: в обучении без учителя отсутствуют помеченные данные, что затрудняет оценку точности результатов.

Классификация больших данных в рамках контролируемого обучения— непростая задача. Однако получаемые на выходе результаты точны и надежны. И наоборот, неконтролируемое обучение позволяет обрабатывать большие объемы данных в режиме реального времени. Однако в этом случае не хватает прозрачности в отношении кластеризации данных и существует более высокий риск получения неточных результатов. Выходом из ситуации является частично контролируемое обучение.

3.1.3. Полу контролируемое обучение

. Полу контролируемое обучение (частично контролируемое обучение) представляет собой гибридный подход, который использует преимущества как обучения под присмотром, так и без присмотра в виде единого автоматизированного анализа. Полу контролируемое обучение — это случай, когда обучение происходит на небольшом количестве размеченных и большом количестве неразмеченных данных, рис. 3.2.

Рис.3.2. Полу контролируемое обучение

Затем оно использует шаблоны и взаимосвязи, извлеченные из помеченных данных, для расшифровки немаркированных данных.

На первый взгляд такой подход может показаться излишеством. Как оказалось, автоматизация связи между машинным обучением под присмотром и без присмотра может значительно улучшить процессы и сэкономить массу времени. Получение большого объема правильно маркированных данных может быть дорогостоящим, трудоемким и отнимать много времени. В то же время предоставление моделям самим делать полезные выводы из кучи немаркированных данных может привести к менее чем удовлетворительным результатам. Это лучшее решение, использующее эффективность сортировки данных при обучении без присмотра и предельную точность обучения под присмотром.

Требуется время, чтобы разобраться в наиболее интересных результатах обучения без учителя. Затем человек должен решить, какие наборы данных стоят потраченных усилий, вычислительных затрат и других ресурсов, которые идут на более глубокий анализ (и не забывайте, что требуется время и усилия, чтобы действительно направить нужные данные в нужном направлении). Автоматизация этих медленных, дорогостоящих и сложных шагов может значительно ускорить общий анализ и снизить вероятность человеческой ошибки.

Создание размеченных данных для машинного обучения — это длительный процесс, который часто требует квалифицированных специалистов в предметной области и достаточно высоких затрат. Процесс сбора немаркированных данных намного легче и дешевле.

Соответственно, затраты на процесс обучения с использованием только размеченных данных могут быть слишком большими, и полу контролируемое обучение может быть решением проблемы. В последнем случае используются две выборки с данными из одних и тех же классов (размеченная и неразмеченная).

3.1.4. Обучение с подкреплением

Обучение с подкреплением, (RL) — это метод машинного обучения, который учит программу взаимодействовать со средой, чтобы получить более высокую награду. Процесс состоит из нескольких компонентов:

-агент — программа машинного обучения или автономная система;

-среда — окружающий мир или виртуальное пространство, в котором агент принимает решение;

-действие — действие, которое агент совершает в среде, чтобы повлиять на ее состояние;

-состояние — конфигурация элементов внутри среды;

-вознаграждение — это положительная, отрицательная или нейтральная оценка за выполненное действие (то есть награда или наказание);

-совокупное вознаграждение — сумма всех наград, которые агент получает за серию действий в определенной задаче.

RL напоминает человеческое обучение, потому что оно также основано на методе проб и ошибок и системе вознаграждения. Представьте, как ребенок учится ходить. Каждый раз, когда он делает шаг и не падает, получает похвалу от родителей. Если ребенок упадет, становится больно, и он учится избегать таких действий в будущем. Спустя множество повторений ребенок запоминает правильные движения и начинает ходить уверенно и стабильно. RL работает аналогичным образом, но с использованием алгоритмов и вычислительных методов.

Метод обучения с подкреплением основано на трех принципах:

1.Марковский процесс принятия решений (MDP) —формальная структура для описания задач обучения. Она помогает понять, как агент должен действовать, чтобы достичь своей цели. MDP включает описание всех возможных ситуаций, в которых может оказаться агент, все возможные действия, которые он может предпринять, и то, как они влияют на ситуацию. Также MDP описывает, какие награды получает агент за свои действия и насколько важны будущие награды по сравнению с текущими.

2.Политика —стратегия, которую агент использует для выбора действий в каждом состоянии. Она может быть простой — случайный выбор действий — или сложной, например, при использовании нейросети, обученной выбирать лучшие действия.

3.Функция ценности —помогает агенту понять, какие состояния или действия ведут к лучшим результатам в будущем. С помощью политики и функции ценности агент учится на своем опыте и принимает решения, которые максимизируют награду.

Обучение по методу RL происходит следующим образом. Агент наблюдает текущее состояние среды. Затем он выбирает действие исходя из своей политики. После выполнения действия агент получает награду и переходит в новое состояние. На основе обратной связи он обновляет свои оценки и улучшает политику. Например, если действие привело к высокой награде, агент запоминает это как хорошее действие. А если к низкой — будет стараться избегать его в будущем.

Типы алгоритмов обучения с подкреплением. Существует несколько типов алгоритмов, потому что разные задачи и условия среды требуют различных подходов к обучению. Используются различные алгоритмы, такие как Q-обучение, методы градиента политики, методы Монте-Карло и обучение временным различиям. Глубокое обучение с подкреплением основано на применении глубоких нейронных сетей для обучения с подкреплением. Одним из примеров алгоритма глубокого обучения RL является оптимизация политики региона доверия (TRPO).

Все эти алгоритмы можно разделить на две большие категории.

1. RL на основе моделей. RL на основе моделей обычно используется в тех случаях, когда среда четко определена и неизменна, а тестирование реальных сред затруднено. Сначала агент разрабатывает внутреннее представление (модель) среды. Решение выполняет действия в окружающей среде и отмечает новое состояние и ценность вознаграждения. Оно связывает переход от действия к состоянию со значением вознаграждения. По завершении модели агент моделирует последовательности действий на основе вероятности оптимального совокупного вознаграждения. Затем решение дополнительно присваивает значения самим последовательностям действий. Таким образом, агент разрабатывает различные стратегии в среде для достижения желаемой конечной цели.

2.RL без моделей. RL без моделей наиболее эффективна в больших, сложных, трудно поддающихся описанию средах, а также в неизвестных и изменчивых средах, где тестирование на основе среды не имеет существенных недостатков. Агент не разрабатывает внутреннюю модель среды и ее динамики. Вместо этого в среде используется метод проб и ошибок, чтобы оценить и отметить пары действие– состояние, а также последовательности пар действие– состояние для разработки политики.

Пример. Представьте себе беспилотный автомобиль, который должен ориентироваться в городском потоке машин. Дороги, дорожное движение, поведение пешеходов и множество других факторов могут сделать среду очень динамичной и сложной. ИИ-команды на начальных этапах обучают транспортное средство в смоделированной среде. Транспортное средство выполняет действия в зависимости от текущего состояния, получая вознаграждения или наказания. Со временем, преодолев миллионы миль по различным виртуальным сценариям, транспортное средство обучается действиям, наиболее соответствующим каждому состоянию, не моделируя всю динамику движения. При внедрении в реальный мир транспортное средство использует изученную политику, но продолжает совершенствовать ее, добавляя новые данные.

Если вы привыкли работать с задачами обучения с учителем, то в случае RL действует немного иная логика. Вместо того, чтобы создавать алгоритм, который обучается на наборе пар «факторы — правильный ответ», в обучении с подкреплением необходимо научить агента взаимодействовать с окружающей средой, самостоятельно генерируя эти пары. Затем на них же он будет обучаться через систему наблюдений, выигрышей) и действий.