Интеллектуальность нейросетевых конструкций. Обзор литературы

Интеллектуальность нейросетевых конструкций

Обзор литературы

Александр Кириченко

© Александр Кириченко, 2022

ISBN 978-5-0056-0115-5

Создано в интеллектуальной издательской системе Ridero

Введение

Интеллект – совокупность умственных способностей человека, обеспечивающих успех его познавательной деятельности.

В широком смысле под этим термином понимают совокупность всех познавательных функций индивида (восприятие, память, воображение, мышление), а в узком – его мыслительные способности.

«Естественный Интеллект» – это свойство, присущее человеку и другим живым объектам.

В последнее время всё большее внимание уделяется понятию «интеллект» в связи с появлением новых объектов, при описании которых подчёркивается их интеллектуальная направленность. Обращается внимание на содержание в этих объектах чего-то, повышающего эффективность их использования, их «интеллектуальность». Получается, что новый товар имеет какое-то новое очень полезное свойство, повышающее «очеловечение» этого товара. Он становится более способным, как бы «думающим». Чтобы подчеркнуть его необычность, отличие от интеллекта человека (естественного интеллекта) ему присвоено новое название: Искусственный Интеллект.

Искусственный интеллект – это область информатики, которая занимается разработкой компьютерных систем, связанных с разумной (мыслительной) деятельностью человека. К этому виду деятельности принято относить понимание естественного языка, работу со знаниями и мышление (решение мыслительных проблем).

При создании искусственных интеллектуальных структур представляет интерес: состав, структура, принцип действия, технология создания, особенности использования интеллектуальных программ и программ повышенной интеллектуальности, языки для создания интеллектуальных систем.

Представляет так же интерес, чем отличается новая, искусственная интеллектуальная структура от естественной. Для выяснения этого необходимо сравнить, чем естественный интеллект отличается от искусственного.

Проведение научного исследования чаще всего заключается в выявлении скрытых правил и закономерностей в наборах данных, формулировке гипотез и выявлении типовых структур. Для этого приходится использовать различные методы обнаружения (добычи) знаний: абстрагирование, ассоциативное объединение, классификацию, кластеризацию, анализ временных рядов, прогнозирование и др.

Это трудная работа, так как человеческий разум не приспособлен для восприятия больших массивов разнородной информации. В среднем человек не способен улавливать более двух-трех взаимосвязей даже в небольших выборках.

Для расширения аналитических возможностей человека можно использовать методы традиционной статистики, эвристические решающие устройства на основе экспертных систем, семантический дифференциал, теорию решения изобретательских задач (ТРИЗ), нейронные сети.

Методы математической статистики, эвристические решающие устройства, семантический дифференциал, ТРИЗ, относятся к дискретным методам. Для человека же в большинстве случаев использовать при решении жизненных проблем дискретные методы трудно.

Естественным для человека является использование основных принципов мозга – ассоциативное мышление, использование принципов обучения (самообучения) и адаптации, использование связей «если – то», «посылка – следствие», лежащих в основе распознавания, управления, принятия решений.

Поэтому из различных способов расширения аналитических возможностей человека чаще всего наиболее эффективными при исследовании задач, не имеющих общепризнанного алгоритма решения, является использование нейронных сетей.

Всё, что связано с использованием нейронных сетей получило название нейросетевых технологий, или нейрокомпьютинга.

Нейросетевые технологии не требуют программирования, а предусматривают работу по обучению нейронной сети на специально подобранных примерах.

Основными функциями обучения нейросетей, воспроизводящими работу мозга и ассоциативное мышление являются классификация, узнавание, умение определять сходство и различия.

На этапе обучения формируются основные отношения между входными параметрами и оформляются в незримые таблицы (образы), которые впоследствии будут использоваться при решении задач на сети.

Нейрокомпьютинг предоставляет единую методологию решения очень широкого круга практически интересных задач. Это, как правило, ускоряет и удешевляет разработку приложений.

Нейрокомпьютинг состоит из нескольких разделов:

· конструирование нейрокомпьютеров,

· нейросетевые исследования хозяйственных процессов,

· моделирование интеллекта высшей нервной системы человека.

Конструкторский раздел нейрокомпьютинга.

Содержит модели, методы и алгоритмы, необходимые для создания нейрокомпьютеров. В него входят алгоритмы работы различных конструктивных элементов нейрокомпьютера, например – алгоритмы выполнения различных математических операций с плавающей или фиксированной запятой; выполнения этих операций младшими или «старшими разрядами вперёд»; алгоритмы выполнения таких операций, как дифференцирование, интегрирование, и др; методы преобразования систем дифференциальных уравнений; специфические операции для нейросетевых конструкций, таких, как блок обучения нейросетей, система ассоциативного поиска информации; алгоритмы свёртки, определения близости, умножения и сложения матриц и векторов, транспонирования матриц, вычисления пороговых преобразований, параллельного вычисления табличных функций, и другие.

Нейрокомпьютеры вне зависимости от того, на каких элементах они реализованы, представляют собой специализированные ЭВМ. И как и все ЭВМ они должны иметь блок питания, различные устройства ввода-вывода, блок управления и кроме того, специализированные устройства, обеспечивающие работу нейронных сетей.

Для управления работой всех этих устройств необходима операционная система. Большая часть её нужна для реализации работы технического комплекса – одних только типов устройств ввода-вывода у идеальной нейроЭВМ может быть не менее 6 – для обеспечения работы моделей зрения, слуха, вкуса, осязания, обоняния, вестибулярного аппарата (ответственного за чувство равновесия). Кроме того, могут быть и специфические конструкции, связанные с различными проявлениями интеллекта (концентрацией, воображением, интуицией, и т.д).

Но работа операционной системы этим не ограничивается. Кроме управления устройствами, ОС должна обеспечивать создание приемлемой среды, в которой будут производиться нейросетевые исследования.

Обычно нейросетевые исследования предусматривают выполнение таких видов работ, как

· подготовка исходных данных,

· формирование нейронной сети,

· обучение нейросети, анализ достигнутых результатов и оптимизацию обучения,

· проведение нейросетевого исследования,

· трактовку полученных результатов.

Для выполнения этих работ нужны соответствующие программные средства: нейросетевые пакеты и комплексы программ, модели нейросетевых компонентов, инструменты для проведения нейросетевых исследований.

Конструктивными элементами нейрокомпьютеров являются такие физические компоненты, как нейроны, искусственные нейронные сборки, нейросети, операционные системы, программы для создания нейросреды, нейропакеты. К конструктивным элементам нейрокомпьютеров относятся и алгоритмы выполнения интеллектуальных операций, и типовые сценарии, и модели выполняемых с помощью нейросетей работ. Они характеризуют состав решаемых проблем.

Проблемы создания программного обеспечения нейрокомпьютеров решаются в виде моделирования, создания нейропакетов. Основное внимание при этом уделяется формированию и обучению нейронной сети. А подготовка исходных данных и всё, что касается проведения нейросетевых исследований, постпроцессинговых операций, не удостаивается внимания.

Нейросетевые исследования хозяйственных процессов.

Технология проведения нейросетевых исследований хозяйственных процессов значительно отличается от применяемой в конструкторском разделе. Исследование различных хозяйственных процессов обеспечивается отличными от конструкторских методами, моделями и алгоритмами. Во-первых, сами проводимые операции сильно отличаются. Нужны программные средства для реализации таких операций, как кластеризация, классификация, узнавание, прогнозирование, предсказание. Для их выполнения необходимы комплексы программ, объединённые в специализированные пакеты, так называемые «Нейропакеты», предназначенные для реализации нейропроцессинга, в которые кроме них входят такие программы, как поиск данных, обмен данными, хранение, сбор и преобразование данных.

Впервые искусственные нейросети стали доступны для использования в виде перцептрона, который позволял проводить обучение на примерах, выполнять такие операции, как автоматическую классификацию и прогнозирование.

В первых моделях искусственных нейросетей считалось, что им доступны только эти операции, а даже для обычных арифметических действий они не приспособлены.

Но по мере изучения связанной с мышлением деятельности живых организмов, представления о возможностях нейросетей изменялись.

Появились новые типы нейросетей (сеть Кохонена, RBF, Хопфилда, Хемминга, свёрточные, рекуррентные, рекурсивные и другие) изменились методы их использования (глубокое обучение; свёртка; преобразование знаний, получаемых при обучении нейросетей в правила продукций), изменились и цели проведения нейросетевых исследований (анализ тематической структуры текстов, рисунков, музыкальных произведений, смысловой поиск информации, реализация на их основе экспертных систем с постоянно растущим интеллектом).

Раньше считалось, что основной особенностью искусственных нейросетей является «обучение на примерах». Впоследствии к этой их особенности добавилась возможность моделировать ассоциативную память и использовать ассоциации, моделировать получение новых знаний, извлечение их и представление в виде правил продукции, анализировать тематическую структуру текстов, рисунков, музыкальных произведений, проводить смысловой поиск информации.

Если в первых нейросетевых исследованиях основным инструментом являлся перцептрон, то впоследствии расширились исследования на основе свёрточных, рекуррентных и рекурсивных нейросетей.

Для проведения этих исследований так же, как и раньше, используются модели в виде нейропакетов. К ним добавились программные модели, позволяющие расширить возможности нейропакетов; созданы пространства имён для моделирования нейросетей на различных алгоритмических языках.

Учитывая высокую стоимость коммерческих нейропакетов, стало появляться много freeware программных средств (то-есть программных средств свободного распространения) для проведения нейросетевых исследований: алгоритмические языки и их смеси, пространства имён, другие модели и методы.

В настоящее время для обучения доступны такие бесплатные нейропакеты, как Deductor Academic, НейроПро 0.25, SNNS, Mem-Brain; пространства имён Neuron Dot Net; AForge, AlgLib; пакеты программ Encog, Azur, и др.

Много программных средств разработано на таких алгоритмических языках, как C, C++, C#, Java, Pyton, JavaScript.

Моделирование интеллекта Высшей нервной системы человека.

Третий раздел нейрокомпьютинга «Моделирование интеллекта Высшей нервной системы человека» имеет длинную историю. Осенью 1988 г. было учреждено Международное общество нейросетей (INNS – International Neural Networks Society), которое было предназначено для координации мировой «нейроактивности». Летом 1994 г. этим обществом был проведен Всемирный конгресс по нейронным сетям, на котором были определены следующие направления фундаментальных исследований:

· Биологическое зрение. Работа с объектами зрительной сцены живого мира.

· Машинное зрение. Раздел охватывает аспекты моделирования зрительных функций в технических системах. Особое внимание уделеняется принципам избирательного внимания к компьютерным объектам зрительной сцены.

· Речь и язык. Различные аспекты синтеза и распознавания речи.

· Биологические нейронные сети. Тематика раздела охватывает свойства отдельных нейронов, нейронных сетей управления движением и слухом, аспекты обучения в биологических сетях, а также пути перехода от биологических нейронов к искусственным (кремниевым).

· Нейроуправление и робототехника.

· Обучение с учителем.

· Обучение без учителя.

· Распознавание образов.

· Прогноз и идентификация систем. Для рассмотрения методов кибернетического моделирования сложных систем на базе нейронных сетей.

· Нейронаука о сознании. Аспекты организации и моделирования высшей нервной деятельности.

· Связь науки о сознании с искусственным интеллектом.

· Нечеткие нейронные системы. Построение нейромоделей нечеткой логики.

· Обработка сигналов. Одна из старейших областей приложений нейронных сетей и теории распознавания образов – выделение и анализ свойств сигнала из шума.

· Нейродинамика и хаос. Свойства нейронных сетей, как нелинейных динамических систем.

· Аппаратные реализации. Ключевой вопрос перспективных приложений – новые физические принципы и среды для обработки информации.

· Ассоциативная память.

· Нейровычисления и виртуальная реальность. Возможность применения нейронных сетей и высокопараллельных вычислений на них для создания искусственной реальности: сложная аппаратно-программная система виртуальной реальности моделирует основные сигналы, воспринимаемые человеком от внешнего мира и реагирует на его действия, подменяя собой реальный мир.

· Сети и системная нейронаука. Временное поведению сигналов в нейронных контурах как биологических, так и искусственных сетей.

Конгресс 1994 года успешно состоялся. После него прошли и другие форумы, нейроинформатика пополнилась новыми приложениями.

Согласно «Постановлению СМ РФ» в 2012 году в нашей стране начаты исследования «искусственных когнитивных систем» (ИКС) трёх типов:

· нейроморфные (подобные организации живой нервной системы),

· кортикоморфные (подобные организации коры головного мозга) искусственные нейросети

· генноморфные (подобные генетическим и эпигенетическим механизмам организмов).

Эти модели реализуются на всех технических средствах (платформах) в виде:

· специализированных систем на базе суперкомпьютеров,

· распределенных систем в глобальных и корпоративных компьютерных сетях,

· автономных технических устройств и роботов,

· систем управления крупными технологическими комплексами и соединениями,

· микросистем и нанокомплексов,

· киберорганических систем.

Среди перечисленных трёх разделов нейрокомпьютинга нейросетевые исследования наиболее тесно связаны со вторым разделом «исследованием хозяйственных процессов», в которых производится поиск, оценка и преобразование смысла в обрабатываемой информации, с выполнением умозаключений, с использованием интеллектуальных навыков, включающих в себя такие, как:

· сопоставление сложных объектов и оценку их сходства;

· выделение типового объекта из группы однородных;

· поиск типичных черт, существенных признаков;

· формирование описания типового объекта, выделение его отличительных черт;

· определение понятий (дефиниции);

· выявление причинно-следственных связей;

· интерпретация связей и свойств исследуемых объектов;

· генерация гипотез;

· выявление закономерностей;

· самообучение, адаптация;

· умение делать дедуктивные, индуктивные, традуктивные выводы; и так далее…

В конечном итоге в состав решаемых задач включаются задачи, похожие на темы, определённые Международным обществом нейросетей INNS:

· построение семантической сети;

· построение тематической структуры текстов;

· реферирование текстов;

· гипертекстовая разметка текстов;

· смысловой (семантический) поиск информации;

· перевод на другой язык;

· классификация текстов, видео, звуков;

· аннотирование изображений, текстов.

· построение ассоциативных структур (логов);

· использование ассоциативной памяти разных типов;

· управление динамическими процессами и их анализ (нейросеть – контроллер);

· формирование потребительских комплексов; анализ ассоциаций;

· распознавание аномальной работы технической, гуманитарной, экономической системы;

· реализация «концепции внимания», разделение информации по важности;

· извлечение знаний из весовых коэффициентов;

· хранение информации в виде «ленты памяти» (как в машине Тьюринга);

· построение модулей эпизодической памяти. (Мэри дома. Она вышла во двор. Где Мэри? Во дворе);

· генерация бреда (контекст и окружение), генерация вариаций (музыкальных, сказочных);

· стилизация текста, музыки, графики.

· автоматическое составление программы (типа ПРИЗ ЕС);

· планирование действий (например, по аналогии);

· выделение содержания, смысла, стиля. Перенос их, смешивание;

· сохранение входных образов благодаря клеточному состоянию в LSTM;

· забывание;

· использование Слоя обратной связи; Рекуррентного слоя; Контекста;

· отрицательная и положительная обратная связь (затухание и генерация);

· ассоциативная память;

· ассоциативное мышление;

· анализ динамических процессов, узнавание в них информационных конструкций, смысла.

Анализ перечисленных задач обращает внимание на то, что главные области их применения должны быть требовательны к контексту и/или временной зависимости в данных. Поэтому рекуррентные нейронные сети (РНС) получают широкое использование, для анализа изображений, текста, музыки, смысла. В настоящее время эта область обычно воспринимается в контексте сверточных нейросетей, однако и для РНС здесь находятся задачи. Их архитектура позволяет быстрее распознавать детали, основываясь на контексте и окружении.

В состав Учебно-Методического Комплекса включены 4 учебные программы:

1/ «Основы теории искусственных нейронных сетей»

2/ «Нейросетевые исследования хозяйственных процессов»

3/ «Конструирование искусственных нейронов и нейронных ансамблей»

4/ «Нейросетевое программирование»;

контрольно-измерительные материалы для них и методическая литература в виде pdf-файлов издательства Ридеро для изучения каждой части дисциплины «Нейросетевые технологии» [8—14].

В данной книге для выяснения отличительных особенностей естественного и искусственного интеллекта рассматривается три раздела:

1. естественный интеллект;

2. искусственный интеллект;

3. направления интеллектуального совершенствования нейросетевых конструкций при обучении в магистратуре.

Естественный интеллект

Понятие «интеллект» имеет связь с мышлением, и иногда сопровождается словом «искусственный». Это отличает его от другого понятия – естественного интеллекта. А естественный интеллект – это понятие, присущее человеку и другим живым объектам, хотя «другим» в гораздо меньшей степени, значительно большим именно у человека.

Что же характеризует это понятие? Сначала подумаем, что собой прелставляет такое понятие, как «интеллект» и чем естественный интеллект отличается от искусственного?

Что собой представляет естественный интеллект человека? Носителем его является физическое тело человека или что-то другое? Как этот носитель устроен?

До нас дошли попытки решить эти проблемы в индийской и древнегреческой философии, при более глубоком исследовании обнаружилось, что эта же проблематика была в центре внимания суфизма внутри ислама, нейдана внутри даосизма, каббалы внутри иудаизма, дзен внутри буддизма, исихазм внутри православия.

Наиболее близкое знакомство с понятием «Естественный Интеллект» в наших условиях можно получить при ознакомлении с системой ДЭИР (Дальнейшего ЭнергоИнформационного Развития), разработанного в Советском Союзе научным коллективом под руководством Д.С.Верищагина.

Система ДЭИР – это целостная система достижения гармонии и здоровья, уникальных приемов и технологий использования скрытых способностей человека. Разрабатываемая в рамках секретных программ по особому заказу высшего партийного руководства СССР в конце восьмидесятых годов, она основана на методиках сознательного управления энергетическими потоками, использования техник, которые освобождают скрытые созидательные силы человеческого организма.

По мнению Д.С.Верищагина весь мир – это энергия. Его явления – это энерго-информационные процессы. Причём, наш материальный мир – это далеко не только видимые глазу предметы. Сознание тоже является материей – это конкретное, объективно существующее материальное энергоинформационное поле.

Лаборатории, занимающиеся психотронными программами, есть в каждом государстве и являются неотъемлемой частью разведывательно-диверсионных учереждений.

«Психотронное оружие», говорит Д.С.Верищагин [1], – это и был проект моей группы, немного «полусерьезный» в глазах ортодоксальных военных и поэтому не закрытый всеми возможными грифами по всей строгости закона (хотя, я знаю, существовала еще одна группа, работавшая в Москве над аналогичной тематикой в обстановке строгой секретности, а посему детали мне неизвестны).

Возможно, что эта «еще одна группа, работавшая в Москве» в настоящее время проявилась в Киеве и известна как система В.М.Бронникова («Информационное психофизиологическое развитие и преобразование человека для новой реальности» [32]: https://www.neoman.com.ua).

Следующий мой проект, говорит Д.С.Верищагин, назывался «Пастырь» и выполнялся по заказу непосредственно ЦК КПСС. Суть его была изложена всего на нескольких десятках листков – поразительная краткость по сравнению с сотнями папок проекта «Дружба» – и сводилась к следующему. В условиях падения патриотичности советского народа высшее партийное руководство озаботилось проблемой выдвижения из своих рядов лидера. Это могло исправить ситуацию – такой человек, как Сталин, Ленин или Гитлер, воздействующий на массы не авторитетом своего поста, но личной харизмой, был бы способен объединить страну. Конечно, если бы ему помогали такие же сильные функционеры, которые проникали бы в самые души людей, чьего приказа невозможно было бы ослушаться.

В нашу задачу входила разработка системы приемов, при помощи которых один человек мог бы управлять многими – но так, чтобы те ничего не заподозрили. В состав группы входили: Петр Келдоровский, Алексей Грыщак, Сергей Десменцов и Я (Дмитрий Верищагин).

По инициативе Келдоровского мы ввели в проект элементы, связанные с продлением жизни и сохранением здоровья. Нами двигало просто стремление к совершенству – ведь вопросы поддержания здоровья при умении управлять собственной энергетикой настолько элементарны, что никто из посвященных не озабочен этими проблемами всерьез! Но мы ориентировались на людей неподготовленных, которые придут после нас.

Мы разработали и исследовали систему подъема личного магнетизма – харизмы, заставляющей обычных людей стремиться к подчинению.

Келдоровский с Десменцовым отдельно разработали систему повышения энергетики души и применения веры как инструмента для управления – не людьми, а явлениями окружающего мира. Когда к ним присоединился Грыщак, они в совершенстве освоили приемы жизни после смерти.

В 1988 году система ДЭИР окончательно оформилась в том виде, в котором мы ее вам представляем. Гриф секретности с проекта был снят, и к обучающимся присоединились посторонние люди.

Потом, в 1992 году, наступило затишье. Келдоровский и я подали рапорты об увольнении. Тут и начались наши несчастья. Я первым распознал, что мы оказались под прицелом психотронного оружия, примененного с дьявольской изощренностью и огромной поражающей силой. Петр погиб от сердечного приступа, а Алексея Грыщака в 1994 году свела в могилу опухоль. Но уволиться нам все же дали. Помогли хорошо освоенные нами приемы защиты, позволившие выдержать то, чего не мог бы вынести ни один неподготовленный человек.

Сергей Десменцов, воспользовавшись неразберихой и войнами на территории бывшего Советского Союза, смог уехать в Америку… А я остался, потому что не могу жить не в родной стране. Но с людьми я больше почти не встречаюсь. Кроме того, передо мной стоит еще одна задача.

Однажды, когда мы осознали всю глубину разработанной нами системы ДЭИР и поняли, что эти знания слишком важны, чтобы их потерять, мы обменялись доверенностями, позволяющими любому из нас действовать от лица остальных.

Мы не могли позволить обретенным знаниям, способным дать надежду всему человечеству, умереть вместе с нами.