Методология построения распределенных сетей передачи, обработки и хранения данных: анализ и выбор рациональной структуры. Монография. Том 1

Монография рекомендуется к публикации.

Рецензия доктора технических наук, профессора кафедры системного анализа и исследования операций Института информатики и телекоммуникаций Сибирского государственного университета науки и технологий им. Н. Ф. Решетнева А. А. Ступиной

Рецензия Заведующего лаборатории искусственного интеллекта, профессора кафедры информатики Института космических и информационных технологий Сибирского федерального университета, д.т.н. О.А. Антамошкина

Рецензия Ведущего научного сотрудника лаборатории проблем компьютерной безопасности Санкт-Петербуржского Федерального исследовательского центра Российской Академии наук, доктора технических наук, профессора И. Б. Саенко

Рецензия Заместителя генерального директора по науке ООО «НТЦ АРГУС», д.т.н., профессора, Б. С. Гольдштейна

Актуальность: определяется необходимостью совершенствования системы управления социально-экономического развития субъектов Российской Федерации, требующих оперативной оценки текущего состояния телекоммуникационной инфраструктуры. Существующая система информационного обеспечения управления не отвечает требованиям оперативности и полноты представляемой информации и таким образом не обеспечивают требуемые качественные показатели управления и оперативности принимаемых решений.

Особенностью существующих региональных систем обработки и хранения информации является их разнородность, как по составу технических средств, программного обеспечения, так и по форматам и протоколам передаваемой информации. Кроме этого, существующие сети обработки и сбора информации являются разнородными по составу используемых технических средств передачи информации. Все это вызывает существенные трудности в организации единой сети сбора обработки и хранения информации в интересах управления народным хозяйством в регионах страны. Указанные особенности определяют несомненную актуальность темы исследования.

В первом и втором томах монографии автор дает анализ и определяет общие тенденции развития сетевых технологий вычислительной техники и средств коммутационного обеспечения, применяемые в настоящее время в передовых технологиях сетевой обработки информации. Абсолютно справедливо автором указывается на то, что основные тенденции, связанные с развитием сетевых технологий сбора и обработки социально-экономической информации связаны с существующими тенденциями технологических проектов, определяемых как «сети следующего поколения».

Автор дает критический анализ существующих методик проектирования региональных сервисных сетей передачи обработки и хранения данных (РССХД), указывает на существенные недостатки в выборе топологии сетей, системы информационного обмена и модельного обеспечения функционирования сетей в целом. В частности, следует согласится с автором, что существующие методы топологического выбора сетей не учитывают информационную взаимосвязанность узлов, их иерархическую соподчиненность по агрегируемой информации.

Кроме этого, справедливо указывается необходимость отдельного учета в выборе технических средств и программного обеспечения сетей информационного обмена, предполагая их необходимую иерархическую взаимосвязанность узлов сети по характеру обрабатываемой информации. Также следует считать справедливым указание автора на то, что в вопросах топологического анализа узлов сети на современных системах не учитывается их кластерный характер взаимосвязанности в обработке и агрегировании информации.

В целом выполненный анализ позволил автору сделать необходимые выводы о доработке существующих методик, определить научную проблему, цель и задачи исследования, изложенного в первом и втором томах монографии.

Также автором определены основные направления топологического синтеза РССХД. Для этого на основе достаточно подробного анализа существующих методов топологического синтеза сетей им разработана методика оптимального построения РССХД на основе определения множества альтернативных деревьев организации связи узлов, учитывающая их кластерный характер взаимосвязи, возможности организации связи и степень семантической близости обрабатываемой информации.

Для решения этих задач автором введено новое понятие «необходимой связности узлов». Введение этого понятия дало возможность автору реализовать процедуры автоматической генерации вертикальной организации сети на основе расчета порядковой функции графа необходимой связности узлов сети.

Такой подход в целом дает возможность осуществить генерацию деревьев связности РССХД и выбрать рациональный вариант организации сети. Для этого автором предлагается использовать методы векторной оптимизации, применение которых обеспечивает учет многоцелевого характера функционирования сети, ее технической и программной реализации. Вместе с тем, в данной главе автором не прописывается четко процедура перехода от альтернативных деревьев организации, к их аппаратно-программному обеспечению функционирования. Кроме этого, предлагаемая им методика кластеризации узлов не обеспечена соответствующим выбором аппаратно-программных средств их функционирования.

В монографии автором дано описание методик выбора операционных характеристик «сетей нового поколения», исходя из основного критерия эффективности функционирования сети по параметру пропускной способности. В частности, им описаны: методические подходы к выбору пропускной способности каналов связи; определения оптимальной загрузки и производительности сервера, выбора протокольных параметров и оборудования передачи данных. Кроме этого, в этой же главе систематически изложена вся процедура проектирования сети с учетом определения ее операционных характеристик.

В целом предложенные методики позволяют решать указанные задачи и составляют единое целое. Однако, автором недостаточно полно методически показана взаимосвязь методик топологического анализа и последующей оценки и выбора операционных характеристик «сетей нового поколения» или РССХД.

Автором предлагается комплекс методик обоснования рационального варианта организации информационного обмена. Им определены требования к организации информационного обмена в РССХД, исходя из характера и особенностей решаемых задач. В этом разделе автором совершенно справедливо указывается на то, что существующие тенденции организации управления социально-экономического развития регионов обеспечиваются на основе строгой иерархической взаимосвязи уровней управления, состав циркулирующей информации в которых существенно отличается по степени агрегирования. Именно этот фактор определил необходимость выделения оперативного, системного и внешнего уровней взаимодействия отдельных узлов сети, требующих различных способов организации информационного обмена. В целом для решения подобных задач автором представлена методика выбора сети информационного обмена на основе применения векторных критериев оптимизации.

Автором рассмотрены результаты практического внедрения методик путем сравнения характеристик существующей и модернизируемой на основе применения предложенного методического обеспечения РССХД. Показано, что применения методического аппарата позволяет существенно улучшить характеристики сети и повысить однородность загрузки оборудования.

Основными научными результатами, полученными лично автором, являются:

1. Модель функционирования региональной сети, учитывающая структуру сети, операционные характеристики сети хранения информации и системы информационного обмена, топологию и характеристики сети связи;

2. Комплекс методик выработки альтернативных вариантов организации региональной сети передачи, обработки и хранения данных, в рамках которого разработаны:

· методики вертикальной и горизонтальной структуризации узлов сети на основе обработки матрицы необходимой связности;

· методика интегральной оценки связности узлов сети с учетом их необходимого информационного взаимодействия, связности решаемых задач и параметров каналов связи.

3. Комплекс методик выбора рациональной структуры сети передачи, обработки и хранения данных, в рамках которого разработаны:

· методика выбора рациональной структуры региональной сети передачи, обработки и хранения данных и пропускной способности каналов связи;

· методика определения загрузки и производительности сервера;

· методика определения и оптимизации операционных характеристик региональной сети хранения на протокольном уровне, позволяющая учесть взаимосвязь основных сетевых механизмов процессов передачи данных в условиях использования разнородных каналов связи.

4. Методика выбора рационального варианта системы информационного обмена в распределенной сети передачи, обработки и хранения данных.

5. Разработано научно обоснованное техническое решение – операционная система «PyrOS» для аппаратно-программных межсетевых экранов, маршрутизаторов, коммутаторов и систем предотвращения сетевых вторжений, внедрение которого вносит значительный вклад в развитие экономики страны (Свидетельство об официальной регистрации программы для ЭВМ №2005612532).

Научная новизна исследований заключается в следующем:

1. В комплексе методик выработки альтернативных вариантов организации региональной сети, в отличие от существующих, учитывается степень необходимой связности узлов сети, интегрально оценивающей степень информационной взаимосвязанности решаемых узлами задач и параметры сети связи, определяемые, как степень их соответствия требованиям информационного обмена. Такой подход дает возможность учесть широкий спектр действующих на систему факторов, оценка степени которых осуществляется на основе применения метода анализа иерархий.

2. В методике вертикальной структуризации на основе применения алгоритма расчета порядковой функции графа реализуется процедура построения эквивалентного произвольному ациклическому графу связности узлов сети иерархического графа, определяющего порядок распределения узлов сети по иерархическим уровням. При пошаговом снижении требований к учету связности узлов сети при таком подходе представляется возможным определить все допустимые варианты иерархического распределения узлов сети, а при условии их кластеризации (горизонтальной структуризации) на каждом уровне сформировать предложения по выбору вариантов аппаратно-программного обеспечения функционирования сети.

3. В комплексе методик рациональной структуры сети передачи, обработки и хранения данных в отношении каждого варианта иерархического представления структуры сети обеспечивается выбор операционных характеристик, а также топологии и пропускной способности каналов связи с учетом влияния системы информационного обмена и ресурсных возможностей в условиях использования разнородных каналов связи. Полный анализ характеристик каждого варианта организации сети позволяет с помощью разработанной модели функционирования региональной сети оценить эффективность его функционирования и далее выбрать рациональный вариант.

4. В методике выбора рационального варианта построения системы информационного обмена отбор вариантов осуществляется на основе векторного критерия оптимизации в факторном пространстве «эффективность-стоимость». Используется метод скаляризации целевой функции с неравнозначными критериями.

Практическая значимость: в результате проведенных в рамках данной работы исследований сформирована алгоритмическая и методологическая основа синтеза региональных распределенных сетей, как «сетей нового поколения», в условиях использования разнородных каналов связи.

Вместе с тем в работе отмечены следующие недостатки:

1. Автор предлагает решать задачу выделения сильносвязных узлов сети на основе применения аппарата структурных чисел Беллерта. Применение этого аппарата в целом оправдано. Алгоритм оригинален. Однако он хорошо работает только в условиях бинарных значений связности узлов. Учитывая это, автор вводит в рассмотрение весовые коэффициенты (раздел 2.4) и не раскрывает их содержание и взаимосвязь с параметрами необходимой связности, хотя она очевидна.

2. Автор вводит понятие «параметр необходимой связности» учитывая в едином критерии информационную связность узлов и возможности реализации сети связи между ними. В целом такое представление связности во многом оправдано. Однако, неясно, как при этом выбираются весовые коэффициенты, что может быть положено в основу их выбора.

3. Автор долго не публиковал монографию. Многие из представленных расчетов не являются актуальными.

Тем не менее, сделанные замечания вовсе не умаляют высокой оценки исследования в целом. Автору рекомендуется провести работу по изучению новой концепции проектирования интеллектуальных сетей или, так называемых, «сетей будущего», предложенных Международным союзом электросвязи – ITU в своих рекомендациях и стандартах.

Вывод

Разработанное автором методическое обеспечение может быть использовано при разработке и реализации сетевых проектов целевых программ цифровизации субъектов Российской Федерации. Его применение позволит ускорить процесс проектирования, снизить финансовые и временные затраты при выборе приемлемого решения, построить или модернизировать региональную сеть, отвечающую предъявляемым требованиям к передаче, обработке и хранению данных.

Несомненно, монография имеет достаточно весомое научное значение, соответствует требованиям к издаваемым монографиям (научным изданиям) ВАК и будет интересна для специалистов работающих в области информационных технологий, инженеров и ученых занимающихся проблемами исследования и проектирования распределенных вычислительных систем и сетей передачи данных, а также будущим аспирантам, работающим по научным специальностям 2.3.1. «Системный анализ, управление и обработка информации, статистика» и научной специальности, Паспорт специальности 2.3.2. Вычислительные системы и их элементы, 2.3.3. «Автоматизация и управление технологическими процессами и производствами» и 2.2.15. Системы, сети и устройства телекоммуникаций.

Монография рекомендуется к публикации.

Введение

В настоящее время в России происходит бурный процесс развития информационных технологий проектирования и внедрения компьютерных телекоммуникационных сетей. Одни сети имеют глобальный характер и топологию, другие являются корпоративными или локальными. Характер роста указанных сетей является весьма стохастичным, база средств вычислительной техники, на которой они строятся, гетерогенна. Вместе с тем данные сети имеют мощную тенденцию к расширению и объединению, образуя в конечном итоге интегрированную территориально-распределенную сеть, входящую частично в мировую сеть Internet.

В данной работе в качестве объекта исследования рассматривается региональная сеть передачи, обработки и хранения социально-экономической информации (региональная сеть хранения данных, РСХД), как совокупность технологий построения распределенных сетей и сетей хранения, построенных с применением SAN (Storage Area Network) и NAS (Network Attached Storage). Узлами РСХД являются административный центр и районные центры, представляющие собой сложные аппаратно-программные комплексы, и соединяющие их в единую систему разнородные каналы передачи информации.

Основной задачей РСХД является передача, обработка и хранение больших массивов социально-экономической информации, как основной составляющей всего информационного пространства регионов Российской Федерации.

На данный момент, сетевые территориально распределенные сети занимают важное место в развитии региональной науки и техники, образовании и культуры, здравоохранении, торговли и т. д. Это вызвано, в первую очередь, интенсивным ростом потребностей в распределенных прикладных вычислениях, информационных сервисах, системах электронного документооборота, дистанционного обучения, торговли, использованием почтовых служб, сервисов безопасности передачи, хранения и восстановления данных, и т. д. С другой стороны, недостаток финансирования сетевых проектов со стороны государственных органов, ограниченность средств телекоммуникационных компаний, необходимых для создания единой интегрированной высокоскоростной среды, пока не позволяют создать мощную основу для развития крупной сети регионального масштаба (хотя работы в этом направлении проводятся). Вместе с тем надо, быть готовым к решению задач проектирования и повышения эффективности функционирования и производительности региональных территориально распределенных сетей, на базе уже существующих телекоммуникационных решений, как одной из составляющих общероссийской телекоммуникационной инфраструктуры.

В общем случае моделируемая система РСХД характеризуется территориально распределенной структурой. Несмотря на то, что важнейшим показателем потенциальных возможностей ресурсов сети является пропускная способность центров обработки, передачи и хранения данных, управляемых протоколами TCP/IP, iFCP, iSCSI и InfiniBand, применяемые в настоящее время модели описания процессов сетей SAN являются недостаточно адекватными для проектирования сетей класса РСХД. Кроме того, анализ существующих подходов к решению задачи оптимизации параметров РСХД показывает, что ряд существенных черт, факторов и механизмов, определяющих эффективность функционирования сети, необоснованно упрощается. Таким образом, возникает потребность в создании более совершенных моделей описания процессов функционирования РСХД и методах выбора оптимальных решений, что должно позволить оценить или сформировать набор проектов сетей хранения с тем, чтобы обеспечить возможность выбора приемлемого варианта системы.

Целью работы является разработка методики выбора рациональной структуры региональной сети передачи, обработки и хранения данных в условиях использования разнородных каналов связи с целью повышения производительности, а как следствие, ее эффективности функционирования, посредством выбора методов и совершенствования алгоритмов построения распределенных сетей.

Для достижения поставленной цели в работе решаются следующие основные задачи:

– провести анализ технологий и особенностей построения распределенных сетей хранения данных;

– исследовать модели и методы проектирования распределенных сетей передачи данных;

– предложить комплексную модель региональной сети, представляющую собой совокупность модели функционирования центра обработки информации и системы в целом;

– разработать алгоритмы повышения производительности, а как следствие, и эффективности функционирования системы, и методику выбора рациональной структуры региональной сети передачи, обработки и хранения данных;

– провести анализ и предложить методику определения и оптимизации операционных характеристик сети на протокольном уровне, позволяющую учесть взаимосвязь основных сетевых механизмов процессов передачи данных в условиях использования разнородных каналов связи для региональной сети передачи, обработки и хранения данных;

– провести апробацию результатов исследования;

– разработать предложения и рекомендации по выбору рациональной структуры при проектировании РСХД и повышению эффективности ее функционирования.

Методы исследования

При выполнении работы использовались методы теории вероятностей, теории массового обслуживания, марковских процессов и методы математического моделирования.

Научная новизна работы состоит в следующем:

– проанализированы новые технологии и исследованы подходы к построению распределенных сетей хранения данных и, как следствие этого, предложен подход к выбору рациональной структуры при проектировании региональной сети передачи, обработки и хранения данных;

– разработана модель функционирования региональной сети хранения;

– предложены алгоритмы повышения эффективности функционирования РСХД, используемые при создании структуры, выбора оптимальной пропускной способности каналов, определения характеристик сети хранения и их оптимизации, выбора аппаратного обеспечения на этапе технического проекта;

– разработана методика анализа функционирования и выбора рациональной структуры региональной сети передачи, обработки и хранения данных;

– предложена методика определения и оптимизации операционных характеристик региональной сети хранения на протокольном уровне, позволяющая учесть взаимосвязь основных сетевых механизмов процессов передачи данных в условиях использования разнородных каналов связи.

Достоверность и обоснованность работы подтверждены теоретическими разработками ведущих ученых, которые легли в основу работы, а так же результатами практического использования разработанной методики.

Практическая значимость работы

В результате проведенных в рамках данной работы исследований сформирована алгоритмическая и методологическая основа проектирования региональных распределенных сетей, в условиях использования разнородных каналов связи.

Предложенная методика может быть использована при разработке и реализации сетевых проектов целевых программ информатизации регионов РФ, что позволит ускорить процесс проектирования, снизить финансовые и временные затраты при выборе приемлемого решения, построить или модернизировать региональную сеть, отвечающую предъявляемым требованиям к передаче, обработке и хранению данных.

Апробация работы

Основные положения, теоретические выводы и практические рекомендации работы докладывались автором на следующих всероссийских и международных конференциях: «Математические методы в технике и технологиях» (г. Санкт-Петербург), «Социокультурная динамика: философские и социологические проблемы» (г. Тверь), «Современная образовательная среда» (г. Москва), «Высокопроизводительные параллельные вычисления на кластерных системах» (г. Нижний Новгород), на Российском Форуме разработчиков и администраторов информационных систем на базе технологий IBM Lotus Domino. (г. Москва).

Публикации

По результатам исследований опубликовано девять печатных работ12,13,14,15,16,17,18,19,20.

Структура работы. Работа состоит из введения, четырех глав, заключения, списка литературы и приложения.

Глава 1

Анализ проблем повышения эффективности функционирования региональной сети передачи, обработки и хранения данных (РСХД): Аналитический обзор и Постановка задачи

1.1 Актуальность проектирования и повышения эффективности региональных распределенных сетей

Информационные ресурсы являются одним из важнейших видов ресурсов для всех без исключения органов управления, в том числе и для областных органов государственной власти. Внедрение информационных систем представляет в настоящее время процесс, который происходит и в России, и за ее пределами, и отражает динамику и сложность экономики, расширяющиеся международные связи и кооперацию по решению ряда экономических, социальных и политических задач [21,22].

Анализ ситуации в регионах РФ показал, что в большинстве из них сетей передачи, обработки и хранения данных, в полном понимании рассматриваемой в работе концепции региональных сетей не существует. Например, в более чем 50% районах Тверской области отсутствуют высокоскоростные каналы передачи данных, более 80% устаревшего сетевого и серверного аппаратно-программного обеспечения и т. д. [23].

Во многих странах создана и действует информационная индустрия с мощной инфраструктурой, обеспечивающей необходимую поддержку большого числа баз данных о различных видах деятельности общества на базе широкого использования технологий распределенных сетей хранения данных – SAN и NAS.