Мультимедиа технологии. Часть 1. Основы Мультимедиа технологий

Е. В. Нужнов

Мультимедиа технологии. Основы мультимедиа технологий учебное пособие

Введение

Предмет, цель и задачи дисциплины

Предмет изучения – основные виды современных и перспективных мультимедиа (ММ) технологий.

Цель изучения – получение знаний основ ММ технологий, построения и функционирования аппаратных и программных средств их поддержки, а также возможностей их использования в профессиональной деятельности.

Поскольку возможности ММ технологий в значительной степени определяются свойствами используемых средств вычислительной техники (ВТ), поддерживающих их приложений и программных систем (ПС), изучению соответствующих аппаратных средств и ПС в рассматриваемой дисциплине уделяется главное внимание.

Задачи изучения. В результате изучения дисциплины студенты должны:

ЗНАТЬ:

◆ назначение, функции, виды, классификацию, принципы построения и режимы функционирования различных составляющих ММ (ММ компонентов);

◆ средства взаимодействия пользователя с ММ компонентами;

◆ свойства и возможности известных и перспективных технологий ММ;

◆ возможности и особенности применения ММ технологий в профессиональной деятельности;

УМЕТЬ:

◆ квалифицированно работать на персональном компьютере в аппаратно-программной среде поддержки ММ и с ПС ММ;

◆ оптимально распределять и использовать ресурсы вычислительного комплекса для ресурсоемких средств и технологий поддержки ММ;

◆ эффективно организовать процессы разработки ММ компонентов, электронных информационных и образовательных ресурсов и программных средств компьютерного обучения;

ИМЕТЬ ПРЕДСТАВЛЕНИЕ:

◆ о возможностях перспективных ММ сред, таких как гипермедиа, экспертмедиа, виртуальная реальность, интерактивные трехмерные представления и интеллектуальные действа – игры, фильмы и т.п.;

◆ о многообразии программных средств поддержки ММ компонентов и разработки ММ информационно-образовательных ресурсов и программ.

При изучении дисциплины предполагается знание студентами основ информатики, аппаратной организации ЭВМ, персональных компьютеров (ПК) и периферийных устройств, операционных систем (ОС), компьютерных сетей, элементов компьютерной графики.

Программа курса рассчитана на 180 часов, из них: 90 часов аудиторных занятий (36 часов лекций).

Лабораторные работы в объеме 54 часа проводятся в классе IВМ-совместимых сетевых ПК в среде ОС Microsoft Windows 7/8/10, поддерживающих среду ММ и Internet. Темы лабораторных работ приведены в Приложении.

Структура дисциплины

Введение.

1. Основы мультимедиа технологий.

2. Виртуальная реальность и другие комбинированные среды.

3. Создание мультимедиа продуктов.

4. Применение мультимедиа технологий в профессиональной деятельности.

Заключение.

Представление на компьютере разнотипной и разноформатной, постоянно развивающейся и изменяющейся, как правило, достаточно сложно структурированной информации с использованием средств современных и перспективных информационных и телекоммуникационных технологий стало возможным, именно благодаря появлению в свое время специализированной технологии мультимедиа. Именно поэтому в настоящее время трудно найти область знаний, для которой не существовало бы аппаратных средств ММ, а также электронных средств ее поддержки: разнообразных информационно-образовательных ресурсов, энциклопедий, руководств, справочников и учебных пособий, сочетающих текст, статические иллюстрации различного вида (рисунки, таблицы, фотографии, слайды), видеофрагменты, анимации и другие динамические аудиовизуальные представления, связанные по смыслу между собой. Значительная часть подобных продуктов размещена в Internet, и она постоянно растет и совершенствуется. Можно констатировать факт создания и распространения развиваемых типовых информационно-образовательных гипертекстовых и ММ продуктов. Подобные развиваемые продукты может дорабатывать уже сам пользователь. Например, преподаватель может развивать и настраивать их с учетом специфики своего учебного процесса. Более того, в подобных продуктах имеются средства пополнения информационных материалов и самими пользователями.

Материал первой части учебного пособия является ярким примером того, как вчера самые передовые, уникальные и завораживающие, спорные и поначалу даже не признаваемые пользователями, экспериментальные и новаторские информационные технологии ММ сегодня становятся общепринятыми, стандартными, необходимыми. И нам все чаще кажется, что они использовались всегда, мы часто забываем, какой путь прошли их разработчики для того, чтобы эти технологии стали всеобщим достоянием.

Мы видим сегодня, как сместились акценты в применении перспективных информационных технологий ММ: то, что вчера было главной проблемой, сегодня стало обыденной реальностью. Это произошло потому, что увенчались успехом колоссальные усилия разработчиков аппаратного обеспечения компьютеров, разнообразной периферийной и сетевой, а также нетрадиционной или даже экзотической аппаратуры, резко усилившей возможности компьютеров для отображения информационных ММ сред и эффективного взаимодействия пользователя с ними.

Несомненно, важна в развитии технологий ММ и роль разработчиков ОС и ПС поддержки ММ, поскольку именно они первыми связали новые возможности перспективной аппаратуры с режимами работы ОС и обеспечили возможности эффективного функционирования ПС поддержки ММ.

Можно не запомнить детально всех сегодняшних возможностей и особенностей применения отдельных изучаемых ММ компонентов и соответствующих информационных технологий. Гораздо важнее понять их идеи, основы, компоненты и главные свойства, общие закономерности их построения, источники повышения эффективности применения и тенденции дальнейшего развития. Это позволит в будущем уже достаточно легко самостоятельно осваивать новые информационные технологии и ММ средства, отслеживать их взаимосвязи.

Особенности дисциплины

Главная особенность заключается в том, дисциплина является глубоко синтетической и интегрированной. Она сочетает физические и технические, технологические и информационные, аппаратные и программные, педагогические и социальные аспекты рассмотрения ММ.

В рассматриваемой дисциплине всесторонне изучаются различные составляющие ММ. Причем для каждого ММ компонента выбрана следующая последовательность изучения:

1) (Модуль 1) понятие и определение ММ, особенности, классификация ММ компонентов;

2) информационные основы, файлы поддержки ММ компонентов;

3) физические основы, аппаратура, функционирование средств поддержки ММ;

4) (Модуль 2) программы создания и редактирования ММ компонентов;

5) специфичные технологии поддержки ММ средств и компонентов;

6) проявление ММ в инструментальных интегрированных средах разработчика ММ продуктов;

7) проявление в ММ продуктах профессионального назначения, электронных образовательных ресурсах и программных средствах компьютерного обучения.

В то же время в процессе изучения материала дисциплины следует не забывать о том, что в полной мере роль каждого ММ компонента раскрывается лишь при совместном его использовании со всеми остальными ММ компонентами. И только в этом случае проявляются дополнительные качества комплексного воздействия ММ на различные каналы восприятия человека, что позволяет повысить эффективность образовательного процесса с использованием ММ технологий.

Дисциплина затрагивает вопросы создания ММ продуктов: программы создания и редактирования ММ компонентов, этапы и специфичные технологии поддержки.

Не следует забывать, что центральную роль при разработке или выборе определенного метода создания ММ продукции играют человеческие ощущения и их анализ, поскольку именно для человека и создаются эти технологии. С другой стороны, постоянный поиск новых технологий порождает современные способы воздействия на ощущения человека. Возникают новые способы передачи ММ сигналов, новые способы их восприятия и обработки, новые ММ культуры [1].

Особое внимание в рассматриваемой дисциплине уделено вопросам применения ММ технологий в профессиональной деятельности. Как известно, в основе любой профессиональной деятельности лежат процессы повышения эффективности работы с растущим потоком разнородной информации и описывающих способы ее представления, обработки, преобразования, ввода-вывода и т.п. По сути это образовательные процессы. Поэтому при классификации информационно-образовательных ресурсов выделены и детализированы современные и перспективные электронные информационно-образовательные ресурсы и программные средства компьютерного обучения. Обсуждены особенности применения ММ технологий в обучающих системах и примеры реализации обучающих систем с использованием ММ средств.

При проектировании и разработке ММ средств каждый выразительный аспект этой продукции должен стать результатом продуманного решения, осознанно связанного с максимально эффективным способом воздействия на ощущения человека [1].

К сожалению, по рассматриваемым ниже темам столь сложной, интенсивно развивающейся, многогранной и синтетической дисциплины отсутствует единый, все охватывающий учебник, а материалы зачастую разрознены, аппаратные и программные средства поддержки быстро устаревают. Поэтому автор выражает искреннюю признательность авторам многочисленных упомянутых публикаций, полезные сведения и отдельные иллюстрации из которых использовались при подготовке настоящего учебного пособия. В его основу положены материалы из [2], совершенствование, дополнение и уточнение которых, ввиду развития ММ технологий и роста числа публикаций, постоянно продолжается.

Растущая сложность изучения рассматриваемой дисциплины в последние годы связана с тем, что скорость развития и совершенствования аппаратных и программных средств поддержки мультимедиа технологий, как и число соответствующих продуктов, постоянно и все более интенсивно увеличивается, расширяются возможности и сферы их применения. Однако, отмеченные факторы не должны останавливать будущих специалистов, поскольку вместе с ними все больше проявляются актуальность и даже необходимость изучения все новых, увлекательных и завораживающих мультимедиа технологий будущего.

Модуль 1

Основы мультимедиа технологий

Чтобы эффективно использовать современные и перспективные компьютерные и информационно-коммуникационные технологии, как в повседневной жизни, так и в образовании, следует обратить внимание на различные каналы человеческого восприятия и их особенности. В первую очередь, это зрительный и слуховой каналы, по которым проходят самые важные и информативные для человека аудиовизуальные воздействия. Причем в этом плане вызывают интерес не только общие психофизиологические особенности человека, а еще и возможности и особенности человеческого восприятия в отдельных каналах. Но человек умудряется использовать эти и другие (все и без того сложные) каналы восприятия еще и совместно, интегрируя результаты воздействий, работая в среде ММ. Таким образом, перед обучаемыми стоит задача вначале выявить и изучить самодостаточные компоненты ММ (аудио, видео, анимации и др.), их информационные, физические основы и соответствующие технологии, представление, аппаратуру и программное обеспечение поддержки, создание, функционирование и развитие, после чего продолжить изучение вопросов их комплексного использования, в том числе и в различных информационных средах (гипермедиа, экспертмедиа и др.).

Изучение программных средств создания и редактирования компонентов ММ открывает новые возможности применения ММ в практических разработках.

Комплексная цель и задачи изучения модуля

Цель модуля 1 – дать развернутое представление о мультимедиа технологиях, охватывающее основные понятия и определения, составляющие (компоненты) ММ, их особенности и классификации, информационные основы и файлы, а также физические основы и аппаратуру поддержки, функционирование и возможности использования.

Успешное изучение учебных материалов позволит продемонстрировать следующий уровень подготовки, позволяющий

Знать назначение, функции, виды, классификацию, принципы построения и режимы функционирования различных ММ компонентов; средства взаимодействия пользователя с ММ компонентами; свойства и возможности известных и перспективных технологий поддержки звука, видео, анимации; основы гипермедиа;

Уметь квалифицированно работать с ПС ММ; оптимально распределять и использовать ресурсы для средств ММ; эффективно организовать процессы разработки ММ компонентов образовательных систем;

Иметь представление о развитии аудиовизуальных средств и технологий, перспективных возможностях гипермедиа и экспертмедиа;

Владеть ключевыми понятиями, такими как: мультимедиа, синергетический эффект, интеграция информации, режим реального времени, интерактивность, изначальная многовариантность интерпретации ММ информации, человеческое восприятие, ощущение, сигнал, восприятие пространства, сенсорные рецепторы, анализаторы, возбуждение, раздражители (адекватные, неадекватные), порог чувствительности (интенсивности) раздражителя, порог времени раздражения, каналы восприятия (зрительный, слуховой, осязательный/тактильный, обонятельный, вкусовой, мышечный, вестибулярный), пик-сел, цифровой многофункциональный диск (DVD), поток данных, сжатие (компрессия), формат файла, гипертекст (метаструктура текста), семантические связи, гиперссылки, функциональные изображения, гиперграфика, контактные области, анимация, интерактивные трехмерные представления, звуковая волна, звук (аналоговый/цифровой), тембр, обертоны, частота дискретизации, звуковая карта, битрейт, цифровой интерфейс музыкальных инструментов (MIDI), аудиокодек, амплитудная огибающая, FM/WT-синтез звука, сэмпл, пэтч, восприятие объемного звука, реверберация, окклюзия, обструкция, ранние отражения, эффект-процессор, полифония, сабвуфер, окружающий канал, громкоговоритель, акустическая система, многоканальная аудиосистема, аудио кодек, цифровой контроллер, психоакустическая модель, критическая полоса, битрейт, цвета, цветовые оттенки, палитра, яркость, цветность, видео (аналоговое/цифровое), потоковое цифровое видео, видеосистема, графический ускоритель, камкодер, фрейм-граббер, TV-тюнер, текстура, тексел, рендеринг, 2D/3D-анимация, твининг, 2D/3D-морфинг, гиперизображение, гипертехнологии, гипермедиа, виртуальная экскурсия, экспертмедиа.

Глава 1. Основы мультимедиа технологий

1.1. Базовые понятия и информационные основы мультимедиа

1.1.1. Определения, отличительные признаки, преимущества и основные направления развития мультимедиа

Мультимедиа – это тема, появившаяся с 90-х годов 20-го века, бурно развивающаяся область информатики, где устоявшаяся терминология пока отсутствует. В английских компьютерных журналах этот термин описан как неудачно определенный (ill-defined), его строгое формальное определение отсутствует, в русском языке не существует официально закрепленного аналога, его определения часто противоречат друг другу, есть проблемы с написанием и произношением связанных с ним слов.

Термин «мультимедиа» буквально означает «более чем один носитель информации». Поэтому под ММ на ПК сегодня понимают возможность использовать в выполняющихся программах информацию из разнообразных источников (музыка, речь, видео и телекадры и т.п.). Оперативную обработку информации от всех этих источников осуществляет ПК.

Понятие ММ многогранно и охватывает как идею, технологию и продукт, сделанный на ее основе, так и компьютерное аппаратное и программное обеспечение, а также особый вид информации. Рассмотрим некоторые содержательные определения ММ [3-8].

Определение 1. ММ – это взаимодействие аудиовизуальных эффектов под управлением интерактивного программного обеспечения (ПО).

Определение 2. ММ – это сумма технологий, позволяющих с помощью ПК создавать, вводить, обрабатывать, хранить, передавать и отображать (выводить, воспроизводить) в оцифрованном виде такие типы данных, как текст, звук, речь, графика, неподвижные изображения (слайды), анимация, видео, а также различные их комбинации.

Определение 3. ММ – это достигнутые за счет возможностей компьютера:

◆ интеграция практически всех используемых человеком сред, средств и способов обмена информацией;

◆ обогащение всех этих сред, средств и способов обмена информацией возможностями хранения огромных массивов информации и интерактивного произвольного доступа к ее элементам.

Определение 4. Можно определить ММ через понятие «гипертекст» (ГТ). ГТ – это информационная структура, состоящая из дискретных узлов данных и сложных разноуровневых семантических связей между ними. Если данные в узлах ГТ-структуры могут записываться в виде текстов, изображений и звука, то такую информационную структуру называют ММ.

Определение 5. ММ – документ, содержащий средства информации, протяженные во времени, то есть проигрываемые в течение определенного интервала времени [6].

Определение 6. ММ – это особый обобщающий вид информации, которая объединяет в себе как традиционную статическую визуальную информацию (текст и графику), так и динамическую информацию разных типов (речь, музыку, видеофрагменты, анимацию и т.п.) [7].

Определение 7. ММ – это современные компьютерные технологии, позволяющие объединить в программно-аппаратной системе различные типы ММ данных (изображения, звук, видео, тактильные и другие ощущения) для создания единой информационной среды в целях воздействия на через органы чувств на восприятие человека [1].

Человеческое восприятие следует рассматривать как интеллектуальный процесс, связанный с активным поиском признаков, необходимых и достаточных для формирования образа и принятия решений [1].

Различные типы ММ данных представляются специальными сигналами, предназначенными для создания ощущений у пользователя воздействием на его органы чувств.

Таким образом, в широком смысле ММ обозначает спектр информационных технологий, использующих специальные программные и технические средства с целью наиболее эффективного воздействия на пользователя (ставшего одновременно и читателем, и слушателем, и зрителем) [3-8].

Отличительные признаки ММ

1. Интеграция информации, порожденной различными (многими – multi) источниками, созданными в различных средах (media). ММ продукты объединяют в одном изделии многообразные разновидности информации: компьютерные данные, теле- и видеоинформацию, речь и музыку. Такое объединение обеспечивает возможность и требует использования разнообразных устройств регистрации и воспроизведения информации, допускающих управление от компьютера: телевизора, видеомагнитофона, аудиосистемы, CD-плеера, микрофона и электронных музыкальных инструментов. Интеграция информации обеспечивает синергетический эффект (объединяющее действие факторов, различных по своей природе), учитывающий известный принцип функциональной целостности по Эшби.

2. ПК вынужден регистрировать, обрабатывать и выводить информацию, изначально (на заре компьютерной эры) для него не предназначенную.

3. Для регистрации, обработки и вывода такой новой для ПК информации надо усилить его конфигурацию целым рядом дополнительных устройств (оригинальные устройства ввода-вывода, акселераторы, конвертеры и т.п.).

4. Собственных ресурсов ПК может не хватить, что потребует наращивания и обычных аппаратных средств ПК (дополнительных процессоров, памяти и т.д.).

5. Поддержка новых устройств и режимов требует наличия нового ПО, такого как

◆ драйверы новых устройств,

◆ программы инсталляции и настройки новых подсистем,

◆ программы управления ММ системой в целом.

6. ММ средства по своей природе интерактивны, т.е. зритель и слушатель ММ продуктов не остается пассивным, а участвует в процессе восприятия активно, как минимум, выполняя выбор воспроизводимых фрагментов.

7. Для поддержки ММ требуются:

8. предельно высокие скорости передачи данных;

9. воспроизведение в режиме реального времени (РВ) [6].

10. Передача ММ сообщений происходит во времени. А изменение некоторой физической величины во времени, обеспечивающее передачу сообщения (а тем самым – и информации), называется сигналом. Если уровень сигнала в технических устройствах можно точно измерить, то уровень возбуждения рецепторов человека в результате получения им сигнала зависит от множества факторов и поэтому может быть различным (индивидуальным) [1].

11. Правила интерпретации ММ сообщений и информации обычно не формализуемы. В то же время известно, что одно и то же сообщение, интерпретированное по-разному, может передавать разную информацию. Поэтому в силу индивидуальности (феномена сознания) субъективное восприятие ММ сообщений пользователем неоднозначно. Так, оптические иллюзии или звуковое сопровождение видеоряда у разных людей вызывают различные ощущения. Значит, для ММ сообщений характерна изначальная многовариантность интерпретации, когда заранее невозможно однозначно предсказать результат их воздействия на пользователя. Это связано как с психологическими особенностями восприятия, так и с аналитической вариабельностью количественных оценок физиологических показателей [1].

Преимущества использования ММ средств

1. Возможность интеграции разнообразных видов информации с использованием при этом разнообразных средств ее обработки. Теоретически существует масса способов интеграции информации от различных источников в едином продукте, но практически подобное объединение выполняется всегда под управлением компьютера (то есть именно компьютер является узлом интеграции).

2. Повышение качества и эффективности информационных процессов, а прежде всего, степени информативности среды за счет параллельной активизации разных каналов воздействия на человека.

3. Помощь, облегчение, упрощение обработки человеком огромных объемов аудиовизуальной информации за счет отображения ее в форме, удобной и естественной для пользователя компьютера.

Основные направления развития ММ:

◆ поддержка звука. Обеспечивается стандартными средствами ММ ПК или оригинальными звуковыми картами и соответствующим ПО;

◆ поддержка видео. Обеспечивается стандартными средствами ММ ПК, а также дополнительными видеокартами и соответствующим ПО;

◆ поддержка графики, слайдов и анимации. Обеспечивается стандартными средствами ММ ПК и специальными ПС;

◆ комбинированная поддержка ММ (проявление в сложных интерактивных средах, например, в среде виртуальной реальности). Обеспечивается стандартными средствами ММ ПК и дополнительным оборудованием, не входящим в стандартный состав ММ аппаратуры, а также специальными и оригинальными сложными ПС поддержки.

Актуальность применения ММ в восприятии и освоении информационно-образовательных материалов. Благодаря применению в ММ продуктах и услугах одновременного воздействия текстовой и графической, звуковой и видеоинформации, эти средства обладают большим эмоциональным зарядом и активно включаются как в индустрию досуга и развлечений, так и в практику всех видов деятельности и образования.

Экспериментально установлено, что при устном изложении материала слушатель на лекции за минуту воспринимает и способен переработать до 1000 условных единиц информации, а при активизации органов зрения – до 100 тысяч таких единиц. Поэтому совершенно очевидна высокая эффективность использования во всех видах деятельности и образования ММ средств, основанных на параллельном зрительном и слуховом восприятии материала [7].

1.1.2. Особенности человеческого восприятия

Для понимания основных подходов, используемых ММ технологиями для воздействия на органы чувств, необходимо проанализировать особенности человеческого восприятия, понять, с помощью каких основных внешних воздействий создаются эффекты присутствия и погружения пользователя в реальные и искусственные среды [1].

Ощущение – это построение образов отдельных свойств предметов окружающего мира в процессе взаимодействия с ними рецепторов. Все ощущения, испытываемые человеком, можно разделить на

◆ реальные ощущения, возникающие в процессе непосредственного взаимодействия с предметами;

◆ виртуальные ощущения (сенсорные впечатления), получаемые на основе искусственно созданных представлений об этом предмете.