Аппаратные средства мультимедиа

Для построения мультимедиа системы необходима дополнительная аппаратная поддержка: аналогоцифровые и цифроаналоговые преобразователи для перевода аналоговых аудио и видео сигналов в цифровой эквивалент и обратно, видеопроцессоры для преобразования обычных телевизионных сигналов к виду, воспроизводимому дисплем, декодеры для взаимного преобразования телевизионных стандартов, специальные интегральные схемы для сжатия данных в файлы допустимых размеров и так далее. Все оборудование отвечающее за звук объединяются в так называемые звуковые карты, а за видео в видео карты.

Звуковые карты.

С течением времени перечень задач выполняемых на ПК вышел за рамки просто использования электронных таблиц или текстовых редакторов. Компакт- диски со звуковыми файлами, подготовка мультимедиа призентаций, проведение видео конференций и телефонные средства, а также игры и прослушивание аудио CD для всего этого необходимо чтобы звук стал неотъемлемой частью ПК. Для этого необходима звуковая карта. Любители игр будут удовлетворены новыми возможностями объемного звучания.

Для звуковых карт IBM совместимых компьтеров прослеживаются следующие тенденции:

Во первых, для воспроизведения звука вместо частотной модуляции (FM) теперь все больше используют табличный (wavetable) или WTсинтез, сигнал полученный таким образом, более похож на звук реальных инструментов, чем при FMсинтезе. Используя соответствующие алгоритмы, даже только по одному тону музыкального инструмента можно воспроизводить все остальное, то есть восстановить его полное звучание. Выборки таких сигналов хранятся либо в постоянно запоминающем устройстве (ROM) устройства, либо программно загружается в оперативную память (RAM) звуковой карты.

Почти все звуковые карты, предназначенные для игр и развлечений, поддерживают совместимость с Adlib и Sound Blaster. Все звуковые карты, ориентированные на бизнес- приложения, совместимы обычно с MS Windows Sound Sistem фирмы Microsoft.

В третьих, одним из компонентов современных звуковых карт стал сигнальный процессор DSP (Digital Signal Processor) к возможности функциональным обязанностям этого устройства можно отнести: распознание речи, трехмерное звучание, WTсинтез, сжатие и декомпресия аудиосигналов. Количество звуковых карт, оснащенных DSP, не так велико. Причина этого то, что такое достаточно мощное устройство помогает только при решении строго определенных задач.

Как правило DSP устройство достаточно дорогое, поэтому сразу устанавливается только на профессиональных музыкальных картах. Одним из мощных DSP производителей сейчас является фирма Texas Instruments.

В-четвертых, появилась устойчивая тенденция интегрирования функций звуковых карт на системной плате. Несмотря на то что ряд производителей материнских плат уже включают в свои изделия микросхемы для воспроизводства звука, обеспокоиности в рядах поставщиков звуковых карт незаметно.

Потенциальная проблема при использовании встроенных средств обработки звука состоит в ограниченности системных ресурсов IBM PC совместимых компьютеров, а именно в возможности конфликтов по каналам прямого доступа к памяти (DMA). Пример такой платы это системная плата OPTi495 SLC, в которой используется 16-разрядный звуковой стереокодек AD 1848 фирмы ANALOG DEVICES.

В пятых, стремление к более естественному воспроизведению звука заставляет фирмы производителей использовать технологии объемного или трехмерного (3D) звучания.

Самое модное направление в области воспроизведения звука в наши дни предоставляет так называемые объемность звучания. Применение этих эффектов объемного звучания позволяет расширить стереопространство, что в свою очередь придает большую глубину ограниченного поля воспроизведения присущем не большим близко расположенным друг к другу колонок.

В шестых, это подключение приводов CD-ROM. Практически все звуковые карты имеют встроенные интерфейсы для подключения приводов CD-ROM. Появились карты и приводы поддерживающие стандартный интерфейс ATA (IDE), используемый для компьютеров с винчестером.

В седьмых, на картах используется режим DualDMA то есть двойной прямой доступ к памяти. С помощью двух каналов DMA можно реализовать одновременно запись и воспроизведение.

И последние это устойчивое внедрение звуковых технологий в телекомуникации.

Звуковые карты приобретаются в 90% случаев для игр, из оставшихся 10% для речевого сопроваждения мультимедиа программ. В таком случае потребительские качества зависят только от ЦАП (цифро-аналогового преобразователя) и от усилителя звуковой частоты. Еще более важным является совместимость со стандартом Sound Blaster, так как далеко не все программы будут поддерживать менее распространенные стандарты.

В набор Звуковых карт входят драйвера, утилиты, программмы записи и воспроизведения звука, средства для подготовления и произведения презинтаций, энциклопедий, игр.

Лазерные диски, CD/DVD-ROM

В связи с ростом объемов и сложности прграмного обеспечения, широким внедрением мультимедиа приложений, сочетающих движущиеся изображения, текст и звук, огромную популярность в последнее время приобрели устройства для чтения компакт- дисков CD/DVD-ROM. Эти устройства и сами диски, относительно недорогие, очень надежны и могут хранить весьма большие объемы информации (до 16 Гбайт), поэтому они очень удобны для поставки программ и данных большего объема, например каталогов, энциклопедий, а также обучающихся, демонстрационных и игровых программ.

Первые приводы имели единичную скорость (Single speed) равную 150 Кбайт/с. Модели накопителей с удвоенной скоростью появились в 1992 году. Приводы с утроенной и с учетверенной скоростью в начале 1994 году. Сегодня речь уже идет о скорости увеличенной в более восьми раз. Коэффициент увеличения скорости не обязательно целый.

Принцип действия. Как и в компакт-дисках, применяемых в бытовых СD-плейерах, информация на компьютерных компакт-дисках кодируется посредством чередования отражающих и не отражающих свет участков на подложке диска. При промышленном производстве комакт-дисков эта подложка выполняется из алюминия, а не отражающие свет участки делаются с помощью продавливания углублений в подложке специальной пресформой. При единичном производстве компакт-дисков (так называемых СD-R дисков, см. ниже) подложка выполняется из золота, а нанесение информации на нее осуществляетя лучом лазера. В любом случае сверху от подложки на компакт-диске находится прозрачное покрытие, защищающее занесенную на компакт-диск информацию от повреждений.

Чтение используемых в компьютере компакт-дисков осуществляется с помощью луча лазера небольшой мощности. Использование такой технологии позволяет записывать на компакт-диски очень большой объем информации, и обеспечивает высокую надежность информации.

Видеокарты

Имеется большое количество устройств, предназначенных для работ с видеосигналами на IBM PC совместимых компьютеров. Условно можно разбить на несколько групп: устройства для ввода и захвата видеопоследовательностей (Cupture play), фреймграбберы (Framegrabber), TV-тюнеры, преобразователи сигналов VGATV и MPEG-плейеры.

Эти устройства выполняются обычно в виде карт или бокса (небольшой коробочки). Они преобразуют аналоговый видеосигнал поступающий по сети кабельного телевидения или от антенны, от видеомагнитофона или камкодера (camcorder). TV-тюнеры могут входить в состав других устройств таких как MPEG-плейеры или фреймграбберы.

Некоторые из них имеют встроенные микросхемы для преобразования звука. Ряд тюнеров имеют возможность для вывода телетекста.

Появились примерно 6 лет назад. Как правило они объединяют графические, аналогово-цифровые и микросхемы для обработки видеосигналов, которые позволяют дискретизировать видеосигнал, сохранять отдельные кадры изображения в буфере с последующей записью на диск либо выводить их непосредственно в окно на мониторе компьютера. Содержимое буфера обновляется каждые 40 мс. то есть с частотой смены кадров. Вывод видеосигналов происходит в режиме наложения (overby). Для реализации окна на экране монитора с "живым" видео карта фреймграббера соединена с графическим адаптером через 26 контактный Feature коннектор. С ним обычно поставляется пакет Video fоr Windows..

Данные устройства транслируют сигнал в цифровом образе VGA изображения в аналоговый сигнал пригодный для ввода на телевизионный приемник. Производители обычно предлагают подобные устройства выполненные либо как внутренние ISA карта либо как внешний блок.

Ряд преобразователей позволяют накладывать видеосигнал например для создания титров. При этом осуществляется полная синхронизация преобразованного компьютерного сигнала по внешнему(gtnlok). При наложении формируется специальный ключевой (key) сигнал трех видов lumakey, chromakey или alpha chenol.

1. В первом случае наложение производится там где яркость Y превышает заданного уровня.

2. Накладывание изображения прозрачно только там где его цвет совпадает с заданным.

3. Альфа канал используется в профессиональном оборудовании основанном на формировании специального сигнала с простым распределением, который определяет степень смещения видеоизображения в различных точках.

Данные устройства позволяют воспроизводить последовательности видеоизображения (фильмы) записываемых на компакт- дисках, качеством VNS Cкорость потока сжатой информации не превышает обычно 150 Кбайт/с.

Основная сложность задачи решаемой MPEG кодером, состоит в определении для каждого конкретного видеопотока оптимального соотнашения между тремя видами изображения: (I)ntra, (P)redicted и (B)idirectional. Первым MPEG -плейерам была плата Reel Magic компании Sigina Desing в 1993 году.

Современная видеокарта выглядит несколько иначе.

Для работы видеоадаптера необходимы следующие основные компоненты:

■ ВIOS (базовая система ввода-вывода);

■ графический процессор, иногда называемый набором микросхем системной логики видеоадаптера;

■ видеопамять;

■ цифроаналоговый преобразователь, он же DAС (Digital Апа1о§ СопуеПег). Ра­нее используемый в качестве отдельной микросхемы, ОАС зачастую встраивается в графический процессор новых наборов микросхем. Необходимость в подобном преобразователе в цифровых системах (цифровые видеокарты и мониторы) отпада­ет, однако, пока живы аналоговый интерфейс УСА и аналоговые мониторы, ВАС еще некоторое время будет использоваться;

■ разъем;

■ видеодрайвер.

Внешний вид одного из популярных адаптеров АТI RАDЕОN 7500 показан на рис. 1.

Практически все видеоадаптеры имеют наборы микросхем с поддержкой функций ускорения отображения трехмерных объектов.

1.ТV-выход

2. Разъем DVI (можно преобразовать в аналоговый сигнал)

З.Выход VGA

4. Разъем питания вентилятора охлаждения

5. Графический процессор RАDЕОN 7500 с интегрированной DАС и теплоотводом/вентилятором

6. Разъем АGР4х

7. Модули памяти DDR

8. Микросхема регулировки напряжения

Рисунок 1. АТI RАDЕОN 7500 — типичный видеоадаптер среднего класса, оп­тимизированный для компьютерных игр. В этом адаптере, как и в большинстве современных графический плат, используется несменная Flash-ВIOS.

Устройства ввода

Стандартные устройства персонального компьютера, такие как мышь или клавиатура, не предназначены для манипуляций в трехмерном пространстве. Необходимо устройство, которое бы позволило выполнять сложные действия интуитивно просто и с высокой точностью в привычном для человека трехмерном пространстве. В виртуальной реальности мыши не могут быть обыкновенными, а бывают только трехмерными. Компания ABC Software Developers (USA) выпускает 3D-манипулятор (трехмерную мышь, Рис. 2) для управления объектами в стереопространстве.

Позиционирование по координатам X, Y осуществляется перемещением мыши, а по Z-координате — с помощью специального колеса. Мышь имеет 10 клавиш, которым пользователь может назначать функции наиболее часто используемых в процессе стереовекторизации клавиш (Zoom in/Zoom out, Enter, Insert, Spacebar и т. д.).

Рисунок 2. 3D-манипулятор от компании ABC Software Developers (USA)

Спейсболы - это новое слово в развитии современных манипуляторов. По оценкам специалистов они делают эффективнее работу по 3D-моделированию примерно на 30%. Модель SpaceBall 5000 (Рис. 3) очень популярна в среде дизайнеров.  Сама идея достаточно проста - двуручный метод работы. То есть одной рукой мы пользуемся обыкновенной мышью, а другой - спейсболом. Последний может выполнять огромное количество необходимых при работе функций, а именно, масштабированием, вращением 3D-моделей. В общем, в SpaceBall 5000 предусмотрено еще 12 программируемых кнопок, за каждой из которой можно закреплять свои функции. Двуручная система работы с манипуляторами уже успешно опробована на более чем 100 программных продуктах, в том числе и в редакторах трехмерного моделирования.

Рисунок 3. Манипулятор SpaceBall 5000

На рисунке 4 изображена перчатка P5 производства американской фирмы Essential Reality. P5 состоит из двух частей - собственно перчатки и базовой станции. Базовая станция включается в порт USB и не требует внешнего питания. Перчатка, в свою очередь, включается проводом в базовую станцию. На тыльной стороне "ладони" расположено 8 инфракрасных светодиодов, которые позволяют базовой станции отслеживать перемещения руки в пространстве. В базовой станции, находятся две инфракрасные камеры - это позволяет более надежно следить за перчаткой и точно определять расстояние до нее. Зона видимости базовой станции составляет 45° по вертикали и горизонтали и около полутора метров в "глубину". В этом конусе P5 может отслеживать координаты руки по всем трем осям с точностью до 0.6 сантиметра (на расстоянии 60 см от базы), а также поворот

Рисунок 5. Перчатка P5 фирмы Essential Reality

и наклон ладони с точностью до 2. Опрос координат происходит с частотой 40 герц (задержка составляет 12 миллисекунд). Кроме светодиодов системы слежения, в перчатке имеется пять резиновых "пальцев" с датчиками изгиба. К настоящим пальцам они крепятся пластиковыми кольцами и меряют изгиб с точностью в 1.5. Еще на тыльной стороне перчатки имеется четыре кнопки, одна из которых - программируемая (остальные служат для калибровки, включения/выключения и переключения режимов работы).

Средства вывода

Человеческому мозгу, для создания внутреннего представления об окружающей его пространственной среде, требуются два ракурса для двух глаз (левый и правый). Двумерная информация, получаемая обоими глазами, обрабатывается мозгом и сливается в одно изображение - трехмерное. Существует несколько способов подать информацию нашему мозгу так, чтобы он воспринимал обычную плоскую картинку (на экране монитора), как трехмерную. Например, пространственное изображение можно создать игрой света и теней или особым расположением элементов сцены. Но в компьютерных устройствах обычно используется несколько иной принцип. Достаточно просто показать каждому глазу специальным образом подготовленное именно для него изображение. Мозг анализирует полученную информацию и «обманывается», создавая у человека впечатление трехмерности увиденного. 

Одним из средств визуализации является виртуальный шлем   (рис. 6). Этот тип устройств довольно распространен и известен. VR-шлемы относят к классу HDM(Head Mounted Display) т. е. устройства, одеваемые на голову. В них применяется двухэкранный способ формирования изображения, то есть для каждого глаза в шлем встроен отдельный дисплей. При этом каждый глаз видит только свой кадр стереопары. Различного рода ошибки практически исключены, что усиливает эффект погружения в виртуальный мир по сравнению со стереоочками. Первые виртуальные шлемы появились в 1996 году. Они были несовершенны с точки зрения гигиены и качества. В них использовались некачественные экраны. Позднее появились несколько улучшенные модификации. Они были снабжены жидко-кристалическими дисплеями. В шлемах виртуальной реальности применяется технология Virtual Orientation System - система виртуальной ориентации. Эта система отслеживает движения головы человека при помощи специальных датчиков, которые могут быть встроены в шлем либо прикрепляться к голове отдельно, и в соответствии с ними корректирует изображение на ЖК-дисплеях. Именно благодаря наличию этой технологии шлем является не просто устройством отображения истинно трехмерных изображений, а создает эффект полного присутствия в виртуальном мире.  Кроме этого, в любой шлем встраиваются наушники, которые ко всему прочему добавляют объемный звук.

Рисунок 6. Виртуальный шлем.

1.3. Программные средства мультимедиа

3D Studio Max

Эта программа разработана одним из подразделений всемирно известной американской фирмы Autodesk. В результате своего развития Мах стал отраслевым стандартом и область его применения огромна и многогранна. В самом деле, эта программа трехмерного моделирования и анимации нашла своих многочисленных пользователей по всему миру от домашнего новичка до профессионала киноиндустрии. Идеи, заложенные авторами Мах, блестяще реализуются на практике, в настоящий момент это не только самый мощный, но и самый продаваемый пакет трехмерной графики в мире.

Моделирование архитектурных интерьеров и фасадов, анимация персонажей, фотореалистичные 3D сцены для Internet, визуализация физических процессов (рис. 7) - вот далеко неполный список задач, легко решаемых этой программой. Причём, речь может идти как об оптимальной расстановке мебели в Вашей квартире, оригинальной «начинке» домашней странички WEB или поздравительном ролике, так и о курсовом или дипломном проекте, коммерческой реализации целого интернет-сервера или представительском видеоклипе крупной компании.

Масштабируемость и модульная структура пакета позволяет получить конечный результат буквально за несколько часов работы пользователя, только начинающего своё ЗD-самообразование. Профессионалу же предоставлены неограниченные средства для творческого поиска и совершенствования.

Рисунок 7. Пример трехмерной сцены 3D Studio Max

Pinacle Studio

Программа предназначена для видеопроизводствва высокого качества (см. рис.8).

Создание фильмов с помощью Studio – это трехэтапный процесс:

1. Захват. Импорт видеоматериала источника нажесткий диск ПК.

2. Редактирование. Расположите материал так, как хочется, изменив порядок сцен и удалив ненужную часть материала. Добавьте визуальные эффекты, такие как переходы, титры и графика, и дополнительные аудиоэффекты, например, звуковые эффекты и фоновую музыку. Для создания (авторинга) DVD и VCD подготовьте интерактивные меню, которые позволят вашим зрителям получить особенные впечатления от просмотра.

3. Вывод фильма. Создайтезаконченный фильм, выбрав формат и носитель.

Рисунок 8. Интерфейс программы Pinacle Studio

Macromedia Flash MX

Технология Flash основана на использовании векторной графики в формате Shockwave Flash (SWF). Хотя это далеко не первый векторный формат, создателям SWF удалось найти наиболее удачное сочетание между изобразительными возможностями графики, инструментальными средствами для работы с ней, и механизмом включения результата в Web-страницы. Дополнительным преимуществом SWF является его переносимость, то есть этот формат может использоваться на любой аппаратно-программной платформе (в частности, на компьютерах Macintosh, работающих под управлением операционной системы MacOS, и на компьютерах IBM с ОС Windows). И еще одна особенность SWF: созданные на его основе изображения не только могут быть анимированы, но также дополнены интерактивными элементами и звуковым сопровождением.

Переносимость и возможность создания интерактивных мультимедийных приложений обусловили быстрый рост популярности формата SWF среди Web-дизайнеров. Поэтому почти одновременно с появлением самого формата фирмой Macromedia были созданы встраиваемые компоненты (Plug-In) для двух основных броузеров Сети: Internet Explorer и Netscape Communicator. А это, в свою очередь, способствовало еще более широкому распространению SWF на просторах Всемирной Паутины. В результате разработчики этих броузеров объявили о намерении включить поддержку SWF непосредственно в ядро своих продуктов. Поддержали подобный подход и другие ведущие производители программного обеспечения (в частности, фирма Adobe).

Вряд ли формат SWF завоевал бы так много поклонников, если бы Macromedia не сопроводила его достаточно простыми и удобными инструментами. Необходимо отметить, что в настоящее время существует целый набор таких инструментов.

Одни из них ориентированы на создание мультимедийных презентаций (Macromedia Director Shockwave Studio), другие предназначены для подготовки графических изображений (Macromedia FreeHand и Macromedia Fireworks), третьи обеспечивают создание интерактивных обучающих курсов (Macromedia Authorware и Macromedia CourseBuilder). Однако среди разработчиков Web-публикаций наибольшей популярностью пользуется Macromedia Flash, поскольку именно этот продукт позволяет создавать законченные Web-страницы, которые способны обеспечить популярность любому сайту. Видимо, благодаря этому формат SWF все чаще стали называть просто Flash. Итак, составляющими Flash-технологии являются:

• векторная графика;

• поддержка нескольких видов анимации;

• возможность создания интерактивных элементов интерфейса;

• поддержка взаимодействия с импортируемыми графическими форматами (в том числе растровыми);

• возможность включения синхронного звукового сопровождения;

• обеспечение экспорта Flash-фильмов в формат HTML, а также в любой из графических форматов, используемых в Интернете;

• платформная независимость;

• возможность просмотра Flash-фильмов как в автономном режиме, так и посредством Web-броузера;

• наличие инструментов визуальной разработки, избавляющих со-здателя Flash-фильмов от многих рутинных операций, а также от детального изучения технических аспектов реализации Flash-технологии.

Рисунок 9. Интерфейс программы Macromedia Flash MX

1.4. Виртуальная реальность

Возможности новой технологии весьма заманчивы – ВР может моделировать как реально существующие объекты (и их деформированные прообразы), так и любые воображаемые синтетические миры. ВР, моделирующая реально существующие объекты, может быть как макромасштаба (поверхность Марса, автомобиль, человеческое сердце), так и микромасштаба (молекулярные модели белков, вирусов, микрочастиц).

Понятие ВР неразрывно связано с понятием навигации в любом из этих пространств.

В разных системах вам предоставляется возможность бродить, плавать или даже летать в недрах пространства. В классическом случае система ВР непрерывно отслеживает положение головы наблюдателя, так чтобы показывать ту часть виртуальной сцены, которую бы видел исследователь, находясь в данной точке этого пространства при определенном угле зрения. При этом гладкость и бесшовность смены «картинки» при повороте головы определяется качеством системы ВР.

Проблема навигации в трехмерной среде представляет собой отдельную задачу – оценки глубины, освещенности, градиента текстуры и т.д. Часть объектов ВР могут быть прозрачными или полупрозрачными для удобства анализа их внутреннего устройства.

Присутствие в ВР неразрывно связано со звуковыми сигналами – обычно человеку свойственно направлять свой взгляд, ориентируясь на случайные звуки, исходящие из соответствующей точки пространства. Это требует специальных систем моделирования объемных аудиоэффектов. Использование инфразвука позволяет не только воздействовать на слух, но и передавать звуковое давление, например при моделировании удара. Добавление в системы ВР тактильных ощущений делает их еще более реалистичными – электромагнитные и пневматические устройства способны передавать механическую реакцию и ускорение. Это позволяет навигатору не только передвигаться в рамках ВР, но и манипулировать и даже видоизменять элементы этого виртуального мира.

На сегодняшний день уже функционируют системы, включающие аудио-, видео-, тактильные и вестибулярные воздействия – за исключением пока запаха и вкуса.

Системы ВР могут быть системами индивидуального и коллективного пользования. При этом наиболее простая форма состоит в том, что все участники путешествия внутри ВР видят то же, что и их «гид», который и осуществляет навигацию. Более сложный вариант состоит в том, что каждый из участников, независимо от других, путешествует внутри одного и того же мира ВР. Следующая ступень заключается в том, что каждый из участников ВР видит других и те изменения ВР, которые вносятся его коллегами по виртуальному миру.

Исторически сложилось так, что впервые зачатки систем ВР были применены в тренажерах военно-транспортной техники более 35 лет назад. Это направление интенсивно развивается и по сей день, причем помимо военных применений появляется все больше гражданских.

На сегодняшний день известны тренажеры для всех сред, в которых передвигается человек, - созданы имитаторы воздушных, подводных и наземных транспортных средств.

На сегодняшний день известны следующие области применения систем виртуальной реальности:

• Виртальная реальность и тренажеры

- Авиационные тренажеры

- Тренажеры для авиадиспетчеров

- Космические тренажеры

- Тренажеры для водителей локомотивов

• Виртальная реальность и развлекательные системы

• Виртальная реальность и центры принятия стратегических решений;

• Образовательные системы виртальной реальности;

• Инженерные системы виртальной реальности;

- Виртуальные прототипы;

- Виртуальная сборка;

- Виртуальные испытания;

• Виртальная реальность и медицина;

- Диагностика;

- Виртуальные анатомические атласы;

- Планирование операции;

- Протезирование;

• Виртальная реальность и науки о земле;

• Виртальная реальность и архитектура;

• Виртальная реальность и презентационные системы;

- Виртуальные заводы;

- Виртальная реальность и анализ финансовых данных;

• Виртальная реальность и математика;

• Виртальная реальность и молекулярная биология;

• Виртальная реальность и Интернет;

• Виртальная реальность и Голливудские спецэффекты.