Введение в мультимедиа технологии
Термин «Мультимедиа»
- Мультимедиа [(multi)media] - дословно означает «многие среды», происходит от соединения английских слов « multy », « multiple » (множественный, складной, состоящий из многих частей) и « media » (среда, средство).
- Мультимедийная среда – среда, состоящая из любых комбинаций: текст, гипертекст, двухмерная и трехмерная графика, анимация, движущееся изображение (цифровое видео и фото), музыка, звуковые эффекты.
- Мультимедиа - взаимодействие визуальных и аудио-эффектов под управлением интерактивного программного обеспечения
Технология мультимедиа
- Мультимедиа технология - компьютерная технология, обеспечивающая возможность создания, хранения и воспроизведения разнородной информации, включая текст, звук и графику (в том числе движущееся изображение и анимацию), а также возможность их взаимосвязанного или взаимодополняющего использования.
- Мультимедийный ПК [ MPC , Multimedia Personal Computer ] –ПК, соответствующий требованиям стандартов MPC.
- Мультимедийные приложения [Multimedia applications] - вспомогательные средства, обеспечивающие реализацию систем мультимедиа.
Множественность понятия «мультимедиа» в ИКТ
- Мультимедиа – это особый вид компьютерной технологии, который объединяет в себе как традиционную статическую (текст, графика), так и динамическую информацию ( речь, музыку, видеофрагменты, анимацию и т. п.).
Под мультимедиа могут понимать :
- мультимедийную программу-оболочку,
- продукт, сделанный на основе мультимедийной технологии,
- компьютерное оснащение:
- наличие в компьютере CD / DVD - Drive , наличие звуковой и видеоплат, платы оцифровки, наличие соответствующего объема памяти компьютера, разрешающая способность монитора и другие параметры.
- наличие в компьютере CD / DVD - Drive ,
- наличие звуковой и видеоплат, платы оцифровки,
- наличие соответствующего объема памяти компьютера,
- разрешающая способность монитора и другие параметры.
Разновидности мультимедиа
- Линейное мультимедиа - простейшая форма представления множества элементов мультимедиа, когда пользователь может выполнять только пассивный просмотр элементов мультимедиа, а последовательность просмотра элементов мультимедиа определяется сценарием.
- Нелинейное (интерактивное) мультимедиа [ interactive ( multi ) media ] - форма представления множества элементов мультимедиа, при которой пользователю предоставлена возможность выбора и управления элементами в режиме диалога, то есть мультимедиа становится нелинейным и интерактивным.
Разновидности мультимедиа
- Гипермедиа [ hipermedia , H - media ] - интерактивное мультимедиа, при котором пользователю предоставляется структура связанных элементов мультимедиа, которые он может последовательно выбирать, то есть это расширение понятия гипертекст на мультимедийные виды организации структур записей данных.
- Live video - “Реальное/живое видео” - характеристика системы мультимедиа с точки зрения ее способности работать в реальном времени..
Проект "Электронная Карелия", углубленный курс "Мультимедиа технологии"
28.05.20
История мультимедиа технологий
1984 г. первый графический интерфейс персонального компьютера Macintosh .
1985 первая CD спецификация
1989 г. первая образовательная мультимедийная программа Domesday (портрет Соединенного Королевства) на CD
1991 г. Тим Бернерс-Ли ( Tim Berners - Lee ) разрабатывает концепцию World Wide Web
1991-1999 новый этап развития мультимедиа:
- Появление стандартов MPC Появление электронного телеграфа, мобильных телефонов, Развитие MPEG - технологий компрессии данных Появление цифрового и спутникового телевидения DST ( digital satellite television ), DTT ( digital terrestrial television ).
- Появление стандартов MPC
- Появление электронного телеграфа, мобильных телефонов,
- Развитие MPEG - технологий компрессии данных
- Появление цифрового и спутникового телевидения DST ( digital satellite television ), DTT ( digital terrestrial television ).
Copyright: O.Derbeneva, PetrSU, 2006
Значение мультимедиа
- явление культуры человечества : МТ не только производят продукт, но и оказывают косвенное влияние на пользующегося ими человека, меняя его представления о самом себе;
- форма художественного творчества, искусство, образ декорации , где особое место принадлежит наглядно-образным способам передачи информации. На МТ основаны «сетевое искусство» ( NetArt ), «киберкультура», интерактивный компьютерный перформанс и пр. виды искусства;
- новое средство электронной коммуникации , которое характеризуется глобальными масштабами, интегрированием в себе всех средств массовой информации, а также интерактивностью. МТ необратимо меняют культуру глобальных коммуникаций.
Виды деятельности, основанные на мультимедиа
- в компьютерной сфере – сайтостроение, гипертекстовые системы, компьютерная графика и анимация, цифровое видео, «виртуальная реальность», видеконференцсвязь и т. д.;
- в средствах массовой информации – интернет-журналистика, речевые и социальные коммуникации и др.;
- в искусстве – сетевое искусство, мультипликация, видеомонтаж фильмов, режиссура звука и фильма интерактивные компьютерные выставки и др.,
Мультимедиа в бизнесе
Классические примеры применения мультимедиа технологий в бизнесе:
- область витринной рекламы ( POS = point of Sale - пункт продажи), когда клиенты имеют возможность самостоятельно получать интересующую их информацию;
- интернет-магазины и сетевые киоски, где клиент может сам ознакомиться с образцами товаров, сравнить их друг с другом;
- виртуальные туры и экскурсии в сфере туристического бизнеса;
- разнообразные базы данных, предоставляющие информацию о производителях той или иной продукции;
- юридические базы данных, которые все чаще в последнее время готовятся с использованием мультимедиа-технологии, не только давая текстовую информацию, но и сопровождая ее звуковыми, изобразительными эффектами.
Мультимедийные технологии становятся самостоятельным бизнесом и профессиональной областью деятельности, предметом бизнеса.
Аппаратные средства мультимедиа
Стандарты MPC
- разработаны группой Multimedia PC Working Group , являющейся подразделением Ассоциации издателей программного обеспечения ( Software Publishers Association ), на основе результатов обсуждений и дискуссий в компьютерной индустрии.
- устанавливают для разработчиков программного обеспечения состав аппаратных средств, относящихся к технологии мультимедиа, и требования по их сертификации.
МРС - совокупность минимальных требований к системе
Аппаратные средства мультимедиа
Требования стандарта Entertainment РС'98:
- не менее двух разъемов USB (один из них должен быть легко доступен; то есть находиться не на задней панели);
- не менее двух разъемов 1394 (легко доступных для подключения к цифровым камкодерам и к аудио/видео-устройствам);
- наличие разъема для вывода TV сигнала (стандартов NTSC или PAL );
- отсутствие расширительных слотов ISA , что гарантирует более стабильную конфигурацию;
- наличие дисковода DVD - ROM ;
- графическую плату с шиной AGP (или ее программный эквивалент);
- аналоговый видеовход, аналоговый ТВ-тюнер NTSC или PAL ;
- поддержку цифрового телевидения ( DTV ) и поддержку схемы защиты от копирования Copy Scramble System ( CSS ), используемой для видеофильмов на дисках DVD .
- аудиосистема должна поддерживать аппаратную реализацию эффектов трехмерного звука, иметь независимые скорости дискретизации для входного и выходного сигналов, обеспечивать музыкальный синтез и эхоподавление.
Аппаратные средства мультимедиа
Дополнительные требования стандарта Entertainment РС'98 для рабочих станций:
- дистанционно управляемое устройство указания с применением инфракрасной или радиотехнологии;
- цифровой видеовход
- контроллер жесткого диска с высокой пропускной способностью;
- 27-дюймовый или более крупный монитор;
- подсистема цифрового спутникового вещания.
- беспроводные входные устройства.
Носители мультимедиа информации
Основные носители мультимедиа: оптические диски
- изначально использовались для записи телевизионных программ, позже стали использоваться как носитель в компьютерной технике.
- Первые оптические диски (CD) были изобретены корпорацией Philips для хранения кинофильмов. Они имели 30 см в диаметре, выпускались под маркой Laser Vision .
- Описание технических деталей компакт-диска было опубликовано в официальном Международном Стандарте ( IS 10149), который принято называть Красной книгой (по цвету обложки).
- компакт-диски от разных музыкальных издателей и проигрыватели от разных производителей стали совместимыми.
- все компакт-диски должны быть 120 мм в диаметре и 1,2 мм в толщину, а диаметр отверстия в середине должен составлять 15 мм.
Аудио-компакт-диски были первым средством хранения цифровой информации, которое вышло на массовый рынок потребления.
Носители мультимедиа информации
- В 1984 году Philips и Sony начали использовать компакт-диски для хранения компьютерных данных CD - ROM .
- Опубликована Желтая книга , в которой определили точный стандарт CD - ROM ( компьютерные компакт-диски должны быть размера аудио-дисков, механически и оптически совместимы с ними и производиться по той же технологии).
- В 1986 году корпорация Philips опубликовала Зеленую книгу , с описанием стандарта мультимедийных компакт-дисков ( добавление графики и возможности помещать аудио-, видео- и обычные данные в одном секторе).
- Для решения проблемы совместимости была принята файловая система High Sierra (по названию местности на озере Тахо в Хай-Сьерраз ( the High Sierras ), где представители разных компьютерных компаний пришли к соглашению) .
- Эта система превратилась в Международный Стандарт ( IS 9660).
Носители мультимедиа информации
- В 1989 году параметры CD - R ( CD - Recordable – записываемые компакт-диски) были определены в Оранжевой книге (новый формат CD - ROM ХА позволил записывать информацию на CD - R постепенно, определение понятия дорожка компакт-диска, сессия, появление оглавления для каждой дорожки диска, определение мультисессионного диска).
- Благодаря появлению к середине 90-х годов технологии CD - R стала возможной однократная запись: либо сразу весь диск ( disk at once ) или по дорожкам ( track at once ). Первый метод использовался для тиражирования компакт-дисков, второй ─ для последовательного сохранения сравнительно небольших фрагментов данных при резервном копировании.
- С появлением CD - R появилась возможность без труда копировать компьютерные и музыкальные компакт-диски, производить пиратскую продукцию.
Носители мультимедиа информации
- В настоящее время широко используется технология CD - RW ( CD - ReWritable ─перезаписываемый компакт-диск) . Вместо красителя при производстве CD - RW используется сплав серебра, индия, сурьмы и теллура для записывающего слоя. Этот сплав имеет два состояния: кристаллическое и аморфное, которые обладают разной отражательной способностью.
- Считать данные с диска CD - RW сложнее, его отражающая способность гораздо меньше: он отражает около 25% света лазера, тогда как диски CD - ROM и CD - R отражают, соответственно, 70 и 65%. Чтобы компенсировать это снижение, дисководы CD - RW должны включать специальную схему, улучшающую чтение дисков. Появляются дисководы Multi - Read с такой схемой.
- Компакт-диски, записанные в стандарте packet writing , не могут быть прочитаны на обычных приводах CD - ROM , не поддерживающих Multi - Read .
Носители мультимедиа информации
- Новую эру для мультимедиа ресурсов открыло появление DVD (изначально сокращение от Digital Video Disk ─ цифровой видеодиск, а сейчас официально Digital Versatile Disk ─ цифровой универсальный (или многофункциональный) диск) .
- В 1995 году две конкурирующих группы, разрабатывающие новый стандарт DVD -диска высокой плотности: Sony и Philips против Time Warmer , Toshiba , Matsushita , Pioneer , Hitachi и Thomson , предлагали свои концепции, несовместимые друг с другом ─ «война форматов». Компромиссное решение: выпускать все варианты, а рынок уже сам определит.
- 8 декабря 1995 года корпорация, состоящая из 10 компаний, объявила о создании унифицированного стандарта ─ DVD . Было разработано 4 формата DVD :
- Односторонние однослойные (4,7 Гбайт). Односторонние двуслойные (8,5 Гбайт). Двусторонние однослойные (9,4 Гбайт). Двусторонние двуслойные (17 Гб).
- Односторонние однослойные (4,7 Гбайт).
- Односторонние двуслойные (8,5 Гбайт).
- Двусторонние однослойные (9,4 Гбайт).
- Двусторонние двуслойные (17 Гб).
Носители мультимедиа информации
Диски DVD , как и обычные компакт-диски, они имеют 120 мм в диаметре, создаются на основе поликарбоната и содержат впадины и площадки, которые освещаются лазерным диодом и считываются фотодетектором.
Однако существует несколько различий:
- Впадины меньшего размера (0,4 микрона вместо 0,8 микрона, как у обычного компакт-диска). Более плотная спираль (0,74 микрона между дорожками вместо 1,6 микрона). Красный лазер (с длиной волны 0,65 микрона вместо 0,78 микрона). В совокупности эти усовершенствования дали семикратное увеличение емкости (до 4,7 Гбайт) одностороннего однослойного диска .
- Впадины меньшего размера (0,4 микрона вместо 0,8 микрона, как у обычного компакт-диска).
- Более плотная спираль (0,74 микрона между дорожками вместо 1,6 микрона).
- Красный лазер (с длиной волны 0,65 микрона вместо 0,78 микрона).
- В совокупности эти усовершенствования дали семикратное увеличение емкости (до 4,7 Гбайт) одностороннего однослойного диска .
Средства обеспечения звуковых технологий
Звуковые платы ( sound blaster ) функционально содержат несколько модулей:
- модуль для записи и воспроизведения звука - использует для оцифровки звука АЦП. На качество оцифровки звука существенно влияет разрядность преобразователей и частоты дискретизации:
- разрядность преобразования определяет динамический диапазон сигнала; частота дискретизации — верхнюю границу диапазона частот звукового сигнала.
- разрядность преобразования определяет динамический диапазон сигнала;
- частота дискретизации — верхнюю границу диапазона частот звукового сигнала.
Средства обеспечения звуковых технологий
Звуковые платы ( sound blaster ) функционально содержат несколько модулей:
- модуль синтезатора звука - для синтеза звукового сигнала используется два основных метода:
- синтез с помощью частотной модуляции ( Frequency Modulation ), или FM -синтез. Звук имеет некоторый «металлический» оттенок, отличается от звука настоящего музыкального инструмента; синтез с использованием таблицы волн ( Wave Table ), или табличный WT -синтез. обеспечивает более качественное звучание. В основе этого синтеза лежат записанные заранее и хранящиеся в памяти образцы звучания музыкальных инструментов ( MIDI -файлы) .
- синтез с помощью частотной модуляции ( Frequency Modulation ), или FM -синтез. Звук имеет некоторый «металлический» оттенок, отличается от звука настоящего музыкального инструмента;
- синтез с использованием таблицы волн ( Wave Table ), или табличный WT -синтез. обеспечивает более качественное звучание. В основе этого синтеза лежат записанные заранее и хранящиеся в памяти образцы звучания музыкальных инструментов ( MIDI -файлы) .
Средства обеспечения звуковых технологий
Звуковые платы ( sound blaster ) функционально содержат несколько модулей:
- модуль интерфейсов включает в себя
- интерфейс музыкальных инструментов, обычно MIDI ( Musical Instrument Digital Interface ), средства воспроизведения звука в соответствующем формате, интерфейсы одного или нескольких дисководов CD - ROM .
- интерфейс музыкальных инструментов, обычно MIDI ( Musical Instrument Digital Interface ),
- средства воспроизведения звука в соответствующем формате,
- интерфейсы одного или нескольких дисководов CD - ROM .
- Через этот модуль можно проигрывать CD , разговаривать через модем и воспроизводить свою собственную компьютерную музыку.
Средства обеспечения звуковых технологий
В состав многих звуковых плат дополнительно включаются:
- устройство смешения сигналов от различных источников — микшер ; управление амплитудой смешиваемых сигналов выполняется обычно программным способом;
- модемный и игровой порты , последний обеспечивает качественное звуковое сопровождение компьютерных игр;
- усилители мощности сигнала с регулятором громкости (такие платы имеют два выхода: линейный — до усилителя и конечный — после усилителя).
Средства обеспечения звуковых технологий
Акустические системы :
- Пассивные системы не содержат встроенного усилителя и могут подключаться к звуковым платам, имеющим собственный усилитель (обычно 4-ваттный, по 2 Вт на канал) и регулятор громкости.
- Активные системы оборудованы усилителем и могут подключаться как к линейному выходу звуковой платы, так и к выходу ее усилителя, имеют регулятора громкости и 3-полосный эквалайзер.
- цифровые колонки для шины USB : возможность регулировать громкость звучания и другие параметры программным путем, более удобным и точным; встроенный в колонки микроконтроллер USB позволяет принимать сигнал от компьютера не в аналоговом, а в цифровом виде, что позволяет снизить уровень шума, достичь лучшего стереофонического и объемного эффекта, а также практически избежать искажений сигнала при передаче.
- цифровые колонки для шины USB : возможность регулировать громкость звучания и другие параметры программным путем, более удобным и точным; встроенный в колонки микроконтроллер USB позволяет принимать сигнал от компьютера не в аналоговом, а в цифровом виде, что позволяет снизить уровень шума, достичь лучшего стереофонического и объемного эффекта, а также практически избежать искажений сигнала при передаче.
Средства обеспечения звуковых технологий
Системы распознавания речи
Распознавание речи — автоматический процесс преобразования речевого сигнала в цифровую информацию
По характеру распознавания системы подразделяются на:
- системы распознавания отдельных слов, команд и вопросов:
- системы распознавания чисел; системы распознавания имен; системы диалога с пользователем с помощью голосовых меню .
- системы распознавания чисел;
- системы распознавания имен;
- системы диалога с пользователем с помощью голосовых меню .
- системы распознавания предложений и связной речи:
- Системы раздельной диктовки; Системы распознавания связной речи ( ViaVoice корпорации IBM ).
- Системы раздельной диктовки;
- Системы распознавания связной речи ( ViaVoice корпорации IBM ).
- системы идентификации по образцу речи.
Средства обеспечения звуковых технологий
Системы синтеза речи базируются на :
- выборке из Словаря готовых оцифрованных звуковых последовательностей (как в автоответчике), используются меню, по которым пользователь может выбрать те высказывания, которые он бы хотел услышать. При наличии нужных записей в базе данных их текст озвучивается (используются, например, в будильниках, в автомобильных навигационных системах и т. д.);
- на синтезаторах речи (системы Infovox , Monologue английской фирмы First Byte , Pro Verbe компании Elan Informatique и др.)
Программное обеспечение звуковых технологий
Редакторы цифрового аудио
- обеспечение возможности записи (оцифровки) аудио;
- многоканальное сведение аудио на нескольких виртуальных дорожках;
- обработка специальными эффектами;
- развитая навигация и инструментарий в виде спектроскопа и прочих виртуальных приборов;
- управление/управляемость внешними устройствами;
- преобразование аудио из формата в формат;
- очистка от шумов;
- генерация сигналов;
- сохранение на диск;
- запись на компакт диски
- и многое другое.
Примеры: Cool Edit Pro (Syntrillium), Sound Forge (Sonic Foundry), Nuendo (Steinberg), Samplitude Producer (Magix), Wavelab (Steinberg).
Программное обеспечение звуковых технологий
Реставраторы аудио позволяют:
- восстановить утерянное качество звучания аудио материала, удалить нежелательные щелчки, шумы, треск, специфические помехи записей с аудио-кассет, провести другую корректировку аудио.
- восстановить утерянное качество звучания аудио материала,
- удалить нежелательные щелчки, шумы, треск, специфические помехи записей с аудио-кассет,
- провести другую корректировку аудио.
Примеры: Dart, Clean (от Steinberg Inc.), Audio Cleaning Lab. (от Magix Ent.), Wave Corrector.
Программное обеспечение звуковых технологий
Секвенсоры - программы для написания музыки
- используют MIDI-синтезатор:
- аппаратный внешний или встроенный почти в любую звуковую карту, программный, организуемый специальным ПО.
- аппаратный внешний или встроенный почти в любую звуковую карту,
- программный, организуемый специальным ПО.
- предоставляют пользователю:
- способ piano-roll (вертикальная ось с изображением клавиш пианино, горизонтальная ось времени) - ставя на пересечении штрихи разной длинны, добиваются звучания определенной ноты с определенной продолжительностью. привычный нотный стан,
- способ piano-roll (вертикальная ось с изображением клавиш пианино, горизонтальная ось времени) - ставя на пересечении штрихи разной длинны, добиваются звучания определенной ноты с определенной продолжительностью.
- привычный нотный стан,
Пример: Cubase 5.1
Трекеры
- отдельная категория звуковых программ,предназначенных именно для создания музыки
Разновидности видеосигналов
Телевизионный сигнал - совместимые системы цветного телевидения
- NTSC (National Television System Color) - первая система цветного телевидения, нашедшая практическое применение. Разработана в США, в 1953 г. принята для вещания, в настоящее время используется в Канаде, большинстве стран Центральной и Южной Америки, Японии, Южной Корее и Тайване.
- PAL (Phase Alternation Line) - принята в большинстве стран Западной Европы, Африки и Азии, включая Китай, Австралию и Новую Зеландию .
- SECAM (SEquentiel Couleur A Memoire) - регулярное вещание начато только в 1967 одновременно во Франции и СССР. Принята в Восточной Европе, Монако, Люксембурге, Иране, Ираке.
Разновидности видеосигналов
Тип системы
NTSC
Вертикальная частота развертки, Гц
PAL
60
Горизонтальная частота развертки, кГц
50
SECAM
Число строк в кадре
15.374
525
15.625
Число видимых (активных) строк в кадре
50
Тип модуляции цветовой поднесущей
480
15.625
625
625
576
Амплитудная
576
Амплитудная
Частотная
Разновидности видеосигналов
Аналоговый видеосигнал
- В видеомагнитофонах и камерах классов VHS (Video Home System) и Video-8 используются только композитные видеосигналы, при этом разрешение ограничено 240 телевизионными линиями.
- сигнал S-Video используется при записи/воспроизведении в аппаратуре классов S-VHS и Hi-8 , используется не единый композитный сигнал, а два композитных сигнала Y/C (Y- яркостный сигнал и синхроимпульсы, C (Chrominance) - модулированные цветовые сигналы). Обеспечивается разрешение в 400 линий.
- в профессиональной аппаратуре класса Betacam используется компонентный сигнал YUV. Обеспечивается разрешение до 500 линий
Представление видеосигналов в цифровой форме
Для преобразования любого аналогового сигнала (звука, изображения) в цифровую форму необходимо выполнить три основные операции:
- дискретизацию квантование кодирование
- дискретизацию
- квантование
- кодирование
- Операции, связанные с преобразованием аналогового сигнала в цифровую форму (дискретизация, квантование и кодирование), выполняются одним устройством - аналого-цифровым преобразователем (АЦП). Сейчас АЦП может быть просто интегральной микросхемой.
- Обратная процедура, т.е. восстановление аналогового сигнала из последовательности кодовых слов, производится в цифро-аналоговом преобразователе (ЦАП).
Устройства обработки видеосигналов
Устройства обработки видеосигналов можно разделить на несколько категорий:
- Специализированные устройства, выполняющие ограниченный набор функций и работающие, как правило, в реальном времени. К этой категории относятся всевозможные видеомикшеры, видеокоммутаторы, генераторы спецэффектов, синхронизаторы, транскодеры и т. д.
- Устройства обработки видеосигналов на базе компьютеров PC, Macintosh, Silicon Graphics, Amiga, Alfa DEC и т. д. Обычно эти устройства выполняются в виде плат или внешних блоков активно взаимодействующих с компьютером при помощи программного обеспечения. Такие устройства редко работают в реальном времени, но имеют практически неограниченные возможности.
- Управляющие и вспомогательные устройства, которые управляют видеоаппаратурой (видеомагнитофонами, видеокамерами, видеомикшерами, коммутаторами и т. д.). Они могут быть как автономными, так и входить в состав компьютерного видеокомплекса. К этой категории относятся видеомонтажные контроллеры, платы линейного видеомонтажа, управляющие системы и т. д.
Средства обеспечения видеотехнологий
- при выборе видеоплаты (видеоконтроллера) для работы с видеоинформацией в первую очередь учитывается:
- требуемая разрешающая способность, количество цветов, необходимость графической акселерации для ускорения выполнение огромного числа видеоопераций
- требуемая разрешающая способность,
- количество цветов,
- необходимость графической акселерации для ускорения выполнение огромного числа видеоопераций
- видеоплата должна быть способна обработать видео, сжатое по стандарту MPEG , и ускорять видео в форматах Cinepak и Indeo .
- необходим ускоренный графический порт , который позволяет графической плате напрямую обмениваться информацией с центральным процессором и системной памятью и дает возможность использовать оперативную память компьютера для визуализации (рендеринга) текстур, что создает динамическую среду памяти.
Средства обеспечения видеотехнологий
Основные параметры видеоплат:
- Глубина цвета – 8-битовая глубина соответствует 256 цветам, 16-битовая ─ 65536 цветам, 24-битовая ─ 16 млн. цветов.
- Тип видеопамяти:
- EDO DRAM обеспечивает высокую производительность при работе с офисными программами. SDRAM и SGRAM - разновидности синхронной памяти (теоретически удваивает быстродействие графической системы). VRAM и WRAM - двухпортовая память (данные могут поступать в первую дверь и затем выходить непосредственно через вторую).
- EDO DRAM обеспечивает высокую производительность при работе с офисными программами.
- SDRAM и SGRAM - разновидности синхронной памяти (теоретически удваивает быстродействие графической системы).
- VRAM и WRAM - двухпортовая память (данные могут поступать в первую дверь и затем выходить непосредственно через вторую).
- Частота RAMDAC . RAMDAC –цифро-аналоговый преобразователь (ЦАП), принимающий от ПК цифровую информацию и превращающий ее в аналоговый сигнал, который затем отображается на экране монитора. Чем быстрее RAMDAC , тем выше может быть частота регенерации экрана.
- Частота регенерации определяет число кадров, перерисовываемых за секунду. Все современные платы поддерживают программное управление частотой регенерации, необходимо устанавливать ее оптимальное значение для того разрешения экрана, с которым работает пользователь.
- Видеоинтерполяция . Если плата не использует интерполяцию, то при увеличении окна с видеоизображением края объектов становятся "зубчатыми". Предпочтение имеют платы с интерполяцией по обеим осям: X и Y .
Средства обеспечения видеотехнологий
- Платы 3 Dfx - трехмерные графические ускорители, которые дополняют возможности обычной видеоплаты при работе с трехмерной графикой и. используются обычно в игровых программах.
- TV-тюнеры (преобразователи TV-VGA ) имеют антенный видеовход и преобразуют принимаемый вещательный TV-сигнал в VGA-сигнал (RGB-сигнал), направляемый непосредственно в окно на экране монитора, как в телевизоре. Такое видео называют оверлейным или "живым".
- VGA-TV (декодеры или платы вывода ) – преобразование цифрового изображения из видеопамяти компьютера в аналоговый RGB-телесигнал для передачи на линейный вход телевизора или видеомагнитофона.
- MPEG-плейеры – аппаратная декомпрессия MPEG-видеофайлов (применяется при недостаточной производительности центрального процессора).
- Мультимедиа-акселераторы предоставляют программам обработки видео возможность аппаратной реализации некоторых функций.
- Фрейм-грабберы (платы захвата ) осуществляют оцифровку видео в режимах:
- Захват отдельных кадров Захват последовательностей в реальном времени без сжатия сжатие в реальном времени.
- Захват отдельных кадров
- Захват последовательностей в реальном времени без сжатия сжатие в реальном времени.
- без сжатия
- сжатие в реальном времени.
Методы представления видео в цифровой форме
Компрессия / декомпрессия видеоданных: методы сжатия данных - реализуются как программно, так и аппаратно.
- Средства сжатия данных называют КОДЕКами ( frame grabber ) — Compressor - DECompressor ). Широко распространены КОДЕКи: Motion JPEG , INDEO , Cinepak и т. д.
С точки зрения времени компрессии/декомпрессии различают:
- симметричные методы - время компрессии (по числу операций) примерно совпадает с временем декомпрессии.
- асимметричные - компрессия требует значительно больше операций (в десятки и сотни раз), чем декомпрессия. Асимметричные методы дают большую степень сжатия, чем симметричные при одинаковом качестве результата.
С точки зрения сохранения информации различают методы кодирования:
- без потери информации - уменьшается информационная избыточность
- с потерей информации - потери только той информацию, к которой приёмник (например, человек) не чувствителен или мало чувствителен.
Методы представления видео в цифровой форме
Методы сжатия данных
- Алгоритм Хаффмана - чаще повторяющиеся элементы кодируются более короткими последовательностями битов. Алгоритм Лемпеля-Зива-Уэлча ( LZW ) - кодированиются не отдельные элементаа, а последовательности. RLE-алгоритм ( Run Length Encoding ) кодирует последовательности одинаковых элементов, указывая элемент и длину последовательности. В РСХ-файлах даёт сжатие до 2-3 раз (при 16 или 256 цветах).
- Алгоритм Хаффмана - чаще повторяющиеся элементы кодируются более короткими последовательностями битов.
- Алгоритм Лемпеля-Зива-Уэлча ( LZW ) - кодированиются не отдельные элементаа, а последовательности.
- RLE-алгоритм ( Run Length Encoding ) кодирует последовательности одинаковых элементов, указывая элемент и длину последовательности. В РСХ-файлах даёт сжатие до 2-3 раз (при 16 или 256 цветах).
Методы представления видео в цифровой форме
Сжатие движущихся изображений
- Система DVI (Digital Video Interactive ) - использована модель YUV с 9-ю битами на один пиксел. Прореживание осуществлялось по компонентам цветности 4:1:1, а дальше – алгоритм Хаффмана.
- INDEO (INtel viDEO) – продолжение DVI. Возможность программной декомпрессии. Кодек INDEO - аналог варианта Хаффмана
- MS Video for Windows – формат цифрового видео AVI (многодорожечный) был разработан в 1992 г. Кодеки: Video1; RLE; INDEO; Cinepak; Motion JPEG (каждый кадр ключевой).
- Алгоритм MPEG - обеспечивает коэффициенты сжатия от 40:1 до 200:1. Был представлен в январе 1992 года как стандарт MPEG I для сжатия цифрового видео и звука. Скорость поступления видео- и аудиоданных до 1.5 Мбит/с, изображение размером 352х288 с частотой 30 кадров в секунду.
Программное обеспечение мультимедиа-приложений
Программы , которые позволяют объединить отдельные кусочки в единое законченное целое мультимедиа-приложение, можно условно разделить на три группы:
- специализированные программы предназначены для быстрой подготовки определенных типов мультимедиа-приложений: PowerPoint позволяет создавать сложные программные надстройки за счет использования Visual Basic .
- авторские инструментальные средства – мультимедиа программы сетевых публикаций, программы 2 D и 3D анимации, программы цифрового нелинейного монтажа: Microsoft Front Page , Macromedia Dreamweaver , Adobe Premier, Macromedia Flash и пр.
- языки программирования . Профессиональные российские разработчики мультимедийных приложений чаще всего используют языки программирования Visual C++, Delphi , реже Visual Basic .
Технологии создания мультимедиа-приложений
Авторские средства представляют инструментальные программные среды, которые позволяют разработчику ( даже обычному пользователю) собрать из заготовок (отсканированных фотографий, оцифрованного звука, видео и прочих медиа-полуфабрикатов) свой собственный мультимедиа продукт .
Классификация авторских систем по используемым методологиям:
- Язык сценариев ( Scripting Language );
- Изобразительное управление потоком данных ( Icon / Flow Control )
- Кадр ( Frame );
- Карточка с языком сценариев ( Card / Scripting )
- Временная шкалу ( Timeline );
- Иерархические объекты ( Hierarchical Object )
- Гипермедиа-ссылки ( Hypermedia Linkage );
- Маркеры ( Tagging ).
Технологии создания мультимедиа-приложений
- Процесс разработки мультимедийного приложения
Технологии создания мультимедиа-приложений
Последовательность действий разработчика мультимедиа продукта на основе использования авторского средства:
- Сбор и просмотр всех собранных материалов: фотографий, видеофильмов, музыкальных записей. Расположение материалов в хронологическом порядке с текстовым сопровождением Составление структуры мультимедиа приложения в целом и структуры каждого элемента на основании собранных и систематизированных материалов Сканирование необходимых материалов в том размере, в котором они будут представлены затем на экране (желательно в режиме 72 dpi (точек на дюйм), масштаб 100%, True С olor ). Размеры сканируемых фрагментов фотографий будут пропорционально меньше по сравнению с фотографией. Получаемые графические файлы могут соответствовать различным форматам, например, BMP или JPG . Запись текста, который нужно произнести. Составление списка и подбор музыкальных произведений, которые надо поместить на диск.
- Сбор и просмотр всех собранных материалов: фотографий, видеофильмов, музыкальных записей.
- Расположение материалов в хронологическом порядке с текстовым сопровождением
- Составление структуры мультимедиа приложения в целом и структуры каждого элемента на основании собранных и систематизированных материалов
- Сканирование необходимых материалов в том размере, в котором они будут представлены затем на экране (желательно в режиме 72 dpi (точек на дюйм), масштаб 100%, True С olor ). Размеры сканируемых фрагментов фотографий будут пропорционально меньше по сравнению с фотографией. Получаемые графические файлы могут соответствовать различным форматам, например, BMP или JPG .
- Запись текста, который нужно произнести.
- Составление списка и подбор музыкальных произведений, которые надо поместить на диск.
Технологии создания мультимедиа-приложений
Последовательность действий разработчика мультимедиа продукта на основе использования авторского средства:
- Оцифровка звука и музыки. Для оцифровки голоса достаточно частоты 11 КГц и разрядности 8 бит. Если речь идет о музыке, то 22 КГц. Как правило, для начала достаточно записать все в формате WAV . :
- Оцифровка звука и музыки. Для оцифровки голоса достаточно частоты 11 КГц и разрядности 8 бит. Если речь идет о музыке, то 22 КГц. Как правило, для начала достаточно записать все в формате WAV . :
- Для записи голоса проще всего воспользоваться обычным Фонографом, встроенным в Windows . Опытный пользователь использует звуковые редакторы типа Wave Front , и формат МРЗ (в десять раз компактнее WAV ). Для переписывания музыки с Audio CD существуют такие программы как с d 2 wav . Для перевода звуковой дорожки с CD в формат WAV производятся операции простого копирования.
- Для записи голоса проще всего воспользоваться обычным Фонографом, встроенным в Windows . Опытный пользователь использует звуковые редакторы типа Wave Front , и формат МРЗ (в десять раз компактнее WAV ). Для переписывания музыки с Audio CD существуют такие программы как с d 2 wav . Для перевода звуковой дорожки с CD в формат WAV производятся операции простого копирования.
- Для записи голоса проще всего воспользоваться обычным Фонографом, встроенным в Windows . Опытный пользователь использует звуковые редакторы типа Wave Front , и формат МРЗ (в десять раз компактнее WAV ).
- Для переписывания музыки с Audio CD существуют такие программы как с d 2 wav .
- Для перевода звуковой дорожки с CD в формат WAV производятся операции простого копирования.
- Оцифровка при записи с аналогового источника или перенос видео данных из цифровой камеры на винчестер компьютера. Видеофайлы — это самый громоздкий материал. Как правило, платы оцифровки видео поддерживают формат AVI и MPEG .
- Оцифровка при записи с аналогового источника или перенос видео данных из цифровой камеры на винчестер компьютера. Видеофайлы — это самый громоздкий материал. Как правило, платы оцифровки видео поддерживают формат AVI и MPEG .
Технологии создания мультимедиа-приложений
Этапы разработки мультимедиа продукта
- Разработка концепции, идеи: н аличие команды, менеджера проекта , бюджета , разработка основных технических и программных решений.
- Анализ ресурсов.
- Лицензии.
- Проектирование:
- проектирование архитектуры информации (структуры); проектирование взаимодействия с пользователем (пользовательский интерфейс).
- проектирование архитектуры информации (структуры);
- проектирование взаимодействия с пользователем (пользовательский интерфейс).
- Создание информационных объектов; определенный стиль оформления, соответствующий основной тематике издания.
- Нормирование интерфейса с пользователем; определяется тип интерфейса и его техническая реализация.
- Интеграция информационных элементов в линейное (презентация) или нелинейное (интерактивные авторские приложения) приложение.
- Тестирование, отладка.
- Выпуск в свет.
Контрольные вопросы
- Что такое мультимедиа?
- Что такое мультимедийная среда?
- Что называется мультимедийной технологией?
- Назовите разновидности мультимедиа. Опишите их.
- В каких видах деятельности применяются мультимедиа? Приведите примеры.