Основні поняття та різновиди мультимедійних технологій
Поняття «мультимедіа». Термін «мультимедіа» можна перекласти на українську мову як багато середовищ» (чи багато засобів, носіїв). Переважно під мультимедіа (multimedia) розуміють сучасну інформаційну технологію, яка дозволяє об'єднати в комп'ютерній системі текст, звук, відеозображення, графічне зображення і анімацію (мультиплікацію). Іноді мультимедіа визначають як суму технологій, що дають комп'ютеру змогу вводити, обробляти, зберігати, передавати і відображати (виводити) такі типи даних, як текст, графіка, анімація, оцифровані нерухомі зображення, відео, звук, мова. Мультимедіа також називають інтерактивні системи, що забезпечують роботу з нерухомими зображеннями і рухомим відео, анімованою комп'ютерною графікою і текстом, мовою і високоякісним звуком [48].
Традиційні засоби інформації, від книжок до телебачення, являють собою фіксований лінійний текст, який викладається виключно в одній, заданій його автором, площині оповідання. Поява мультимедіа дала поштовх до переходу від лінійних аналогових форм до цифрових нелінійних структур завдяки гіпертексту та гіпермедіа. Гіпертекст – це структурований текст, перехід від одного фрагменту якого до іншого може здійснюватися не лінійно, а за допомогою посилань (галужень) у певних точках тексту; гіпермедіа - це гіпертекст з посиланнями на «нетекстові» фрагменти інформації (графіку, відео тощо). «З погляду здорового глузду мультимедіа можна описати як можливість об’єднання творчих можливостей радіо- та телепрограм, газет, книжок, журналів, коміксів, анімаційних фільмів та музичних дисків у одному наборі комп’ютерних файлів, доступ до якого здійснюється за допомогою програми, що забезпечує цілісність комплексного сприйняття» [110, с. 15], причому ця програма є інтерактивною. Можливість об’єднання різних типів та засобів передачі інформації зумовлена тим, що всі вони, забезпечуючи взаємодію з людиною через різні органи чуття, можуть бути відтворені у цифровій формі, тобто існувати у вигляді структурованого набору бітів. Відповідно в аспекті технології реалізації, мультимедіа можна розглядати як довільну комбінацію кількох засобів передачі інформації, представленої у цифровій формі, ступінь інтегрованості яких є достатньою для представлення через один інтерфейс чи керування за допомогою одної комп’ютерної програми [110, с. 26].
Поняття «мультимедіа» визначає інформаційну технологію на основі програмно-апаратного комплексу у вигляді комп'ютера із відповідним програмним забезпеченням, вбудованими аудіо- та відео пристроями чи засобами підключення аудіо- та відеотехніки. Технологія мультимедіа дає змогу при вирішенні задач автоматизації інтелектуальної діяльності об'єднати можливості ЕОМ з традиційними для нашого сприйняття засобами представлення звукової і відеоінформації [91]. Вирішувані задачі охоплюють всі області інтелектуальної діяльності: науку і техніку, освіту, культуру, бізнес, а також застосовуються в сфері послуг при створенні електронних гідів, електронних демонстраторів результатів послуг (моделювання зачісок, одягу, інтер'єру тощо) із зануренням в реальне середовище. Комп'ютер, споряджений платою мультимедіа, стає універсальним повчальним чи інформаційним інструментом у довільній галузі знань та людської діяльності. Величезні перспективи має мультимедіа в медицині: бази знань, методики операцій, каталоги ліків і тому подібне У сфері бізнесу провідне місце посідають мультимедійні презентації та каталоги продукції: так, фірми з продажу нерухомості використовують технологію мультимедіа для створення каталогів будинків - покупець може побачити на екрані будинок в різних ракурсах, зробити інтерактивну відеопpогулянку по всіх приміщеннях, ознайомитися з планами і кресленнями. Технологічні мультимедіа користуються великою увагою військових: так, Пентагон реалізує програму перенесення на інтерактивні відеодиски всієї технічної, експлуатаційної і навчальної документації по всіх системах озброєнь, створення і масового використання тренажерів на їх основі. Лавиноподібно зростає видання гіпермедіа-книг, енциклопедій, путівників. Порівняно великий обсяг компакт-диска робить його ідеальним носієм для енциклопедичних видань. Користувач «мандрує» по енциклопедії за допомогою клавіатури, миші чи графічних зображень у вигляді фотографій, карт, екранів підказок, електронних закладок і словників з мільйонів статей. Очевидна сфера застосування продуктів мультимедіа в науково-дослідній області - це електронні архіви і бібліотеки (документування колекцій джерел і експонатів, їх каталогізація і науковий опис, створення «страхових копій» та копій-замінників для роботи замість роботи з оригіналами тощо).
Перспективними є роботи з впровадження в системи мультимедіа елементів штучного інтелекту, які надають їм здатність «відчувати» середовище спілкування, адаптуватися до нього і оптимізувати процес спілкування з користувачем. Такі системи підлагоджуються під користувачів, аналізують коло їх інтересів, пам'ятають питання, що викликають проблеми, і можуть самі запропонувати додаткову або роз'яснюючу інформацію. Ще більш розширюють діапазон взаємодії з комп'ютером системи з розумінням природної мови.
Можливості мультимедіа. Технології мультимедіа вважають одними з найперспективніших інформаційних технологій. Вони спрямовані на створення продукту, який містить «колекції зображень, текстів і даних, що супроводжуються звуком, відео, анімацією і іншими візуальними ефектами (Simulation), що включає інтерактивний інтерфейс і інші механізми управління» [91]. Якщо єдиною метою створення такого продукту є отримання зображення та демонстрація мультимедійних елементів, як це має місце на Web-сторінці чи у електронній енциклопедії на компакт-диску, то такий продукт називають мультимедійною продукцією чи продуктом. Якщо мультимедійне зображення тісно пов’язане з обчисленнями, то такий програмний продукт називають мультимедійним додатком.
Передвісником мультимедійної технології вважають концепцію організації пам’яті MEMEX В.Буша, яка передбачала пошук інформації за змістом, а не за формальними ознаками (порядком номерів, послідовності у тексті, індексами тощо). Ця ідея знайшла свою реалізацію спочатку у гіпертексті, потім у гіпермедіа, і, нарешті у мультимедіа. Зростання наприкінці 80-х рр. ХХ сторіччя уваги до можливостей використання мультимедійних технологій у галузях освіти та мистецтва пов’язують із створенням за концепцією Б.Гейтса комерційного мультимедійного продукту «National Art Gallery. London» на основі службової музейної інвентарної бази даних з використанням всіх можливих інформаційних середовищ: зображень, звуку, анімації, гіпертексту. Цей продукт реалізував три основні принципи мультимедіа:
· представлення інформації за допомогою комбінації багатьох (multi) середовищ (media);
· наявність кількох сюжетних ліній в змісті продукту (у т. ч. побудованих самим користувачем на основі «вільного пошуку» в межах запропонованої у продукті інформації);
· художній дизайн інтерфейсу і засобів навігації.
До переваг мультимедійних технологій відносять їх специфічні можливості, які можна використовувати у представленні інформації:
· можливість зберігання великого обсягу різної інформації на одному носієві (більше 100 томів авторського тексту, близько 2000 і більш високоякісних зображень, більше години відеозапису, більше 15 годин звуку);
· можливість збільшення (деталізації) на екрані зображення або його найцікавіших фрагментів, навіть у двадцятикратному збільшенні (режим "лупа") при збереженні якості зображення, що особливо важливо для презентації витворів мистецтва і унікальних історичних документів;
· можливість порівняння зображення і обробки його різноманітними програмними засобами із науково-дослідницькими або пізнавальними цілями;
· можливість виділення в супроводжуючому зображення текстовому або іншому візуальному матеріалі «гарячих слів (областей)», за якими здійснюється негайне отримання довідкової чи будь-якої іншої пояснювальної інформації, у т.ч. візуальної (технології гіпертексту і гіпермедіа);
· можливість здійснення безперервного музичного або будь-якого іншого аудіо супроводу, відповідного статичному або динамічному візуальному ряду;
· можливість використання відеофрагментів із фільмів, відеозаписів тощо, функції «стоп-кадру», покадрового «перегортання» відеозапису;
· можливість включення у вміст диска баз даних, методик обробки зображень, анімації (наприклад, супроводу розповіді про композицію картини графічною анімаційною демонстрацією геометричних побудов її композиції) тощо;
· можливість підключення і передачі за глобальною мережею Internet;
· можливість роботи з різними додатками (текстовими, графічними і звуковими редакторами, картографічною інформацією);
· можливість створення власних «галерей» (вибірок) з інформації, що є у продукті (режим «кишеня» або «мої позначки»);
· можливість «запам'ятовування пройденого шляху» і створення| «закладок» на сторінці, що викликає інтерес;
· можливість автоматичного перегляду всього вмісту продукту («слайд-шоу») або створення анімованого і озвученого «путівника-гіда» по продукту;
· включення до складу продукту ігрових компонентів з інформаційними складовими;
· можливість «вільної» навігації і виходу в основне меню (укрупнений| зміст), на повний зміст або зовсім з програми в будь-якій точці продукту.
Ще одна сфера застосування комп'ютерів, в якій важливу роль відіграє технологія мультимедіа - це системи віртуальної, або альтернативної pеальності, а також близькі до них системи «телепpисутності». За допомогою спеціального устаткування - пари мініатюрних дисплеїв, квадpонавушників, спеціальних сенсорних рукавичок і навіть костюма можна «увійти» до світу (а не зазирнути в нього через плоске віконце дисплея), згенерованого чи змодельованого комп'ютером, прогулятися по ньому, доторкнутися чи навіть узяти якийсь віртуальний предмет (відчувши при цьому його вагу), переставити його в інше місце; можна будувати, створювати та пізнавати цей світ зсередини.
Комбінування інформаційних засобів у мультимедіа. У мультимедійних продуктах застосовують дві базові моделі організування у систему спільного використання різнорідних засобів передачі інформації. За своєю сутністю ці моделі є нелінійними моделями взаємного розташування елементів різнотипної інформації на основі контролю за сторінками (page-based) та на основі контролю за часом (time-based). У першому випадку інформаційні фрагменти різного типу (текст, зображення, відео тощо) впорядковуються у просторово організованій двовимірній структурі, аналогічно до сторінки книги чи журналу. Часові (тобто змінні у часі) елементи, наприклад, відео чи звук, розташовуються як звичайні картинки фіксованої площі; їхній запуск та відтворення здійснюється активацією клавіш миші чи кнопками спеціальної панелі. Перехід від фрагменту до фрагменту відбувається за виділеними посиланнями (зв’язками), які з’єднують їх між собою і активуються переважно клацанням мишею. Саме такі часові мультимедійні продукти зі зв’язками і утворюють гіпермедіа. Прикладом гіпермедійної системи є зокрема, Інтернет.
Така організація мультимедійних систем успадкована ними від статичних паперових засобів передачі інформації і є для них неприродною, адже у часових мультимедійних системах основою організації є не простір, а час. Елементи впорядковуються у часі з використанням спеціальної часової шкали. Впорядкованими елементами часових послідовностей можуть виступати:
кадри, які прокручуються з певною швидкістю подібно до кадрів кіноплівки, відтворюючи ефект безперервного руху у реальному масштабі часу;
окремі сторінки, які перегортаються одна за одною подібно до слайдів.
Мультимедійна продукція, організація якої базується на часовій шкалі (time-based), називається мультимедійною презентацією. У такій продукції різні, у тому числі різнорідні, інформаційні фрагменти можуть оброблятися та відтворюватися паралельно: звук відтворюється разом з анімацією чи нерухомим зображенням; кілька відеокліпів відтворюються одночасно, накладаючись на нерухоме зображення і т.п. Елементи є керованими і координованими у часі: текст може з’явитися через заданий час після появи картинки чи початку відео кліпу, звук супроводжуватиме лише конкретне зображення, окремі зображення чи тексти виводяться на екран координовано з іншими фрагментами тощо. Найрозповсюдженішою часовою (тобто на основі управління за часом, time-based) мультимедійною технологією є Macromedia Flash. Стандартні програмні пакети для наукових, навчальних та бізнесових презентацій, такі як Power Point, дозволяють включення у презентації мультимедійних елементів, що перетворює слайдові презентації Power Point на мультимедійні.
Існує ще одна, хоча й менш розповсюджена, модель організування у мультимедійну систему спільного використання різнорідних засобів передачі інформації у вигляді взаємного розташування елементів різнотипної інформації на основі контролю за сценами (scene-based). У цьому випадку інформаційні фрагменти різного типу розташовуються у просторі тривимірної сцени, в межах якого користувач може вільно пересуватися, розглядаючи об’єкти, що зустрічаються на його шляху, з різних точок зору. У окремі вузли цих шляхів вводяться гіпертекстові посилання, які забезпечують відповідні переходи. Мультимедіа з контролем за сценами переважно призначені для застосування у системах віртуальної реальності; для їх створення було розроблено спеціальну мову моделювання віртуальної реальності VRML (Virtual reality Modeling Language); деякою мірою такий засіб організації елементів застосовано у стандарті MPEG-4 [110, с. 29, с. 274].
Термін «віртуальна реальність» застосовують для опису гранично наближеного до природного способу сприйняття штучного («віртуального») світу, за якого останній сприймається подібно до природного. За допомогою встановлених на голові пристроїв, чутливих до рухів голови користувача, зображення проектується на сітківку його очей. При русі голови зображення модифікуються, завдяки чому користувачеві видається, нібито він знаходиться усередині тривимірного простору і оглядається у ньому. «Інформаційні рукавиці» відслідковують рухи рук, тактильні інтерфейси забезпечують тактильний зворотній зв'язок, що дає змогу користувачу «торкатися» і «відчувати на дотик» об’єкти віртуального світу [110, с. 273]. Теоретично можлива реалізація одночасного впливу на всі органи чуття користувача, що дає змогу розглядати віртуальну реальність як граничний етап розвитку технологій та засобів мультимедіа.
Мову моделювання віртуальної реальності VRML було розроблено у 1994 р. для створення засобу розповсюдження віртуальної реакції мережею Internet через інтерфейс Web-браузерів, з 1998 р. мова має статус стандарту ISO. Мова описує специфікацію об’єктів через їх геометрію та матеріал, забезпечуючи можливість накладання на поверхні їх текстури. Ландшафт (геометрія) об’єктів) моделюється сіткою висот над певним нульовим рівнем. Об’єкти розташовують та пересувають у тривимірному просторі, задаючи їх координати та їх перетворення. Сцени можна по-різному освітлювати, задаючи різне положення та параметри джерела світла. Мова у сучасній версії забезпечує введення та підтримку гіперпосилань, у т.ч. на URL, містить засоби підтримки сценаріїв у вигляді елементів керування подіями та мультимедійними об’єктами, що забезпечує можливість інтерактивності. Основна відмінність, забезпечувана VRML, полягає у підтримуваному мовою способі відображення [110, с. 274]: після завантаження файлу VRML у відповідний Web-браузер з підтримкою модуля VRML користувач має змогу досліджувати представлений у файлі світ, пересуваючи точку спостереження у просторі моделі, тобто імітуючи переміщення користувача.
Технології мультимедіа з контролем за сценами зустрічаються у комп’ютерних іграх, хоча останні самі по собі мультимедійною продукцією не вважають.
Властивості інтерактивності часто додаються і у мультимедійні продукти, організовані за базовими моделями контролю за сторінками та контролю за часом, шляхом введення модулю підготовки сценаріїв, які дають змогу створювати прості програми, що виконують певні операції, як відгук на певні дії користувача. Останньому можуть пропонуватися засоби переходу у різних напрямках часової презентації, що забезпечує можливість управління петлями та галуженнями. У загальному випадку інтерактивність означає надання користувачу можливості керувати різнорідними інформаційними потоками в межах, окреслених програмами мультимедійних продуктів. Засоби контролю, які надаються користувачу, охоплюють діапазон від стилізованого набору елементів користувацького інтерфейсу у вигляді кнопок, клавіш, бігунків, меню, діалогових вікон тощо до реакції окремих частин екрану на переміщення у них (завжди чи у певний момент часу).