Управление мультимедийной информацией. Разработка пользовательских мультимедийных приложений с использованием возможностей Intel Perceptual Computing SDK
В этой статье хотелось бы рассказать о том, как можно управлять на данный момент наиболее популярными мультимедиа центрами - KODI (XBMC) и Dune HD, с помощью HTTP GET запросов.
Здесь будут описаны только самые наиболее востребованные запросы, которыми можно управлять удаленно (например: в пределах домашней WiFi сети или при соответствующих настройках роутера из сети INTERNET), не только с помощью заранее написанных скриптов, но и простым вводом их в адресную строку браузера. Все запросы описывать здесь я не буду, так как: во - первых, многие из них используются крайне редко, а во - вторых, для этого есть полная документация. Данные запросы можно использовать так же, для управления мультимедиа центрами, при построении систем «Умный Дом», чем я собственно говоря и воспользовался при разработке своей.
Вот собственно те самые запросы:
1. Запуск файла на воспроизведение.
Ссылки на файлы должны быть прямыми, то есть явно указывать на воспроизводимый файл или поток, ссылки с Youtube таковыми не являются, поэтому работать не будут. Как получить прямую ссылку на ролик с Youtube можно посмотреть .
- 1.1 KODI (XBMC) - http://LOGIN :PASSWORD @ip-address :8080/jsonrpc?request={«jsonrpc»:«2.0»,«id»:«1»,«method»:«Player.Open»,«params»:{«item»:{«file»:"URL "}}}
- 1.2 Dune HD - http://ip-address /cgi-bin/do?cmd=launch_media_url&media_url=URL
LOGIN
- логин установленный в настройках KODI (Веб-сервер ->
PASSWORD
- пароль установленный в настройках KODI (Веб-сервер -> Разрешить управление Kodi по HTTP).
URL
- сетевой или интернет адрес воспроизводимого ресурса.
ip-address
- IP адрес устройства в домашней или INTERNET сети.
Если настроить Dune HD так, что при нажатии кнопки POWER на пульте он уходит в режим Standby, то при запросе на воспроизведение файла он включится автоматически.
2.
Регулировка громкости.
- 2.1 KODI (XBMC) - http://LOGIN :PASSWORD @ip-address :8080/jsonrpc?request={«jsonrpc»:«2.0»,«id»:«1»,«method»:«Application.SetVolume»,«params»:{«volume»:35 }}}
- 2.2 Dune HD - http://ip-address /cgi-bin/do?cmd=set_playback_state&volume=35
3. Перемотка на определенную позицию.
- 3.1 KODI (XBMC) - http://LOGIN :PASSWORD @ip-address :8080/jsonrpc?request={«jsonrpc»:«2.0»,«method»:«Player.Seek»,«params»:{«playerid»:0 ,«value»:50 },«id»:«1»}
- 3.2 Dune HD - http://ip-address /cgi-bin/do?cmd=set_playback_state&position=50
Есть еще один нюанс - здесь и в дальнейшем для KODI предварительно нужно получать значение «playerid» , это id активного плеера.
Получается он при помощи следующего запроса: http://LOGIN :PASSWORD @ip-address :8080/jsonrpc?request={«jsonrpc»:«2.0»,«method»:«Player.GetActivePlayers»,«id»:«1»}, если мне не изменяет память, то порядок примерно такой: для аудио - «playerid»:0, для видео - «playerid»:1, для фото - «playerid»:2. Значения должны быть типа integer, то есть целые числа без кавычек.
4. Пауза/Воспроизведение.
- 4.1 KODI (XBMC) - http://LOGIN :PASSWORD @ip-address :8080/jsonrpc?request={«jsonrpc»:«2.0»,«id»:«1»,«method»:«Player.PlayPause»,«params»:{«playerid»:0 }}
- 4.2 Dune HD - http://ip-address /cgi-bin/do?cmd=set_playback_state&speed=0 - пауза/ 256 - воспроизведение
- 5.1 KODI (XBMC) - http://LOGIN :PASSWORD @ip-address «playerid»:0 ,«to»:«next» }} -
- 5.2 Dune HD - http://ip-address E21DBF000
6. Предыдущий трек в плейлисте.
- 6.1 KODI (XBMC) - http://LOGIN :PASSWORD @ip-address :8080/jsonrpc?request={«jsonrpc»:«2.0»,«id»:«1»,«method»:«Player.GoTo»,«params»:{«playerid»:0 ,«to»:«previous» }} -
- 6.2 Dune HD - http://ip-address /cgi-bin/do?cmd=ir_code&ir_code=B649BF00
Существует еще масса разного вида запросов, для данных мультимедиа центров, при помощи которых можно реализовать практически любой функционал. В итоге можно получить например вот такой web интерфейс управления, на котором будут отображаться все действия с пультом управления, или оснастить мультимедиа центр возможностью голосового поиска такого контента, как музыка или видео . Форматы ответов мультимедиа центров: KODI (XBMC) - JSON формат, Dune HD - XML формат. Управление можно реализовать на различных языках программирования, поддерживающих посылку HTTP GET запросов, и возможность работы с JSON, я для этих целей использовал всем известный php (curl, json_decode и для DuneHD simplexml_load_file).
В Умном Доме система мультирум выполняет огромный набор полезных функций. Она не только обеспечивает возможность удобного управления аудио- и видеоконтентом, но и позволяет оповестить хозяина о нештатной ситуации, собрать всех членов семьи за обеденным столом и т. д.
Ключевые преимущества
Оповещение об экстренной ситуации. В случае попытки взлома или, например, аварийной протечки труб на кухне включаются колонки аудиосистемы мультирум и оповещают всех, кто находится в доме. Это позволяет быстро среагировать и своевременно принять меры в любой экстренной ситуации.
Управление мультимедиа напрямую со смартфона. Включать музыкальное сопровождение можно с медиасервера или со своего мобильного устройства. Вам не нужно вставать с дивана или отрываться от дел за рабочим столом. По сигналу со смартфона музыка направляется системой в нужную музыкальную зону, подключенную к колонкам аудиосистемы.
Функция «Следящая музыка». Вам не придется отрываться от прослушивания любимой композиции только потому, что нужно пойти в другую комнату. Система создает эффект следования музыки за вами, получая данные с датчиков движения. Колонки отключаются позади и включаются впереди вас.
Отправка сообщений на любую медиаточку. С помощью системы мультирум можно в режиме онлайн отправить голосовое оповещение в любую комнату, где установлены колонки. Просто произнесите сообщение в свой телефон, и оно прозвучит в выбранном помещении дома. С помощью системы можно позвать членов семьи или гостей к столу, позвать мужа, задержавшегося в гараже, попросить принести нужный вам предмет из другой комнаты и т. д.
Распределенная система. Медиаточка расположена рядом с колонками в запотолочном пространстве, это позволяет экономить на дорогостоящих аудиокабелях, получая качественный звук класса D мощностью 100 Вт в ваших комнатах. В других системах мультирум стоимость только проводов может превышать стоимость полной системы мультирум МиМисмарт.
Разнообразие музыки. Вы можете создавать свои любимые плейлисты из локальной библиотеки на 2 Тб, включать любимые интернет-радиостанции, воспроизводить музыку с iOS-устройств через AirPlay, использовать DLNA на Android, выводить звук из телевизора на мощные потолочные колонки. Это действительно полноценная система аудио-мультирум, с которой вы и ваша семья можете наслаждаться музыкой в любом месте вашего дома, создавать настроение для ваших гостей и получать удовольствие от жизни в вашем новом доме.
Основные возможности
Зонирование аудио- и видеосигнала. С помощью системы мультирум в каждом помещении дома воспроизводится своя музыка на выбор. Например, в детской можно включить музыкальную сказку, в то же время в гостиной будет играть джаз, а в рабочем кабинете – классика.
Централизованное управление. Мультирум в Умном Доме позволяет централизованно управлять контентом из любой комнаты. Вы можете смотреть видео или слушать музыку там, где вам этого хочется, вне зависимости от места установки воспроизводящего мультимедиа оборудования.
Голосовые оповещения. Система сообщит вам о входящем звонке на телефон или домофон, срабатывании датчиков протечки и т. д. При этом громкость телевизора или играющей в данный момент музыки уменьшится автоматически.
Внутридомовая связь. Система мультирум позволяет выводить звуковые сообщения как во все помещения в доме, так и в отдельные комнаты. Например, можно таким образом, не выходя из кухни, сказать малышам в детской, что пора ложиться спать.
Чтобы узнать больше о возможностях системы мультирум и актуальных ценах, обратитесь в компанию MiMismart. Наши специалисты подберут и помогут купить необходимые компоненты, выполнят их монтаж, установят необходимое программное обеспечение для управления мультимедиа в Умном Доме.
Комфортная жизнь в современном доме – это не только оптимальный микроклимат плюс «все удобства». Как и во все времена, люди жаждут не только «хлеба», но и «зрелищ». Причём, одного домашнего кинотеатра нам уже недостаточно: редкая квартира сегодня обходится единственным телеэкраном. Да и любимую музыку мы хотели бы слышать в любой из комнат – причём непременно в хорошем качестве.
Казалось бы, никаких проблем: цены на аппаратуру с каждым годом снижаются, диагонали экранов и плотность пикселей на них растут, а сабвуфер размером со сигаретную пачку способен выдавать вполне приличный – по уровню громкости и качеству – звук. Но признайтесь: радует ли вас это нагромождение оборудования и переплетение кабелей вокруг? Не утомляет ли постоянный поиск нужного пульта или соответствующего настроению компакт-диска?
Компания BMS Traiding предлагает избавиться от этих затруднений при помощи системы мультирум. Мы объединим все средства мультимедиа дома в единую систему, удобную в управлении и не захламляющую жилую площадь всевозможной аппаратурой.
Основные компоненты системы мультирум
Мультирум – это централизованное управление мультимедиа-контентом во всём доме. Оборудование, из которого состоит система, можно условно разделить на четыре основные группы.
Серверная аппаратура , транслирующая звук и изображение по всему дому. Как правило, это оборудование устанавливается в отдельном помещении. Компоненты могут быть самыми разными: ресиверы, усилители, медиаплееры, диск-чейнджеры, накопительные устройства – или мощный десктоп, подключённый к интернету.
Устройства воспроизведения – телевизоры, мониторы, аудиоколонки, сабвуферы и пр. Эта аппаратура устанавливается в любой точке дома – там, где она будет востребована. В частности, экраны и громкоговорители можно встроить в стены и подвесные потолки. Ничего лишнего, только качественное изображение и объёмный звук!
Устройства управления в мультируме могут размещаться в каждом из помещений – в виде компактных настенных тачскрин-панелей. А в роли дистанционного пульта в умном доме выступает ваш персональный смартфон. Мультирум «дружит» и с «Андроидом», и с iOS, так что управление мультимедиа осуществляется практически с любого современного телефона.
Коммуникации. Для подключения необходимо множество всевозможных кабелей, которые, разумеется, полностью скрываются под отделкой стен и потолков. В обязательном порядке требуется интернет и домашняя сеть Wi-Fi. А если вы желаете слушать FM-радио и смотреть каналы спутникового телевидения, то снаружи необходимо установить соответствующие антенны.
Заинтересовало? Оставьте заявку на звонок!
Для чего стоит подключить мультирум
Само собой, такое управление звуком и изображением раз и навсегда решает проблему с поиском пультов или нужного контента. Завязанное на телефонию управление, интеграция оборудования в потолки и стены, отсутствие отнюдь не улучшающих дизайн помещений проводов – важные, приятные, но вполне очевидные плюсы системы мультирум. Однако автоматизация мультимедиа в умном доме несёт и другие преимущества.
Экономия на аппаратуре. Мы неслучайно начали с этого пункта: многие считают, что мультирум – это неоправданные расходы, непозволительная роскошь. Действительно, вам придётся вложить кое-какие деньги в аппаратуру. Но она вам понадобится в единственном экземпляре! И для городской квартиры, и для большого загородного дома, и даже для многоэтажного отеля вы приобретаете и устанавливаете один комплект серверного оборудования. Кроме того, вместо телевизоров в умном доме можно использовать мониторы – более экономный, но не уступающий по качеству изображения вариант. Остальные функции ТВ уже не понадобятся: звук исходит из встроенных колонок, а каналы переключаются на сервере.
Интеллектуальный домашний кинотеатр – это истинное удовольствие для киномана. Представьте себе: вы заходите в комнату, устраиваетесь поудобнее на мягком диване или в любимом кресле. А в это время умный кинотеатр закрывает шторы, плавно приглушает свет, включает телевизор или проектор… Если до этого в коридоре или соседних комнатах звучала музыка – автоматика выключает её или делает звук тише. Хотите прервать просмотр? Мультирум запомнит место, на котором вы остановились и начнёт следующий «сеанс» именно с него. Не желаете пропустить выпуск новостей или трансляцию футбольного матча? Запрограммированный планировщик переключит вас на нужный канал согласно расписанию.
Телефония и домофон. Как часто вы пропускали важный телефонный звонок из-за громкой музыки? Интегрированный в общую систему умного дома мультирум больше не допустит ничего подобного. Вам звонят – и фильм ставится на паузу, а звук музыки приглушается до комфортного уровня. Аналогично работает домофония. Более того, изображение с камер внешнего наблюдения можно сразу передать на экран, который вы используете в настоящий момент. Точно так же программируется мультирум на сообщения в «Скайпе» или «Вайбере». Ожидаете письма на электронную почту? Умный дом оповестит вас через встроенную акустику, а текст сообщения можно открыть непосредственно на экране телевизора.
Дополнительные функции и сценарии. Автоматизация звука позволит вам раз и навсегда избавиться ещё от одного бытового прибора – будильника. Просыпайтесь с любимой мелодией, звучащей по всему дому: когда вы встаёте с постели, когда вы чистите зубы или завариваете свежий кофе на кухне. Система сценариев предоставляет поистине фантастические возможности для мультимедиа: умный дом, оснащённый соответствующими датчиками, может работать в режиме «слежения» – громкость музыки увеличивается в тех комнатах, в которых вы находитесь. Устраиваете вечеринку? Отлично, тогда музыка зазвучит по всему дому. А на экранах будут демонстрироваться клипы или визуальные эффекты наподобие светомузыки.
Федеральное агентство по образованию РФ
Волгоградский Государственный Технический Университет
(ВолгГТУ)
Кафедра «Менеджмента, маркетинга и организации производства»
Контрольная работа
по дисциплине
«Информационные технологии»
на тему:
«Управление мультимедийной информацией»
Выполнила:
студентка группы
ЭУ16-во
Иванова И.И.
Проверил:
Данилов Е.А.Волгоград,2009
Введение..........................................................................................................3
Архитектура мультимедийной системы.................................................4
Стандарты мультимедийных систем.......................................................6
Методология разработки приложений....................................................7
Поддержка СУБД мультимедийных объектов.......................................8
СУБД, поддерживающая мультимедийные технологии – J ASMINE..................................................................................................10
Заключение.....................................................................................................12
Список использованной литературы……………………………………..13
Введение
Мультимедиа - это интерактивные системы, обеспечивающие работу с неподвижными изображениями и движущимся видео, анимированной компьютерной графикой и текстом, речью и высококачественным звуком.
Появление систем мультимедиа, безусловно, производит революционные изменения в таких областях, как образование, компьютерный тренинг, во многих сферах профессиональной деятельности, науки, искусства, в компьютерных играх и т.д.
Сложные приложения сегодняшнего и завтрашнего дня нуждаются а средствах представления данных и управления данными такими способами, которые не обеспечиваются достаточно легко ни традиционными моделями данных, ни объектно-ориентированными базами данных на их простейших базовых уровнях. Некоторыми примерами таких приложений служат:
Мультимедийные данные. Сегодня это одна из наиболее злободневных областей (об этом свидетельствует популярность CD- ROM и мультимедийных ПК, бум в этой области начался еще в 1993г, а вскоре появляются DVD и различные flash устройства). Конгломераты различных типов данных (аудио, видео, неподвижные изображения, тексты, традиционные реляционные данные) в едином приложении, а также системы передачи таких данных - все это является одной из доминирующих тенденций в течение последних десяти лет.
В современном поколении компьютеризованных приложений немногое вызывает столь большой интерес, как мультимедиа. Дополнение аудио, видео, текста и изображений к традиционным типам приложений стало еще одним шагом в продвижении к более тесному сближению компьютерных систем с теми сущностями реального мира, для представления которых они создаются.
Управление мультимедийной информацией
1. Архитектура мультимедийной системы
В простейшем случае мультимедийная информационная система концептуально подобна любой другой информационной системе. Ее среда подразделяется на систему доставки (пользовательский интерфейс), некоторую разновидность базовых возможностей управления информацией, а также коммуникационную инфраструктуру. В мультимедийных системах все эти три уровня имеют свойства, отличные от свойств их аналогов в более традиционных компьютерных средах. Это касается, в том числе и методов разработки приложений. Рассмотрим на рисунке концептуальную архитектуру мультимедийных информационных систем.
Пользовательский интерфейс: система доставки
Рассмотрим систему доставки, средствами которой пользователь вводит запросы и получает возвращаемую системой информацию. Гипермедийные интерфейсы являются главными системами доставки для современного поколения мультимедийных приложений. Такие интерфейсы позволяют пользователю просматривать информационную базу, состоящую из многих различных типов данных, нерегламентированными, непредсказуемыми способами, которые являются существенными для получения сведений из информационной базы.
Саму информационную базу мультимедийной информационной системы можно рассматривать как конгломерат многих типов данных, обсуждаемых в этой и в других главах книги. Типичная мультимедийная информационная система обычно оперирует следующими типами данных:
"нормальные" типы данных в базе данных (которые можно встретить в реляционной или сетевой базе данных или даже в поддерживаемых самим приложением плоских файлах);
данные неподвижных изображений, как в фотографиях;
другие типы графики;
данные движущихся изображений (видео);
текстовые данные, например такие, которые можно найти в документах текстовых процессоров или файлах электронных таблиц.
После показа системы доставки и информационной базы, рассмотрим теперь коммуникационную инфраструктуру. Общее правило большого пальца относительно поддержки требований мультимедийных информационных систем заключается в следующем: "Чем более используется "оживших" данных, тем более широкая необходима полоса пропускания". Под "ожившими" понимаются здесь такие данные, как видео- или высококачественные (например, стерео) аудиоданные. Такие данные действительно не только занимают огромные объемы пространства памяти, если не используется техника сжатия данных (на одну минуту не слишком качественного видео при передаче 15 кадров в секунду, что составляет лишь половину телевизионной скорости, потребовалось бы 117 Мбайт памяти), но требуют также для своей поддержки сетей с высокой пропускной способностью. Это справедливо и для локальных сетей ЭВМ, и для глобальных распределенных сред. Потребности адекватной поддержки крупномасштабной передачи полного спектра мультимедийных типов данных привели к появлению глобальных сетевых технологий (Wide Area Networking WAN), например таких, как асинхронный режим передачи данных (Asynchronous Transfer Mode, ATM) или переключаемый мультимегабитовый сервис данных (Switched Multimegabit Data Service, SMDS).
Один из простых мнемонических способов выражения требований, удовлетворение которых обеспечивает полноценное использование мультимедийной среды на настольном компьютере, состоит в принципе "4-х Г": гигабайт основной памяти, как минимум, гигабайт внесшей памяти, гигабайт операций в секунду и гигабит в секунду - скорость передачи данных. Этот принцип был сформирован в 1993 году. При столь быстрых темпах прогресса в области технологий технических средств, к которым мы стали привыкать, такая базовая технология, без сомнения, уже работает, при чем в несколько раз превосходит эти требования.
В управлении мультимедийной информацией принципы временных и пространственных данных часто оказываются весьма важными при формировании мультимедийных документов. Например, создание электронного видео требует, чтобы кадры были правильно упорядочены. Для достижения этой цели, особенно когда исходные данные для видео объединяются из ряда различных источников, необходимо дополнить такую информацию временными свойствами. Подобным же образом составление мультимедийного документа, например электронного журнала, означает, что должны поддерживаться пространственные отношения между данными, когда документ компонуется не только из различных типов сред (например, видео показывается слева от текста и до вывода аудио), но также и внутри среды заданного типа.
2. Стандарты мультимедийных систем
Помимо стандартов, связанных с управлением данными, в мире мультимедийных информационных систем действуют и другие стандарты. Как стандарт де-факто для мультимедийных настольных компьютеров появились спецификации мультимедиа компании Microsoft (Multimedia PC, MPC). Кроме того, имеются и другие стандарты:
JPEG (Joint Photographics Expert Group) - стандарт Объединенной группы экспертов в области фотографии для сжатия неподвижных изображений.
MPEG (Moving Picture Coding Expert Group) - стандарт Экспертной группы по кодированию движущихся изображений для сжатия движущихся изображений.
MHEG(Multimedia and Hypermedia Information Coding Expert Group) - стандарт Экспертной группы по кодированию мультимедийной и гипермедийной информации для сжатия гипермедийной информации.
Несомненно, возникнут также дополнительные стандарты для обеспечения возможностей обмена информацией между мультимедийными системами, а также их интероперабельности, т. е. простых выборок данных до управляемых приложением средств чтения-записи.
3. Методология разработки приложений
Традиционные методологии разработки приложений не удается достаточно хорошо перенести на мультимедийные системы. Действительно, в разработках мультимедийных приложений не применяется "программирование". Более подходящий здесь термин "создание" (authoring). Вместо языков программирования и компиляторов доминирующей парадигмой разработки, возникшей в мультимедиа, являются системы скриптов (например, Microsoft Viewer, Java Script). В силу того, что мультимедийных приложений разрабатывается очень много, возможности скриптов должны быть достаточными для создания логики таких приложений, которая бы позволяла пользователям выполнять необходимые им функции в гипермедийной среде (например, перемещение произвольным образом между различными темами).
Поскольку такие приложения становятся обыденными, для мультимедийных сред на рынке программного обеспечения появляется все больше и больше инструментальных систем поддержки разработки, позволяющих достигать высокой производительности. Появление баз данных, поддерживающих языки программирования 4-уровня оказало продвижение в следующих областях:
обработка транзакций;
технологии клиент-сервер;
объектно-ориентированные технологии;
активные базы данных;
технологии распределенных баз данных.
4. Поддержка СУБД мультимедийных объектов
Взрывообразный рост WWW, задачи EOSDIS, электронной коммерции, электронных публикаций ставят ряд сложных проблем, которые должны быть решены в будущих системах баз данных. Важнейшие направления исследований, связанные с поддержкой мультимедийных объектов, рассматриваются в следующих пунктах.
А) Новые типы данных
Каждый вид мультимедийной информации (тип данных) требует собственного набора операций и функций и их эффективной реализации на основе соответствующих структур данных и методов доступа. Тщательного осмысления в связи с этим требуют следующие задачи:
набор операций для мультимедийного типа данных, издержки их реализации;
интеграция данных, содержащих несколько таких типов.
Б) Качество сервиса
С доставкой мультимедийных данных сразу нескольким пользователям связан ряд сложных проблем. Если объем данных велик, легко могут возникнуть узкие места в обслуживании. В то же время доступ к большим мультимедийным объектам осуществляется, как правило, предсказуемыми способами. Предсказуемость позволяет оптимизировать реализацию запросов, причем подобные предположения обычно достаточно хорошо оправдываются.
Доставка мультимедийной информации во многих случаях должна удовлетворять довольно жестким ограничениям. Так, видеофильм должен доставляться со стандартной скоростью, иначе будет наблюдаться мигание и задержки кадров. Еще более жесткие ограничения накладываются на процесс доставки аудиоинформации, ассоциированной с фильмом. Если неравномерность доставки видеокадров можно компенсировать за счет алгоритмов интерполяции, которые дают достаточно хороший эффект, то для аудиоданных это невозможно. Ситуация усложняется еще и тем, что разные типы аудио- и видеоинформации обладают разной степенью "терпимости" к погрешностям воспроизведения.
С) Запросы с нечеткими критериями
Запросы к базе данных традиционно оперируют с четкими понятиями, например: "каков пункт назначения рейса номер 233?". Новые типы приложений должны уметь работать с запросами, включающими нечетко определенные понятия, которые позволяют находить наилучшее доступное значение из недетерминированного множества слабо интегрированных ресурсов. Если, допустим, нам хотелось бы получить снятое со спутника изображение заданного района в заданное время, то следует запросить у EOSDIS "наилучшее" в каком-то смысле приближение. Для этого необходимо выработать новые языки запросов или усовершенствовать существующие, включив в них в качестве базовых такие понятия, как степени свободы и желаемая точность приближенного результата.
Имеются экспериментальные системы, которые умеют выбирать из базы данных графические образы на основе таких нечетких характеристик, как цвет, форма, текстура. Системы этого типа потенциально способны по нечеткому описанию содержимого производить выборки в среде графических образов, аудио- и видеоинформации, подобно тому, как существующие системы позволяют выбирать текстовые или числовые данные по значению какого-либо поля. Но здесь необходим еще значительный объем исследований.
Д) Поддержка пользовательских интерфейсов
SQL и надстраиваемые над ним языковые формы более высокого уровня хороши для доступа к традиционным записям данных. Когда речь идет о мультимедийных данных, то здесь часто необходимы совершенно другие формы пользовательских интерфейсов, и СУБД должны их поддерживать. С каждым типом мультимедийных данных связана проблема создания простых средств для формулирования запросов.
В связи с мультимедийными видами информации возникает также проблема разработки новых средств для просмотра, поиска, визуализации содержимого баз данных. Например, курс лекций может содержать десятки часов видеоматериала. Естественно, хотелось бы иметь способы быстрого просмотра, чтобы отыскать в нем, скажем, десятиминутный или часовой фрагмент по теме. Нужны соответствующие методы доступа, и здесь возможны самые разные подходы - это могут быть наборы ключевых кадров, текстовые индексы, средства поиска сегментов, обладающих заданными характеристиками.
5. СУБД, поддерживающая мультимедийные технологии – J ASMINE
Объектные СУБД реализуют весь набор функций, присущих системам управления базами данных плюс возможности объектного программирования. Таким образом, мы получаем все преимущества СУБД наряду с мощным объектным языком программирования объектов базы данных.
Jasmine поставляется с богатейшей библиотекой классов, позволяющей создавать и манипулировать мультимедийными данными, включая растровые изображения, анимацию, аудио и видео информацию. Продукт поддерживает широкий спектр приложений следующего поколения - от типовых систем электронной коммерции и сервиса до специфичных приложений, предназначенных для таких отраслей, как страхование, финансовые услуги, здравоохранение и телекоммуникации. Написанные на Jasmine приложения легко интегрируются с существующей информационной средой предприятия, потому что совместимы с любыми стандартами данных. Ряд компаний, чья деятельность связана с обработкой и конвертацией изображений - Kodak, Intel, Superscape активно используют СУБД Jasmine в своих разработках. Например, Kodak создал модуль для ввода изображений в базу Jasmine непосредственно с цифровой фотокамеры. Intel работает над продуктом ProShare, предназначенным для проведения полноценных видеоконференций с передачей изображения и звука. Естественно этот продукт будет функционировать на на персональных компьютерах платформы INTEL. Что касается продукта Viscape компании SuperScape, то это средство создания трехмерных интерфейсов процессов, моделируемых в базе Jasmine.
Другой областью, где себя хорошо зарекомендовал Jasmine - это ИНТЕРНЕТ/ИНТРАНЕТ. Еще на этапе бета-тестирования лидеры рынка поисковых технологий ИНТЕРНЕТ - AltaVistaInternetSoftware, ExcaliburTechnologies, VerityTechnologies обратили внимание на Jasmine и создали библиотеки, позволяющие перенести все достоинства полнотекстового поиска в Интернет на объекты, хранимые в базе Jasmine.
Заключение
Современный информационный бизнес развивается столь бурно, что заставляет разработчиков вычислительной техники искать новые решения, которые дают возможность управлять огромными объемами не традиционных данных и обеспечивать пользователю доступ к данным в каждом уголке земного шара. Хотя непосредственно требования предъявляются к программному обеспечению, которое должно соответствовать постоянно растущим запросам, это приводит к необходимости совершенствовать аппаратные средства. Появление более мощной микропроцессорной техники открывает новые горизонты перед разработчиками программного обеспечения
Основными задачами сегодняшнего дня, которые должны решаться в области информационных мультимедиа приложениях:
создание коммерческих ИНТЕРНЕТ/ИНТРАНЕТ магазинов и распределенных информационных системы;
создание виртуальных офисов компаний и виртуальных киосков;
хранение и воспроизведение графических образов, видео-, аудиозаписей;
создание узлов WEB, наделенных неограниченными возможностями.
Список использованной литературы:
1.Саймон А.Р. Стратегические технологии баз данных: менеджмент на 2000 год: Пер. с англ./ Под ред. И с предисл. М.Р, Когаловского. – М.: Финансы и статистика, 1999
2.http://www.interface.ru/LOGWORKS/descr.htm
3.http://www.inteltec.ru/publish/%
Аннотация: В данной лекции мы обсудим возможности использования естественно-интуитивного подхода в современных мультимедийных приложениях. Синергия нового интерфейсного подхода и технологии мультимедиа позволяет создавать программные средства нового поколения, обладающие крайне высокой интерактивностью и эффективностью в применении. В качестве примера, мы рассмотрим графический редактор с жестовым управлением и голосовое управление в стандартных сервисных приложениях.
Презентацию к данной лекции можно скачать .
5.1. Краткое понятие мультимедиа и мультимедийных приложений
Мультимедиа ( multimedia ) - это совокупность компьютерных технологий, одновременно использующих несколько информационных сред: графику, текст, видео, фотографию, анимацию, звуковые эффекты, звуковое сопровождение, человеческую речь.
Мультимедийные технологии - это совокупность современных цифровых средств аудио-, теле-, визуальных и виртуальных коммуникаций, которые позволяют вводить, сохранять, перерабатывать и воспроизводить текстовую, аудиовизуальную, графическую, трёхмерную и иную информацию.
Связывание элементов мультимедиа в единый проект выполняется с помощью программных средств. Результаты представления элементов мультимедиа на экране и средства управления мультимедиа , называются пользовательским интерфейсом, а аппаратные и программные средства , обеспечивающие воспроизведение мультимедиа , - платформой.
К разновидностям мультимедиа относятся:
- Линейное мультимедиа - простейшая форма представления множества элементов мультимедиа, когда пользователь может выполнять только пассивный просмотр элементов мультимедиа, а последовательность просмотра элементов мультимедиа определяется сценарием.
- Нелинейное (интерактивное) мультимедиа - форма представления множества элементов мультимедиа, в которой пользователю предоставлена возможность выбора и управления элементами в режиме диалога.
- Гипермедиа - интерактивное мультимедиа, в котором пользователю предоставляется структура связанных элементов мультимедиа, которые он может последовательно выбирать.
- Реальное видео - форма мультимедиа, моментально транслирующая поток данных с одного устройства на другое, предоставляющая пользователю просматривать видео и звуковое сопровождение в режиме реального времени.
В целом, под мультимедиа могут понимать и мультимедийную программу-оболочку, и продукт, сделанный на основе мультимедийной технологии, и компьютерное оснащение. Поскольку технологии мультимедиа являются комплексными, то и отдельные элементы этих технологий характеризуются многосредностью и ведением диалога с пользователем. Мультимедийные ресурсы, например, содержат различные виды информации, их существенной особенностью является активное взаимодействие ресурса и человека.
Технология мультимедиа является одной из новых технологических форм информационного общества. Она открывает принципиально новый уровень обработки информации и интерактивного взаимодействия человека с компьютером. Отличительной чертой современных мультимедийных технологий является их способность не только производить некий предназначенный для употребления продукт, но и оказывать косвенное влияние на пользующегося ими человека. Новые виды обработки и предоставления информации, новые способы доступа к информации позволяют разнообразить нашу культуру, содействуют глобальному обмену культурными ценностями, информацией и знаниями, способствуют более интенсивной коммуникации между людьми.
Исторической спецификой современной электронно-коммуникационной системы является то, что в отличие от прежних форм и стадий культурного развития человечества нынешняя характеризуется глобальными масштабами своего распространения и воздействия на все сферы общественной жизни.
Поскольку обмен информацией - необходимая составляющая жизни общества, то медиа технологии, как опосредующее звено человеческой деятельности, являются одним из способов коммуникации, условием человеческой активности. При этом интеграция в одной системе различных источников и форм информации в условиях открытого доступа фундаментально изменила характер коммуникации. Электронные цифровые медиаресурсы создают техническую возможность существования сверхнасыщенного информационного поля, которое практически повсеместно окружает современного человека.
Мультимедиа , помимо значительного ускорения коммуникативных процессов, позволяет на качественно новом уровне организовать процессы производства, хранения и распространения информации.
Активно внедряясь в деловую среду, мультимедиа влияет на ход экономического развития общества, рождая новое направление - электронный бизнес . Мультимедиа технологии широко используются в рекламной деятельности, при управлении маркетингом и организации продвижения товаров и услуг различными методами. Мультимедийные технологии становятся самостоятельным бизнесом и профессиональной областью деятельности, предметом бизнеса.
Невозможно переоценить значение мультимедиа в развитии индустрии развлечении, создании компьютерных игр, киноиндустрии.
Мультимедиа следует рассматривать и как искусство, где особое место принадлежит наглядно-образным способам передачи информации. Как новая форма художественного творчества, мультимедиа выступает не столько продуктом технологической революции, сколько цифровым воплощением идей, которые не находили перспектив реализации в традиционных рамках изобразительного искусства и других видах культуры. При этом компьютер становится еще одним перспективным инструментом для всех искусств, альтернативной средой, способной по -новому реконструировать культуру и творить собственное искусство, он осознается как средство создания видов искусства. Сформировалось несколько направлений компьютерных искусств: цифровая музыка, интерактивный перформанс, компьютерная графика и анимация . Одним из основных преимуществ этих видов творчества считается открытость художественного пространства.
Одна из возможностей продуктивного использования мультимедиа - обучение. Мультимедийная технология позволяет увеличить степень усвояемости изучаемого материала, так как предоставляет возможность синергетического обучения. Под этим понимается обеспечение одновременно зрительного и слухового восприятия материала, активного участия в управлении его подачей, возвращения к тем разделам, которые требуют повторного анализа. Особенно велика роль мультимедиа технологий в развитии дистанционного образования. В будущем роль мультимедиа в области образования будет возрастать, так как знания, обеспечивающие высокий уровень профессиональной квалификации, всегда подвержены быстрым изменениям.
Существует большое множество программных средств для работы с мультимедиа файлами. Такие приложения можно разделить на несколько основных категорий:
- Средства создания и обработки изображения
- Средства создания и обработки 2D и 3D - графики
- Средства создания и обработки видео и анимации
- Средства создания и обработки звука
- Средства создания презентации
Компьютерное представление графической информации реализуется с помощью растрового или векторного подхода. В первом случае изображение делится на пиксели, цвет каждого пикселя кодируется определенным числом битов. Векторные изображения сохраняются в виде геометрического описания объектов, составляющих рисунок.
Графические редакторы ориентированы на манипулирование существующими изображениями и обладают набором инструментов, позволяющих корректировать любой аспект изображения. Профессиональные графические редакторы поддерживают работу со слоями и экспорт объектов из программ векторной графики, обладают полным набором инструментов для коррекции цвета, ретуширования, регулировки контрастности и насыщенности цветов, маскирования, создания различных цветовых эффектов, имитирующих определенные художественные техники.
В программах векторной графики объекты и изображения, которые сохраняются в виде геометрического описания, существуют независимо друг от друга, что позволяет в любой момент изменять слой, расположение и любые другие атрибуты объекта, создавая произвольную композицию. В таких программах иллюстрации создаются с помощью фигур произвольной формы, их масштабирования, вращения, деформации, а также степени прозрачности и цветовой заливки. Современные программы векторной графики содержат также инструменты для работы с растровыми изображениями и текстами.
Трехмерная графика реализуется путем создания каркасов объектов, определения обтягивающих их материалов, компоновки всех объектов в единую сцену, установки освещение и точку визуализации - камеру. Для трехмерной анимации необходимо настроить перемещения объектов сцены и задать количество кадров. Движение объектов в трехмерном пространстве задается по траекториям, ключевым кадрам и с помощью формул, связывающих движение частей сложных конструкций. После задания нужного движения, освещения и материалов запускается процесс визуализации, в ходе которого просчитываются характеристики всех объектов сцены и генерируется последовательность изображений. Двухмерная анимация также использует традиционный покадровый принцип, только для создания последовательности используются двумерные изображения.
Для редактирования видео существует большое количество программных продуктов. Профессиональные видео-редакторы позволяют редактировать несколько видео- и звуковых каналов и осуществлять монтаж видеофрагментов в единую композицию. Они содержат наборы переходов между кадрами, синхронизируют звук и изображение, а также поддерживают редактирование и сохранение наиболее популярных форматов видеофайлов.
Программы для работы со звуком можно условно разделить на две большие группы: звуковые редакторы, ориентированные на цифровые технологии записи звука, и программы-секвенсоры.
Секвенсоры предназначены для создания музыки, с их помощью выполняется кодировка музыкальных композиций, они используются для аранжировки, позволяя прописывать отдельные партии, назначать тембры инструментов, выстраивать уровни и балансы каналов, вводить музыкальные штрихи. Звуковые редакторы позволяют записывать звук в режиме реального времени на жесткий диск компьютера и преобразовывать его, используя возможности цифровой обработки звуковых частот и объединения различных каналов.
Средства создания презентаций, первоначально предназначенные для создания электронных слайдов, помогающих иллюстрировать сообщение докладчика, теперь все более ориентируются на применение мультимедиа . Существует большое количество таких программ, различающихся набором изобразительных и анимационных эффектов, способов управления презентаций и набором поддерживаемых мультимедиа файлов для импорта в качестве содержимого слайдов. По сути, презентация является информационным продуктом, объединяющим все мультимедиа форматы в одно целое.
Перспективы мультимедиа разнообразны, области применения будут расширяться, в том числе, благодаря появлению новых информационных технологий и способов обработки информации. Грамотное сочетание мультимедиа с другими технологиями будет способствовать более динамичному их развитию и еще большей интеграции во все сферы общества.
Для того, чтобы реализовывать эффектные и полезные мультимедиа приложения с использованием технологии Intel Perceptual Computing , в первую очередь , необходимо четко определить, какие именно мультимедиа форматы и в какой степени будут задействованы в конкретном приложении и какие технологии нужны для работы с этими мультимедиа форматами. Успех таких приложений будет в большей степени зависеть от того, насколько разработчики опытны в использовании тех или иных подключаемых библиотек функций, с помощью которых происходит обработка мультимедиа потока. Такое приложение будет полезно пользователю только в том случае, если оно корректно обрабатывает мультимедиа содержимое и является правильно реализованным с технической точки зрения. Поэтому, прежде чем начинать разработку мультимедиа приложения с использованием Intel Perceptual Computing , необходимо детально изучить принципы и особенности технологии обработки мультимедиа потоков, библиотеки функций и примеры программ. Только при условии, что управление с помощью технологии Intel Perceptual Computing будет дополнять полезный и корректно работающий мультимедиа -функционал, разработчику удастся воплотить все преимущества от синергии мультимедиа и Perceptual Computing .
5.2. Преимущества от использования Intel Perceptual Computing SDK при разработке мультимедиа приложений
Поскольку технология Intel Perceptual Computing позволяет создавать совершенно новый тип человеко-компьютерных интерфейсов, можно говорить о появлении нового поколения мультимедийных приложений, имеющих гораздо более широкий спектр возможностей по обработке различных типов файлов и потоков данных. Управление мультимедиа файлами теперь выходит за рамки классических представлений о взаимодействии человека и компьютера и превращается в увлекательный творческий процесс. Использование технологии Perceptual Computing увеличивает степень интерактивности мультимедиа приложений, которые сами по себе являются действенным инструментом вовлечения. Симбиоз технологий мультимедиа и Perceptual Computing особенно эффективен в образовательной и развлекательной сферах человеческой деятельности, но также может быть применим в коммерческих и рекламных целях, на различных презентациях и демонстрациях.
При грамотном сочетании двух технологий готовые приложения позволяют как решать простые и бытовые пользовательские задачи, так и выступать в качестве гибкого и сложного инструмента в различных сферах, включая медиа-искусство и digital-индустрию. С помощью Perceptual Computing можно облегчить управление сложными программными комплексами, где используется несколько мультимедиа технологий и сделать параллельную работу, например, с графикой и звуком, более удобной для пользователя. При продуманной агрегации нескольких мультимедиа технологий в одном приложении пользователю предоставляется больше возможностей для работы с цифровой информацией, что только усиливается при использовании жестового или голосового управления.
Одним из наиболее распространенных способов комбинирования технологий мультимедиа и Perceptual Computing является создание различных симуляторов, которые позволяют тренировать определенные навыки, в том числе симуляторы игры на музыкальных инструментах. Приложения, позволяющие пользователю играть на виртуальных музыкальных инструментах, не являются принципиально новыми, однако использование жестового интерфейса позволяет достигнуть гораздо большей реалистичности. Еще одни преимуществом таких симуляторов перед стандартными нежестовыми реализациями является возможность параллельного управления приложением двумя руками, что также приближает виртуальные музыкальные инструменты к реальным.
Простейшим примером музыкального симулятора является приложение Drummer, которое позволяет имитировать игру на ударных ( рис. 5.1). Основная функция приложения - запись звуковой и нотной дорожки. Пользователь может скомпоновать ударную установку из нескольких предметов, начать сеанс записи, остановить запись . В управлении симулятором используются жесты обеих рук. Предпочтение отдано динамическим жестам, с помощью жестов захвата происходит перемещение объектов приложения, двойной жест "большой палец вверх" используется для остановки записи. Голосовое управление в приложении не предусмотрено.
Рис.
5.1.
Другой вариант применения Intel Perceptual Computing - дирижер виртуального оркестра ( рис. 5.2). Приложение следит за частотой и размером жестов пользователя и в зависимости от этих характеристик меняет громкость и скорость звучания воспроизводимой музыкальной дорожки. Управление программой осуществляется с помощью характерных дирижерских жестов, причем жесты должны соответствовать размеру музыкального такта проигрываемой композиции. По факту, программой распознаются последовательности горизонтальных и вертикальных взмахов, из которых состоят движения дирижера. Дополнительной функциональностью является графическое отображение активных в данный момент партий оркестра. Аналогичное приложение можно реализовать как надстройку над любой популярной программой, читающей и воспроизводящей нотные табулатуры.
Рис. 5.2.
Поскольку разработчики ничем не ограничены в выборе мультимедиа технологий и способах их использования, возможны более функционально сложные реализации музыкальных симуляторов, предназначенных как для обучающих, так и досуговых целей, сочетающих в себе несколько мультимедийных технологий. Возможно создание симуляторов с различными уровнями сложности или использующих дополнительные устройства, такие как портативный мультимедиа проектор. Качественным примером такого приложения может быть программный комплекс, обучающий пользователя игре на виртуальном пианино. Отображая с помощью проектора виртуальные клавиши на горизонтальной поверхности, приложение изменяет цвет клавиш, на который нужно нажать в тот или иной момент проигрываемой композиции. При этом отслеживаются движения рук пользователя и закрываемые его пальцами клавиши. По "нажатию" клавиши воспроизводится соответствующий звук, что дает понять пользователю, насколько верно он играет композицию. Также к основному функционалу можно добавить отображение нот и перемещающейся метки проигрывателя. Более простая реализация такого типа приложений - имитация игры на ксилофоне.
Другой тип мультимедиа приложений с главенствующей музыкальной составляющей - синтезаторы. Они применимы, в основном, в развлекательных целях, но их жестовые реализации потенциально могут стать неотъемлемым атрибутом digital-искусства. Одной из реализаций такого типа синтезаторов является приложение JOY ( рис. 5.3). При его разработке использовались не только аудио технологии, но и различный инструментарий для графического моделирования и генерирования изображений. При старте приложения пользователь выбирает аудиокомпозицию и запускает воспроизведение. Композиция состоит из 10 дорожек, управление которыми происходит с помощью поднятия и опускания пальцев. Изменение расстояния между кистей рук меняет эффект реверберации (отражения) звука. Вертикальное перемещение ладоней в разные стороны регулирует частоту колебаний, баланс звука и эхо изменяются при отдалении и приближении ладоней к камере с сенсорами глубины. Параллельно происходит управление видеорядом. На экране точками отображаются активные звуковые дорожки, геометрические объекты также зависят от количества поднятых пальцев, распознанных приложением, и пульсируют в соответствии с ритмом воспроизводимой композиции.
Рис. 5.3.
Управление генерацией видеоряда в режиме реального времени может быть реализовано как отдельное приложение . В данном случае основной функциональностью станет генерация последовательности изображений, регулируемая голосовыми и жестовыми командами пользователя. Многообразие инструментов для работы с графическими данными способствует созданию огромного множества подобных приложений, различающихся способами генерации изображений и подходами к управлению этими процессами. В первую очередь , следует подразделить такие приложения по типу генерируемой графики на двумерные и трехмерные. От того, какой вид графики выбран, будут зависеть сложность реализации, спектр возможностей приложения и количество управляющих команд.
Реализация приложений, генерирующих видеопоток из двумерных изображений, является более простой и подходит для разработчиков, которые только начинают знакомиться с технологиями и инструментами обработки графики. Видеопоток, создаваемый с помощью таких приложений, содержит в основном абстрактные графические образы, которые деформируются и изменяются с течением времени. Существует большое количество различных библиотек, содержащих классы и методы для работы с графическими объектами, их свойствами и характеристиками, использование которых упростит создание анимационной части приложения. В данном случае реализация управления через жестовый интерфейс осуществляется путем разделения функций редактирования свойств графического объекта с функциями изменения траектории и скорости его движения. Для облегчения управления приложением и создания гармоничной анимации рекомендуется выделять один главный графический объект , а поведение всех остальных реализовывать как зависимое от характеристик и свойств главного объекта. В качестве примера распределения функций управления графическим объектом можно рассмотреть вариант, когда размер объекта и его положение на экране регулируется жестами одной руки, а такие характеристики, как цвет, форма, угол вращения задаются с помощью жестов другой руки. Дополнительной функцией такого приложения может быть сохранение сгенерированного видеопотока в файл с возможностью последующего воспроизведения с помощью любого мультимедиа проигрывателя.
Генерация трехмерного видеопотока в режиме реального времени ( рис. 5.4) осуществляется по сходному принципу, однако, является более сложной задачей, поскольку требует от разработчика понимания принципов построения трехмерных изображений и продвинутых навыков работы с 3D-библиотеками. Графическая составляющая такого приложения может быть реализована как пространственное движение скопления нескольких однородных объектов с варьирующимися свойствами, например, несколько не одинаковых по размеру кубов разных оттенков зеленого или более сложные трехмерные модели, например, имитация хаотично движущейся стаи рыб. Для удобства реализации функций управления графикой рекомендуется задавать в скоплении один главный элемент, а все параметры всех остальных объектов ставить в зависимость от положения и состояния главного объекта.
Управление свойствами объектов и их местоположением, как и в случае с двумерной графикой, рекомендуется разделять. В данном случае, возможно реализовать дополнительные функции изменения точки обзора путем контроля положения лица пользователя и при наклоне головы поворачивать трехмерную сцену в соответствующую сторону. Также возможно разработать систему голосовых команд, управляющих трехмерной сценой и средой, окружающей основные объекты. Например, можно предусмотреть варианты управления оттенком фона, степенью освещенности и прозрачностью объектов, моделированием дополнительных эффектов, имитирующих с помощью различных текстур различные явления реального мира, например, морскую воду, ураганный ветер, сильное пламя. Аналогичный прием будет приемлем и для приложений, генерирующих двумерный видеоряд. графический редактор ( рис. 5.5) обеспечивает функциональность по созданию и редактированию объемных тел из простейших элементов, а также индивидуальное задание свойства цвета для каждого элементу, из которого состоит создаваемое тело. Контроль над приложением осуществляется с помощью двух курсоров, которые управляются простейшими жестовыми командами - двумя раскрытыми ладонями и движениями указательными пальцами. Трехмерный объект создается из базовых элементов - кубов единого размера, для каждого из них существует возможность определения цвета из палитры-спектра. Реализованы такие возможности управления трехмерным рабочим пространством, как вращение вокруг объекта, приближение, отдаление и перемещение
