Transcript Chapter 2.
Chapter 2. Multimedia Computer Multimedia 처리 작업의 특성 • Multimedia 처리 작업 • Computer로 취급한 문자나 정지 영상, 동영상, 음성 등 다양한 정보 media를 취급하는 시스템인 Multimedia Processing System을 사용하 는 작업 • Multimedia 처리 시스템의 구분 • Multimedia 재생 시스템 • Multimedia 작품의 재생에 필요한 최소한의 H/W와 S/W를 갖춘 PC • Multimedia 저작 시스템 • Multimedia 제작에 사용하는 H/W와 S/W를 가리킴 Multimedia 처리 작업의 특성 • Multimedia 처리 시스템인 Multimedia Computer가 요구하는 사양(Specifications) • audio & video data를 모두 처리하기에 충분한 성능을 가진 PC • sound card, 스피커, 마이크로폰, 그리고 sound 효과를 개발시키려고 할 때, 필요한 기타 audio 디지타이저나 audio 편집 S/W • audio CD를 작동시킬 수 있는 CD-ROM 드라이브 • 높은 성능의 그래픽 card, overlay card, 그리고 고해상도 monitor • 디스켓과 CD-ROM 상의 Multimedia 지원 S/W • MPC 표준 • 수년 전에 설정된 것으로 Multimedia 작품을 재생하고자 H/W가 최소한 갖추어야 할 조건을 열거 Multimedia Computer의 구성 - H/W • digital media device • Multimedia data의 함축된 표현의 decoding, 특별한 효과 추가, 하나의 표 현을 다른 표현으로 변환시키는 작업 등을 처리하는 특별한 목적을 위해 사용 • Multimedia digital device의 3가지 세부 범주 • capture device • presentation device • processing device digital media devices의 예 Multimedia Computer의 구성 - H/W • analog media devices • analog device인 마이크로폰과 디스플레이와 순차로 연결됨 • 3개의 세부그룹인 sources, sinks, filters로 구분 • 소스 : analog 신호 생성 • 싱크 : analog 신호 출력 • 필터 : 하나의 analog media로부터 다른 analog media로 변환하거나, analog media를 몇 가지 특징으로 바꾸는 역할 analog media device의 예 Multimedia Computer의 구성 - H/W • 범용 device • audio와 video가 어우러진 복합 media를 취급하는 device를 포함 • 상호작용 device • 인간과 Computer의 상호작용을 지원하는 Multimedia 응용 형태 • 사용자들이 고유의 목적을 위해 Computer의 행동을 통제할 수 있도록 하는 기능 을 제공하고 있음 • 동기화 device • audio와 video의 동시 표현과 다중처리 조작은 정확한 시간관리를 유지하고자 보 조 H/W가 있어야 함 • 동기화 device인 “신호 발생기”와 “잠금 장치” 등은 audio와 video 스튜디오에 사 용됨 • Multimedia 기반 PC • 잘 구성된 H/W device로 개발자의 응용 목표에 접근 기능 제공함 Multimedia Computer의 구성 - S/W • Multimedia S/W • Multimedia data의 기본 처리에서부터 응용 영역까지를 담당 • Multimedia 운영체제 • S/W 시스템에서 가장 중요한 역할을 하는 구성요소는 운영체제 • 대표적인 예는 MS - Windows Requirements • 여러 digital화된 audio와 video에 대한 효율적인 data 자원의 처리는 간단하지 않기 때문에 처리과정에는 analog와 digital 간의 encoding(ATD)과 decoding(DTA)이 요구 • 저장장치로부터 data를 읽어오려면 넓은 버스 대역폭 (Bandwidth)이 필요 • video 프레임 비율과 audio 샘플링 비율로부터 data를 읽어내 는 시간조절이 필요 Multimedia Computer의 구성 - S/W • Real-time Process Scheduling • Multimedia Application은 일반적으로 시간에 민감함 • 실시간 스케줄(Real-Time Schedule) • process가 그들의 시간 조절 요구를 선언하도록 하고 있음 • 스케줄러(Scheduler) • 모든 process의 시간조절 요구를 완전하게 수용할 수 있도록 충분 한 프로세서 사이클을 제공 연속적인 media 추상화 • digital audio data와 video data는 연속적인 media(continuous media)로 취급 • digital audio data와 video data에 대해 입력(recording)과 출력 (play)은 양쪽 모두 실연되는 행동 Multimedia Computer의 구성 - S/W • Multimedia Data Base System • 기존의 Data Base Management System(DBMS)은 숫자와 text data를 초기에 분류하여 처리하였음 • Image, Graphic, Audio data, Video data를 Text data와 함께 처 리함 Multimedia 통신 • 광섬유의 기술 발전과 더불어 MPEG, JPEG과 같은 압축 기술들 은 Multimedia service를 단독 사용에서 장소와 시간에 관계없 이 여러 사용자가 이용 가능하도록 하는 밑받침의 기술이 됨 • Multimedia data는 통신량과 형태의 특성상 기존 data와 상이 점이 많으므로 기존의 통신구조와는 다른 Multimedia를 표현, 전송, 저장, 추출 가능케 하는 새로운 Multimedia 통신을 요구 Multimedia device • CD-ROM(Compact Disk- Read Only Memory) • 광학 레이저 disk 장치를 사용하여 각종 digital data의 고용량 data를 저장하여 사용할 수 있는 media • CD-ROM의 사용 범위 • audio data와 음반: 녹음과 sound 파일의 저장 • 영화와 영상: 각종 영상 data와 video 플레이어의 대체 • S/W와 data: data의 backup과 고 용량 S/W의 플로피disk 대체 • manual과 database: 인쇄 media로 구조화된 각종 manual, data base 의 Multimedia화 Multimedia Equipments • CD-ROM(Compact Disk-Read Only Memory) • CD-ROM title • Title은 Multimedia 교육 내용, 방법, 지침 등을 담은 contents CD-ROM 타이틀의 장, 단점 Multimedia device • Graphic Card • Computer와 Monitor를 연결하기 위한 인쇄 회로 기판 card로서 화면에 나타나는 정보를 저장하는 video RAM과 내용을 읽어 monitor의 제어신호로 바꾸어 monitor로 보내는 영상 제어 회로 로 구성되어 있음 Multimedia device • Sound Card • Computer에 장착하여 sound를 처리하는 H/W로 확장 슬롯 (extension slot)에 연결하여 사용 • sound card에 연결된 스피커를 통하여 음악을 출력하거나, sound card에 연결한 마이크를 통해 입력되는 음향 녹음 가능 Multimedia device • DVD(Digital Versatile Disk) • 일반 CD보다 훨씬 많은 data를 저장할 수 있는데 단면 단층 DVD 는 각 면 4.7GB 용량을,, 단면 이층 DVD는 각 면에 8.5GB 용량 보 유 • DVD의 5가지 format • DVD Video: video CD를 대체, 영화 한 편을 disk 한 장에 담을 수 있 는 disk • DVD Audio : CD보다 나은 음질을 재생하기 위한 disk • DVD-ROM : CD-ROM보다 7배의 저장능력을 갖춘 disk • DVD-R : DVD를 1회만 복사할 수 있는 disk • DVD RAM : DVD를 여러 번 쓰고 지울 수 있는 disk Multimedia device • MIDI(Musical Instrument Digital Interface) • 일종의 Multimedia 응용 device • 악기의 연주정보를 digital로 통신하기 때문에 Digital Interface라 고함 • MIDI synthesizer • sound 합성을 통한 연주장치 • MIDI 파일에 담긴 MIDI 메시지들은 Computer의 MIDI 포트에 부착 된 내부 synthesizer와 외부 synthesizer를 통해 연주할 수 있음 • MIDI 키보드 • 음악을 만들어 내는 데 필요한 MIDI 명령을 생성해 내는 device • 다른 MIDI device를 연결할 수 있는 마스터키보드와 키보드 synthesizer가 있음 Multimedia device • MIDI(Musical Instrument Digital Interface) • MIDI 키보드 • 마스터 키보드 • sound를 만들기 위한 MIDI 메시지를 synthesizer에 전달하는 기능을 함 • 동시에 여러 개의 MIDI device를 조정할 수도 있음 • 키보드 synthesizer • 마스터 키보드의 기본적인 기능만을 수행 Multimedia device • MIDI(Musical Instrument Digital Interface) • MIDI S/W • 작곡 프로그램(composing program) • 악보를 직접 만들고 각각의 Voice에 악기와 채널을 배정 • 프로그램 자체 파일로 저장할 수도 있으며, MIDI 파일로 저장할 수도 있음 • 연주 프로그램(sequencing program) • 작곡 프로그램에서 만들어 저장해 둔 MIDI 파일을 불러와 연주에 적당한 형태로 편곡을 함 • 편곡이 다 되면 키, 채널, 음표 길이, 음량, 빠르기 등의 정보를 편집 • 편집이 끝나면 채널당 악기를 재배치하고, 연주구간을 설정하고 나서 연 주 효과를 낼 수도 있음 Multimedia device • Scanner • 복사기와 같이 빛을 이용하여 문서나 사진 등을 미세한 점으로 분 해하여 입력하는 장치 • 천연색으로 사진이나 그림을 읽을 수도 있음 • 컬러든 흑백이든 빛으로 각각의 영상을 스캔하고 그 영상을 흑백 점들이나 컬러 점들로 나눈 후, 이 점들을 digital 코드로 전환함 Scanner의 종류 • 복사기와 같이 한 페이지씩 읽는 flatbed Scanner • 스캔 받을 부분을 손으로 잡고 밀어서 읽는 hand-held Scanner • 종이 한 장을 Scanner 앞에 넣으면 자동으로 빨려 들어가 문서를 읽는 sheet fed Scanner • 사진을 scan하면서 인쇄에 적합한 CMYK의 원색으로 분판하는 기 능을 갖춘 드럼(drum) Scanner • 35mm 필름을 전문으로 읽는 필름(film) Scanner Multimedia 운영체제(1) • Multimedia 운영체제 • 사용자가 Computer를 쉽고 즐겁게 그리고 재미있게 사용할 수 있도록 진보된 S/W와 H/W를 지원해야 함 • 향상된 전문성을 갖고, TV 수신기능, video 재생 기능 등을 갖추 어야 함 • 각종 장치 드라이브는 새로운 H/W에 대해 지원 가능해야 • 기능 • 사용하기 쉬운 Multimedia PC 환경을 갖추는데 있음 • 강력한 Multimedia 개발 환경과 첨단 그래픽을 지원하고 기본적인 Multimedia 프로그램들을 제공해야 함 Multimedia 운영체제(2) • Multimedia 운영체제의 기능 • 사용하기 쉬운 Multimedia 환경 지원 • 윈도우 XP에서 지원하는 Multimedia 프로그램 • 녹음기 • sound card의 음성입력기능을 이용하여 녹음하게 됨 • 마이크를 통해 입력되는 음성, 음악, 효과음 등의 sound를 digital data 파일 형식으로 저장시킬 수 있는 프로그램 Multimedia 운영체제(3) • Multimedia 운영체제의 기능 • Windows XP에서 지원하는 Multimedia 프로그램 • 볼륨 조절 프로그램 • sound 제어기는 볼륨 조절 프로그램에서 지원 가능 • Windows media player • 기존의 Windows media player의 기능과 CD 플레이어 프로그램을 통합 하여 더욱 사용하기 편리하게 제작 16.1 multimedia database의 개요 • multimedia database의 정의 • database • 현대 컴퓨팅 환경의 중추적인 요소로 발전 • 정보수요자의 정보요구가 다양화, 고도화 • 관계 database(Relational Database) • 정보가 테이블 형태 텍스트 집합 • 간단, 명료한 data model • 사용하기 쉽고 편리한 질의어(Query Language) • 관계 database는 현재까지도 널리 사용 • 컴퓨터 환경의 변화에 의하여 새로 생겨나는 응용 분야는 관계 database가 지 원하지 못하는 것까지 요구 • 특정한 사건에 관련한 보도 data를 찾고 싶은 경우 • data를 저장, 관리, 활용할 수 있는 database의 기능이 필요 MDB: Multimedia Database • 음성, 그래픽, 영상 등과 같은 다양한 media를 통해 표현하는 대량 의 정보를 취급하는 database • 효율적으로 관리하기 위하여 data를 통합적으로 운영/관리 • 대용량 data의 저장, 검색 기능과 data간의 시·공간 관계성을 표현 할 수 있는 database • 문자와 도형, 영상, 음성 등 다양한 유형의 정보를 처리하는 database 31 multimedia database의 지원 기능 • • • • • • • • • • • multimedia data type 지원 대화형 data 입출력 기능 대용량 multimedia data의 효율적 처리 기능 multimedia 특성에 맞는 연산 지원 multimedia data를 위한 저장 시스템 확장성 multimedia data 관리시의 무결성 보장 응용 프로그램 개발 및 관리 도구의 제공 multimedia 정보 검색 기능 내용에 의한 정보검색 지원 multimedia database 응용 분야 • 범위 • 오락 산업, video와 그래픽 정보관리, 재무 서비스시장의 시계열 분 석 문제, 과학 database 그리고 지리 정보 시스템에 이르기까지 광 범위 • 인터넷의 확산과 함께 VOD, AOD와 같은 multimedia 서비스의 수 요가 날로 증가 • 대용량 media data의 효율적인 저장 관리, 전송기법들이 요구 • 패션정보, 건축 작품집, 쇼핑정보, 개인 홈페이지의 image database 구축 • 활용 위해 기술적으로 뒷받침해 줄 수 있는 소프트웨어 개발 필요 33 multimedia database의 특징 • 텍스트뿐만 아니라 오디오, 동영상과 같은 여러 형태의 media 포함 • multimedia contents를 효과적으로 찾아내는 multimedia 검색 시스템의 필요성 증가 • multimedia data의 특징 • data 내에 시공간(temporal/spatial) 정보를 내재하고 있는 경우가 많다 34 • video data의 경우 • video의 각 프레임이 순차적으로 재생 • video data와 오디오 data간의 동기화가 필요 • 시간 관계에 관한 정보를 data model에 적절히 표현 • 여러 media data가 결합하여 통합(integrated)된 형태의 multimedia data 구조 존재 • 객체 지향 database로 modeling 하는 것이 적합 multimedia data의 일반적 특징(1) • data 구조가 어렵고, 크기가 매우 크고, 하나의 data는 다른 data들과 결합되어 통합된 형태로 존재 • data들을 저장하기 위해서 대용량의 저장 공간이 반드시 필요 • data 저장(coding)과 출력방식이 다양하다. • media에 따라 저장 방식과 프리젠테이션 방식이 다양 • 제품을 생산 회사들마다 새로운 기법들을 사용하여 다양한 형태로 저장하고 출력 방식이 사용 36 multimedia data의 일반적 특징(2) • 내용 검색이 어려워 패턴 인식과 같은 고도의 기술 지원이 필요 하고 다양한 사용자의 질의를 효과적으로 수행해 그 결과를 보 여줘야 한다. • 시간, 공간 관계성의 표현이 필요하다. • 오디오와 video 사이의 시간 동기화 공간 관계성, 내용 동기화에 관한 정보를 구조화하여 저장 • 실시간(real time)특성과 연속성(continuity)을 지켜야 한다. • 정보가 비가공(raw or uninterpreted)적이고 data 구조가 복잡 multimedia Object의 종류(1) • Text data • 타이틀과 저자, 저자의 소속기관, 개요, 결과 같은 구조적인 정보를 포함 • 구조적인 구성 언어 환경이 필요 • SGML : ISO에 의해 제정된 문서표현 언어 • Hytime : 텍스트 문서 규격 내에 multimedia 객체의 지원 및 링크와 함께 하이퍼media 문서를 지원하기 위하여 정의 • Audio data • 시간에 종속적 • audio data 처리 전 디지털화(digitalization) • 디지털화된 오디오 크기는 디지털화 된 오디오의 질에 따라 다르다. 38 multimedia Object의 종류(2) • Image data • 디지털화된 그림, 작품, 사진 등 • 컬러 image나 사진은 더 많은 저장 공간을 필요 • 픽셀의 구성요소(RGB: Red, Green, Blue)를 필요 • GIF, TIFF 등 • 문자정보 전체를 image로 취급 가능 • 키워드, 저자 등의 색인이나 서지 사항은 코드 정보로 컴퓨터에 입력하여, 연관성 있게 운용하는 방법이 가능 • 대용량, 다양한 저장과 출력방식, 공간관계 표현 • 아트 갤러리와 박물관, 인테리어 디자인, 건축 디자인, 인터넷 쇼핑 몰, 방송국, X-Ray film, news 39 Multimedia DataBase System(MDBMS) • multimedia data를 사용자의 요구에 따라 처리, 저장, 관리하는 시스템 • multimedia data의 특성상 대용량의 정보를 효율적으로 관리 및 제공할 수 있는 기능이 필요 • Computing 환경 변화에 맞추어 multimedia 정보 처리의 필요 성이 증가 • 여러 가지의 multimedia data 타입들을 지원할 수 있어야 하고, multimedia data에 따른 다양한 질의처리가 이루어져야 한다. 40 MDBMS의 질의 처리 방법 • 항해(navigation)하는 방법 • 링크를 따라가며 원하는 정보를 찾는 방법 • 항해하는 형태에 따라 정확 또는 부정확한 정보를 찾을 수가 있다. • 질의(query)를 사용하는 방법 • 사용자가 작성한 data에 관한 조건으로 data를 한 번에 찾는 방법 multimedia data 질의 형태 • 속성 기반 질의(Attribute-based query) • 내용 기반 질의(Content-based query) • 구조 기반 질의(Structure-based query) • 현재 multimedia 응용 분야에서는 사용자의 입력을 반영할 수 있는 model링 방법이 중요한 논점 속성 기반 질의(Attribute-based query) • multimedia 정보를 기술하는 여러 속성 값을 주고 그에 해당하 는 정보를 검색하는 방법 • 해당 내용을 잘 묘사할 수 있는 Key Word를 선택 하고 이들을 애트리뷰트(Attribute)로 구성하여 텍스트 정보 표현 • e.g.. • "2003년에 제작된 video 중 제목이 Mission Impossible인 video를 찾아라."는 형태의 질의 43 내용 기반 질의(Content-based query) • 다양한 형태의 data들로 구성된 media의 내용에 근거하여 media 정보를 추출하는 방법 • multimedia 정보를 기술하는 색, 질감, 모양과 같은 여러 속성 (feature)들을 자동으로 추출 • 이를 기반으로 그 조건에 부합하는 multimedia 요소를 검색하는 방법 • 방대한 data size로 인해 효과적이고 효율적인 정보검색에 주안점 구조 기반 질의(Structure-based query) • 질의를 구성할 때 문서의 구조적 특성을 이용하여 문맥 정보를 명시적으로 질의에 포함시키는 질의를 의미 • 복잡한 형태의 multimedia data의 경우 multimedia 정보 구조 에 대한 조건을 주고 일치하는 정보를 검색하는 질의 • CAD나 구조화된 image data에 사용 45 "뉴스 video 중에서 다른 뉴스에 참조된 영상이 2개 이상 있 는 것을 검색하라"는 질의 형태 • Ex) "1998년 7월 17일 이후 사회면에 게재된 월드컵에 관한 신문기사를 인용한 논문의 제목을 찾아라". • 월드컵 <--- 내용 부분 • 사회면 <--- 구조적 정보 • 1998년 7월 17일 <--- 속성 정보 활용범위 • 문서와 동영상, 오디오 data를 다뤄야 하는 응용 • 자유로이 검색할 수 있는 multimedia database를 활용 • 저장/유통 정보 형태로 많은 응용분야로 확산 • 활용 분야 • multimedia 문서 저작 시스템(multimedia document authoring systems) • 디지털 교육 시스템이나 주문형 video(VOD: Video on Demand) • 주문형 영화(MOD: Movie On Demand) • 온라인 쇼핑몰, 여행 정보 시스템 등 47 Multimedia database • Multimedia database의 특징 • 텍스트, 그래픽, image, 애니메이션, audio, video 등의 새로운 Multimedia data 등을 Computer가 처리할 수 있게 됨에 따라 이들을 저장하는 기법 • Multimedia data와 같이 크기가 너무 방대하여 하나의 페이지 내에 저장할 수 없는 data를 대형 객체라 함 • 이러한 대형 객체를 효과적으로 관리하기 위한 별도의 database 기법이 요구됨 • 인공지능이 가미된 data base가 곧 Multimedia database라고 할 수 있음 Multimedia database • meta database • data에 관한 data(data about data) • “meta”는 곧 database를 구성하는 data에 관한 data를 의미 • 가장 많이 사용되고 있는 meta data의 정의 • data에 대한 data • 정보 자원을 설명하는 요소의 집합 • meta data의 기능 • 정보 자원의 접근과 탐색, 개체 내용의 요약 • 개체 간의 의미적 상호 연동성, 자원 관리,사용자 인터페이스 방법 메타(meta) data • data에 대한 data를 의미 • contents에 관한 설명 data를 말한다. • 별도의 tool 없이 contents의 내용파악 용이 • 정보의 검색과 관리가 용이한 장점 • 방대한 내용과 저장용량 등으로 유지관리 비용 많이 드는 단 점 Multimedia database • Multimedia database 질의처리(Query Processing) • database 조작활동 중에서 빈도가 가장 많은 것은 질의 처리 • database의 주요 구축목적은 “질의에 대한 효율적 응답”임 • Multimedia 정보를 액세스할 때 검색 시간을 최소화할 수 있도록 해야 함 • Multimedia data 액세스는 메타 database의 활용을 기본으로 함 • 효율적인 액세스를 지원하도록 효율적 인덱스 구조를 사용하여 구 축되어야 하며, 인덱스 구조는 DB 응용 일부로서 지원되는 media, 메타 data, 질의의 종류에 따라 다르게 구성되고 사용됨 Multimedia 통신 • Multimedia 통신 service • Multimedia 통신의 의미 • 인간이 쓰는 각종 대화 media와 방법은 통신망을 통한 정보교환으로 보편화하여 가고 있음 • 상호작용의 분류 • 인간과 Computer의 상호작용(HCI) • 인간과 인간의 상호작용 Multimedia 통신 service • Multimedia 정보를 종합적으로 생성, 저장, 전송, 재생하는 데 사용하는 각종 기술과 제품 • Computer에 의해 제어하는 통합된 환경에서 문자, 그래픽, audio, 정지영상과 video data를 결합시켜 하나의 객체 (Object)를 제공하는 service Multimedia 통신 • Multimedia 통신 구조 • 다양한 service와 다양한 traffic 특성을 만족시켜야 함 • Multimedia 통신 구조는 다음 요구사항을 만족해야 함 1. 다계층으로 인한 protocol overhead를 감소시켜야 함 2. protocol processing 능력을 증대시켜야 함 3. 다양한 service 선택에 따른 protocol profile을 선택 4. 성공 지향적 protocol의 집합이어야 함 Multimedia 통신 • Multimedia service를 위한 정보 통신망 • Multimedia 통신은 독립적으로 발전해 온 서로 다른 기술들이 digital 기술에 의해 하나로 수렴하는 과정에서 자연스럽게 생성 된 정보 통신 방식 • Multimedia 이동통신 • 이동통신 시스템은 다양한 시스템이 사용될 뿐 아니라 같은 시스 템이라 하더라도 지역별로 표준과 주파수 대역이 다르게 설정되 어 있음 • 다양한 무선 개인 통신 시스템을 통합, 하나의 무선구조로 제공할 필요성이 대두 FPLMTS • 이에 따라 등장한 개념이 공중 이동통신 시스템의 목표라 할 수 있는 제 3세대의 미래 공중 이동통신 service(Future Public Land Mobile Telecommunication System: FPLMTS)