1

멀티미디어 특론

2000년 2학기 인천대학교 컴퓨터공학과 성 미 영 http://marvel.inchon.ac.kr/~mysung [email protected]

M. Y. Sung

교재 및 참고서적 2

  교재  Networked Multimedia Systems, S.V. Raghavan, Satish K. Tripathi, Prentice Hall, 1998.

참고서적  Ralf Steinmetz and Klara Nahrstedt, "Multimedia: Computing, Communications and Applications", Prentice Hall, 1995, 854 pages.

 멀티미디어 전산, 통신 및 응용(Multimedia: Computing, Communication & applications), Ralf Steinmetz and Klara Nahrstedt 원저, 송병호 역, 도서출 판 아진, 1999.

     Emerging Multimedia Computer Communication Technologies, Chwan-Hwa "John" Wu, J.David Irwin, Prentice Hall PTR, 1998.

Nalin K. Sharda, "Multimedia Information Networking", Prentice Hall, 1999.

Journals of IEEE MultiMedia, IEEE periodcals, 4 issues/1 year.

Journals of ACM Multimedia Systems, ACM periodicals, 6 issues/1 year.

Journals of Multimedia Tools and applications, Ed-in-Chef: Borko Furht, Kluwer Academic Publishers, 12 issues/1 year.

M. Y. Sung

수업 개요



3

   교과목 개요 멀티미디어 정보를 컴퓨터에서 처리하는데 필요한 하드웨어 및 소프트웨 어 기술 , 멀티미디어 정보 저장 방법 , 압축방법 , 동기화 방법 , 전송 방법 , 상 영 방법 , 그리고 멀티미디어 프로그래밍 방법 등의 이론과 실제를 연구한 다 .

수업 목표 이 교과목의 목표는 멀티미디어 시스템에 대하여 깊이 있게 이해하고 이를 바탕으로 하여 새로운 멀티미디어 시스템 또는 새로운 멀티미디어 응용 시 스템을 개발할 수 있는 유능한 인재를 양성하는 것이다 .

이를 위하여 이 강 의에서는 멀티미디어 정보를 다루기 위한 컴퓨터 구조 멀티미디어 데이터베이스 등의 응용 분야에 필요한 이론과 실제에 대하여 이해하고 현재 발표된 시스템들을 분석해봄으로써 멀티미디어 시스템을 깊이 있게 이해한다 .

또한 Term-Project 고 구현할 수 있는 기초능력을 기른다.

, 운영체제 , 통신 및 을 통하여 소규모 멀티미디어 시스 템의 프로토타입을 구현해 봄으로써 새로운 멀티미디어 시스템을 설계하 수업 방식 : 강의와 세미나 학습 평가 방법 : Term Project: 30%, 시험 30%, 세미나 20%, 출석: 20% M. Y. Sung

4 과제

  세미나    9월15일(금)까지 주제 제출 3개 (적어도 하나는 textbook chapter 3~11에서) 수업 내용과 관련하여 적절한 시간에 발표 개인별 Term Project  9월 29일(금)까지 주제 제출 M. Y. Sung

세미나 및 Term Project 주제 예.

5

                 SMIL (Synchronized Multimedia Integration Language) VRML(Virtual Reality Management Language) DHTML(Dynamic HyperText Markup Language) XHTML(eXtensible HyperText Markup Language) CODEC(JPEG, MPEG, H.263 or H.263 Version 2 video codec, H.320/H.323/H.324 video or voice conferencing, 등) 실시간 프로토콜 RTP(Real-time Transfer Protocol), RTCP(RTP Control Protocol) 멀티미디어 이동통신 IMT(International Mobile Telecommunication)-2000 MP3 MS MediaServer JMF (Java Media Framework) 2.0

PHP (Professional Hypertext Preprocessor) UMS (Unified Message System) Plug-in Program Open Group의 DCE(Distributed Computing Environment) OMG(Object Management Group)의 CORBA(Common Object Request Broker Architecture) with Multimedia Extensions Sun Microsystems의 RMI MS의 DCOM M. Y. Sung

6 세미나 주제 예..

             Spatial audio, 3D sound, computer music (e.g., MIDI) 3D graphics: OpenGL and VRML (Virtual Reality Modeling Language) DAVIC (Digital Audio-Visual Council) FIPA (Foundation for Intelligent Physical Agents) IETF (The Internet Engineering Task Force): Audio/Video Transport and Resource Reservation Setup Protocol (RSVP) IMTC (International Multimedia Teleconferencing Consortium) Multimedia databases (e.g., content-based retrieval of images) User interfaces for multimedia access (e.g., video on demand) Others (Feel free to be creative!) 디지털 방송에 관련된 주제 게임에 관련된 주제 기타 멀티미디어 관련 창의적인 주제 환영 교재 chapter 들 M. Y. Sung

멀티미디어란?

7

    디지털 정보를 적절한 방법으로 사용자에게 전달할 수 있는, 적어도 하 나 이상의 연속 미디어 와 이산 미디어가 통합된 것 애니메이션 사운드 비디오 텍스트 이미지 그래픽 정보 전달과 인식에 오감(시각, 청각, 촉각, 후각, 미각)을 최대한 활용 하는 것 여러 가지 미디어 자료가 함께 어우러져 의미 있는 정보로 새롭게 탄 생한 것 우리가 멀티미디어라는 용어를 사용하는 경우    연속 미디어를 포함한 두 가지 이상의 매체를 사용 대화 기능(interactivity): 사용자의 의사 반영 데이터는 디지털 형태: 컴퓨터에서 데이터를 처리, 분석, 표현 위해 M. Y. Sung

8 미디어의 분류 기준

1. Perception(지각) Medium: 사람은 컴퓨터 환경으로부터 어떻게 정 보를 지각하는가?

시각 미디어: text, still image(graphics 포함), motion image 등 청각 미디어: music, voice, noise 등 (촉각 미디어) ...

2. Representation(내부표현) Medium: 컴퓨터 정보는 어떻게 부호화 (coding) 되는가?

text: ASCII나 EBCDIC 코드 문자의 sequence graphics: CEPT나 CAPTAIN videotext standard, GKS graphic standard audio: wave, 16bit PCM, ADPCM, MP3 ...

image: bitmap, facsimile G3, JPEG combined AV sequence: TV standard(PAL, SECAM, NTSC), MPEG1,2,4,7, AVI, … M. Y. Sung

미디어의 분류 기준 9

3. Presentation(외부표현) Medium : 어떠한 미디어를 통해서 정보가 컴퓨터에 입출력 되는가?

출력 미디어: 종이, 스크린, 스피커, HMD ...

입력 미디어: 키보드, 마우스, 카메라, 마이크 4. Storage(저장) Medium: 어디에 정보가 저장되는가?

microfilm, floppy disk, hard disk(RAID), CD-ROM, DVD, holographic storage, ...

5. Transmission(전송) Medium: 무엇을 통해서 정보가 전달되는가?

 유선: 전선쌍(twisted pair), 동축 케이블(coaxial cable), 광섬유(optical fiber)  무선: 공중파, 적외선, ...

6. Information Exchange(정보 교환) Medium: 상이한 지점간의 정보 교환에는 어떠한 정보 전달체계가 사용되는가?

중간의 저장 미디어 경유 전송 미디어로 직접 전송 조합(예, e-mail) M. Y. Sung

멀티미디어 처리

   미디어의 인식 (perception)    하드웨어 통해 입력하여 컴퓨터가 인식할 수 있는 형태로 저장 디지털 입력장치: ASCII 키보드 , MIDI 아날로그 미디어 입력장치 : 키보드 비디오 카메라 , , 펜 , 마이크 이미지 스캐너 , 디지털 카메라 , 오디오 / 비디오 디지타이저 미디어의 표현 (representation)  컴퓨터에서의 처리 및 재생을 위하여 규약된 형식 필요   텍스트 , 그래픽 , 이미지 , 애니메이션 , 사운드 , 비디오별 다양한 표현 형식 MIME(Multipurpose Internet Mail Extensions):  7 개 주타입 : 텍스트 , 비디오 , 이미지 , 인터넷 메일의 표준화 규격 오디오 , 메시지 , 멀티파트 , 응용  hypertext/hypermedia 미디어의 재생( presentation)  재생시에 원래의 멀티미디어의 내용이 제대로 전달되어야 함   멀티미디어 출력 소프트웨어 : 멀티미디어의 출력 장치 : 윈도우즈의 출력 그래픽 출력 모듈인 컴퓨터 모니터 , 스피커 , 프린터 , 플로터 등 GDI  미디어의 저장(storage)  데이터의 방대함 때문에 압축 및 큰 저장 매체가 필요: CD-ROM, DVD 등  미디어 전송(transmission) 등   분산 응용의 특성에 따라 멀티미디어 통신 , 실시간성 요구 및 서비스 품질( QoS ) 요구 연속 미디어 전송에 시간적인 제약성 : 음성 및 영상 서비스  미디어별로 요구되는 서비스 품질이 만족되도록 망에서의 미디어별 효율적인 처리 필요: 텍스트와 영상 동시에 보낼 때 QoS 처리 지원 및 종단 컴퓨터에서의

10

M. Y. Sung

멀티미디어 처리를 위한 기술적 요구 사항 11

       처리해야 할 데이터 양이 방대  1분 비디오: 360x240(pixels/frame)x3(bytes/pixel)x18(frames/sec)x60(sec)==~280MB ytes   음성: 64Kbps(전화품질) ~ 768Kbps(digital audio tape 모노 품질) 동영상: 100Mbytes(보통 TV 품질) ~ 1.2Gbps(HDTV 품질) 다양한 미디어간의 상호 동기화가 필요: 공간 및 시간 동기화 각 미디어별로 다른 QoS(Quality of Service) 충족 요구 실시간 처리의 요구: 낮은 전송지연(delay)및 변화(jitter), H/W 지원 및 S/W 지원 필요 복잡해진 표준화에 대한 요구 응용에 따른 다양한 대역폭 요구: 미디어별로 낮은 전송지연, 낮은 지터, 미디어간 동기 필요 멀티파티(multiparty) 요구:1-to-1, 1-to-many, many-to-many M. Y. Sung

멀티미디어 관련 하드웨어

       처리 장치: 그래픽 카드, 사운드 카드, 비디오 처리 보드, DVI(Digital Video Interactive) 보드 등 캡쳐 장치: 스캐너, 디지털 카메라, 비디오 카메라, 마이크 등 출력 장치: 컴퓨터 모니터, 스피터, 프린터, 플로터 등 저장 장치: CD-ROM (CD-DA, CD-ROM, CD-I. CD-ROM/XA), DVD (Digital Video Disk), RAID (Redundant Arrays of Inexpensive Disks) disk array, Optical Disk Library 등 USB (Universal Serial Bus): 12Mbps, PnP(Plug and Play) IEEE1394 High Performance Serial Bus: 400Mbps, PnPs 멀티미디어 프로세서: MMX(Intel), MPact/6000 (Chromatic), MediaProcessor (MicroUnity System Engineering)

12

M. Y. Sung

멀티미디어의 발전.

        1945 Vannevar Bush , Memex(Memory Extension) 1965 Ted Nelson , Hypertext라는 말 1968 Doug Engelbart, NLS 1960말 Ted Nelson , Andries Van Dam, IBM 360 기반 하이퍼텍스 트 시스템 1967 Nicholas Negroponte, Architecture Machine Group의 SMDS (Spatial Data Management System) http://www.media.mit.edu/~nicholas/ 1970말 Andy Lippman, Robert Mohl, Aspen Project 1985 Nicholas Negrofonte, MIT Media Lab.

http://www.media.mit.edu

이후 폭발적 인기와 함께 활발한 연구가 진행 중

13

M. Y. Sung

멀티미디어의 발전..

  광 저장 매체의 등장  1980 필립스사와 소니사 광저장 디스크  1982 필립스사와 소니사 CD 플레이어 CD-DA(Compact Disk-Digital Audio)  1985 CD-ROM(Read Only Memory) CD-ROM XA  CD-I 최근 GB 급 디지털 비디오 디스크 (DVD : Digital Video Disk) 영상 압축 기술의 발전   한시간 비디오 데이터를 CD-ROM 한장에 기록하려면 백분의 일 압축 필요 JPEG(Joint Photographic Experts Group): 사진 압축 국제 표준안    MPEG(Moving Picture Experts Group): 비디오 압축 국제 표준안 1991 애플사 소프트웨어만으로 비디오를 볼 수 있는 QuickTime을 운영 체제에 포함 마이크로소프트사 VFW(Video for Windows) 소프트웨어 발표

14

M. Y. Sung

멀티미디어의 발전...

 

15

멀티미디어 PC(MPC)의 성장    1990 표준 규격의 멀티미디어 PC 등장 1세대 MPC: 1991 산업체 콘소시엄 멀티미디어 PC 마케팅 위원회(Multimedia PC Marketing Council : MPMC)가 마이크로소프트사의 윈도우즈를 중심 멀티미 디어 PC 사양 정의 2세대 ~: IMA(Interactive Multimedia Association) 인터넷의 활성화        1991년까지만 해도 컴퓨터와 통신을 통합한 응용이 구체화되지 못했다 HTML(HyperText Markup Language): 유럽 공동 입자 연구소(CERN)의 팀 버너 스 리)가 개발한 표준 문서 형식 WWW(World Wide Web): HTML 표준 문서 형식을 사용하여 서로 연결된 정보 시스템 웹(Web) 1993 일리노이의 슈퍼컴퓨팅 센터의 Mosaic 프로그램: graphical web browser 정보 고속도로 (information superhighway): 전 세계를 하나로 묶어 주는 유용한 정보의 전달 체계 통신 속도의 증가 멀티미디어는 인터넷을 축으로 발전 M. Y. Sung

멀티미디어 저장매체 CD의 이해

        

16

CD(Compact Disk)    600MB laser 이용 나선형 트랙(spiral track): HD 보다 느림   CLV(Constant Linear Velocity)로 회전: (Cf.) HDD: CAV(Constant Angular Velocity) 포맷   물리적 포맷: 저수준 데이터 구성, SONY Yellow Book 논리적 포맷: 파일 포맷 및 디렉토리 구조 정의, ISO 9660(High Sierra) CD-DA(CD Digital Audio) CD-ROM CD-ROM/XA CD-I(Interactive) Photo CD Video CD CD-R(Recordable) DVD(Digital Video Disc/Digital Versatile Disc) M. Y. Sung

CLV와 CAV의 구조

Sector 1 Sector 0 Sector 2 Spur 0 Spur 1 Spur 2

17

S e c t o r 1 3 5 1 2 Minute/Seconds/Sector 3 0 1 2 C A V ( H a r d d r i v e ) C L V ( C D - R O M ) S e c t o r 0 Minute/Seconds/Sector 0 0 0 M. Y. Sung

멀티미디어 PC(MPC)의 사양

( 미디어 오디오 비디오 ) / 저작 기능 비디오 압축 기술 1 세대 MPC (1989 ~ 1991) 8bit DAC/ADC 선형 PCM 샘플링 640x480 해상도 /16 색 애니메이션 하이퍼텍스트 하이퍼미디어 DCT 변환 JPEG

18

기반 플랫폼 전달 매체 운영체제 네트워크 25 MHz 80386SX 2MB 이상 메모리 이상 40MB 이상의 HDD 1 배속 (150KB) 이상 CD-ROM 드라이브 1.5M

레이저디스크 128MB CD-ROM MS-DOS v3.1

MS-Windows 3.1

Ethernet(10Mbps) Token Ring(16Mbps) 2 세대 MPC (1992 ~ 1994) 16bit DAC/ADC 선형 PCM 샘플링 640x480 해상도 /65536 색 비디오 15 프레임 객체지향 멀티미디어 모션 JPEG MPEG-1 25 MHz 80486SX 4MB 이상 메모리 이상 160MB 이상의 HDD 2 배속 (300KB) 이상 CD-ROM 드라이브 650MB CD-ROM MS-DOS 5.0

MS-Windows 3.1

FDDI(100Mbps) 3 세대 MPC (1995 ~ 1996) 16bit DAC/ADC 선형 PCM 샘플링 1280x768 해상도 /65536 색 비디오 30 프레임 겍체지향멀티미디어와 운영체제의 통합 MPEG-2,4 75 MHz Pentium 8MB 이상 이상 메모리 540MB 이상의 HDD 4 배속 (600KB) 이상 CD-ROM 드라이브 500MB WORM 128-500MB MO(R/W) MS-DOS 6.0

Windows 3.1

Ethernet/Token Ring (100Mbps) ATM M. Y. Sung

비시간 미디어 타입(Nontemporal Media Types)

  

19

텍스트/문서      unformatted text, plain text: ASCII, Unicode formatted text, rich text:구조 기술(TeX, HTML, SGML, XML), 페이지 기술(PostScript) 무손실 압축: run-length coding, Huffman coding(Unix bzip2), LZW(Lemoel-Ziv-Welch)(Unix gzip) 파일 형식: TXT, DOC, LST, TEX, PS 등 S/W: vi, emacs, 아래아 한글, MS Word, LaTeX, Fontographer, Font Studio, Omnipage, Perceive, Speed Reader 이미지   비트맵 방식  가로 세로로 동일한 간격의 격자 (grid) 로 구분하여 여러 개의 점으로 표시  나누어진 점 하나가 픽셀 (pixel), 컴퓨터 스크린의 해상도는 픽셀의 개수로 정의   색상의 점차적인 변화를 표현하는 데 유리 사진이나 사실적인 그림을 표현하는 데 적합 파일 형식: BMP, GIF, JPG, TIFF, PCX, TGA 등 그래픽  벡터 방식  선의 종류, 도형의 종류, 위치, 특성을 수학적으로 모델화     크기 조절, 회전, 선의 굵기, 색상 등의 특성을 변경시키는 연산 수행 가능 임의의 배수로 확대하거나 축소하여도 그 형태를 그대로 유지 구조정보(semantic content) 포함 파일 형식: DXF, NAPLS, IGES, WMF 

시간 미디어 타입(Temporal Media Types)

 

20

사운드/오디오  음성 (voice 또는 speech), 음악 , 음향     디지털 음성, CD-Audio, MIDI(Musical Instrument Digital Interface) 컴퓨터안 음성 표현방식   미디 (MIDI: Music Instrument Digital Interface): 인간의 사고방식에 가까운 개념적인 표 현방식 음파 : 기계의 입출력 방식에 가까운 표현방식 파일 형식: SND, WAV, AIF, MID, MP2, MP3 S/W: QuickRecorder, AudioShop, WaveStudio, Cakework(MIDI Sequencer) 비디오 및 애니메이션       최종 결과물에 소리를 포함   비디오와 소리의 특성이 다르므로 다른 방식으로 기록 재생할 때 동기화(매체간에 재생 시간을 맞추는 것) 필요 비디오: 디지털 이미지 프레임 세트: 적어도 초당 24 프레임 ~ 30 프레임 비디오 파일 형식: AVI, QuickTime, MPEG 애니메이션: 여러 장의 정지화상을 연속적으로 재생, 최소한 초당 15 프레임 이상   프레임(frame) 기반 스프라이트(sprite, 조각 그림) 기반 애니메이션 파일 형식: MMM, FLI, FLC, FLX, QuickTime S/W: Flash, AnimatorPro, VideoEditor, Premiere, QuickTime M. Y. Sung

멀티미디어 데이터 표준의 이해

     

21

법적 표준(de jure)     국제 표준 기관: ITU, ISO, IEC 국가 표준 기관: ANSI(미국), BSI(영국), AFNOR(프랑스), DIN(독일) 민간 사업체의 조직체: ATM Forum, OSF, OMG 학술 단체: IEEE 업계 표준(de facto): IBM PC 표준 등 ITU(International Telecommunication Union)    ITU-T: Telecommunication, CCITT ITU-R: Radiocommunication 7개 SG(Study Group) ISO(International Standard Organization)  200여 TC(Technical Committee), SC(Sub Committee), WG(Working Group) ISO/IEC(International Electrotechnical Commission) JTC(Joint Technical Committee)1  멀티미디어 부호화(coding) 표준화 인터넷 관련 조직 IAB(Internet Architecture Board)    ARPANET(Advanced Research Projects Agency Network)이 전신 RFC(Request For Comments) IRTF(Internet Research Task Force)와 IETF(Internet Engineering Task Force) M. Y. Sung

ITU 조직도

ITU 사무 국 ITU-T ITU-R SG 8(텔레 마틱스) SG 9(음향 과 TV방송 ) SG 13(네트 워크) SG 15(전송 시스템 장치) SG 11(음향 방송) SG 11(TV방송 ) SG 12 WP 1/15 (오디오 비주얼) WP 2/15(신호처리) WP : Working Play SG : Study Group ITU-D (개발 에 관계하는 부 문)

22

M. Y. Sung

멀티미디어 표준

 

멀티미디어 부호화 표준: 표 1.1 참조 문서의 표준화

  SGML(Standard Generalized Markup Language) HTML(HyperText Markup Language)       SMDL(Standard Music Description Language) ODA(Open Document Architecture) MHEG(Multimedia Hypermedia Expert Group) HyTime(Hypermedia/Time-based structuring language) SMIL(Synchronized Multimedia Integration Language) XHTML(eXtensible HTML)

23

M. Y. Sung

멀티미디어 시스템 구조

Document Tools and Application User Interface Programming Abstraction Middleware Database System Operating System Computer Technology Communication System A p p l i c a t i o n D o m a i n S y s t e m D o m a i n Storage Audio Compression Image Graphics Vedio An o mation Network D e v i c e D o m a i n

24

M. Y. Sung

멀티미디어 분산 응용 프레임워크 모델

Distributed Application OSF DCE

with Multim edia Extentions

Personal Computer Intergration Orchestration Other Distributed Services (Future) Distributed File services Continuous Media File Services TIME NAMING Other Fundametal Services (Future) OMG CORBA

with Multim edia Extentions

Distributed Objcet Service (Object Request Brokers, IDL, Interface Repository) API Extentions (Time, Stream Objcets) Remote Procedure Call and Presentation Services Threads

Real-time OS and Continuous Media Transport Services

25

M. Y. Sung

26 Emerging Multimedia Computer Communication Technologies Chwan-Hwa

“

John

”

Wu J. David Irwin

M. Y. Sung

1. 개요

   

멀티미디어와 멀티미디어 통신 멀티미디어와 멀티미디어 통신 응용 멀티미디어와 압축 기술과 표준 통신 네트워크의 발전 27

M. Y. Sung

멀티미디어의 중요성

 멀티미디어 기술을 효율적이고 효과적으로(efficient and effective manner) 활용하면 삶의 즐거움을 만끽할 수 있음  남녀노소 모두에게, 모든 분야에 영향을 줌  멀티미디어의 기본적이고 중요한 기술을 잘 이해해야 멀티미디어를 더 잘 활용할 수 있을 것임

28

M. Y. Sung

멀티미디어 배달(Delivery).

29

    멀티미디어 배달  CD-ROM 또는 DVD (Digital Video Disk)  Multimedia Network 멀티미디어 이용   홈 컴퓨터 WebTV 등 멀티미디어 =    Video and audio + interactivity Synthesized video + interactivity Audio and text + interactivity 멀티미디어 서비스          Interactive games Interactive TV program guide Videoconferencing with document sharing VoD(Video on Demand), News on Demand, Sports on Demand Distance Learning Home shopping Tourist guide Multimedia banking Digital Library 등 M. Y. Sung

멀티미디어 배달(Delivery)..

    

30

대용량 멀티미디어 자료   서버에 놓고 사용자들은 네트워크를 통해 접근   서버 예 : Video server 클라이언트 예 : 컴퓨터 또는 PDA (Personal Digital Assistant) 실시간 배달 (real-time delivery)  예 : videoconferencing 분산 컴퓨팅이 되면 멀티미디어 자료의 관리, 수정, 배달이 분산되므로 경제적 네트워크 성능이 최적화되면 마치 자신의 컴퓨터에서 수행되는 것 같은 느낌 통신 지연 줄이기 위해 대용량 멀티미디어 자료는 압축(compression) 다중 업체, 다중 플랫폼, 다중 프로토콜 네트워크 환경에서의 상호연동 성을 위해 표준(standards)이 중요   플랫폼 (OS) : PC, Mac, SUN, IBM 프로토콜 : NetWare, TCP/IP, Appletalk M. Y. Sung

멀티미디어 배달(Delivery)

…  Multimedia Network      LAN (Local Area Network) WAN (Wide Area Network) ATM (Asynchronous Transfer Mode) : 작은 패킷 (53 octets의 cell) 을 스위치하는 새로운 IC (Interated Circuit) 스위치 기반 BISDN (Broadband Integrated Service Digital Network) : 광대역 섬유 링크 (fiber link) 인 SONET (Synchronous Optical Networks) 에서 ATM 스위치를 이용  goal : telephone, Internet access, interactive TV, home shopping, telemedicine 등을 통합한 네트워크 서비스 제공  전송 요구 사항  data : delay 있더라도 error 없어야  음성과 비디오 : error 있더라도 delay 없어야 RSVP (Resource Reservation Protocol) : 필요한 bandwidth를 예약

31

M. Y. Sung

멀티미디어 생성과 전송 32

Multimedia material Multimedia content generation: video, audio, syn thesized video, audio and text as well as interactivity Multimedia material compression Removable storage devices, such as CD Video server Multimedia material with interactivity Multimedia content composition Multimedia material decompression Communication networks Removable storage M. Y. Sung

클라이언트/서버 환경

server Server Client Communication network Wireless link Pen computer Terminal Set-top box

33

M. Y. Sung

표준과 상호연동성 (Interoperability)

IBM Compatible Laptop computer Macintosh Mac Classic SUN workstation IBM workstation

34

Netware-based network Netware server AppleTalk IP-base wide area network UNIX network M. Y. Sung

멀티미디어 네트워크와 4 종류 네트워크

Local Area Networks Multimedia Networks Internet Cable TV Networks Telco Networks

35

M. Y. Sung

멀티미디어와 멀티미디어 통신 응용.

  오락 (Entertainment)   Telcos (Telephone companies)와 cable TV의 broadband networks  Telcos : DSL (Digital Subscriber Lines) : 기존의 copper wires 이용  Cable TV : HFC (Hybrid Fiber Coax) + coaxial cables homes : modem/set-top box 교육 (Education)    On demand : self-paced training  Stanford : video server와 고성능 ATM/BISDN을 이용하는 EoD (Education on Demand) Real-time : saving in both travel costs and time  University of Notre Dame : videoconferencing을 이용한 live and interactive distance learning 예   ZDU (Ziff-Davis Net University)  http://cham.master.com/morror/www.zdu.com/ Marshall Industry의 Ntseminar와 live chat  http://www.marshall.com

36

M. Y. Sung

멀티미디어와 멀티미디어 통신 응용..

 

37

산업/경영 (Industrial/business)   Chrysler   ATM 네트워크 상에서 CAD/CAE : designers, engineers Videoconferencing : manufacturing managers Multimedia banking services  electronic banking   multimedia messages 보안 : IC cards나 PIN(Personal Identification Number)s 의료 (Medicine) : 멀티미디어 기술이 돈, 시간, 생명을 구함  고화질 images와 video 응용   X-ray, CAT scan, ultrasound, MRI video/images 등을 진단 센터 로 실시간 전송하여 분석 telemedicine  고성능 videoconferencing  collaborative diagnosis  medical distance learning : (예) surgical procedures M. Y. Sung

오락

HFC Cable TV headend Telco's central office DSL

38

Fax Fax M. Y. Sung

교육

Video Videoconferencing Telco leased lines Videoconferencing Video ATM/BISDN Video server Internet Server

39

M. Y. Sung

멀티미디어와 압축 기술과 표준.



주요 멀티미디어 기술

 MPC (Multimedia PC) Level 3 Specification  H/W : processor, cache, memory, disks, CD-ROM, audio system, speakers,graphics, video, communication, drivers, input/output devices, USB (Universal Serial Bus), parallel port, serial port, MIDI (Musical instrument Digital Interface), joystick, fax/modem  S/W : video/audio capture, compression, decompression, transport, playback  Video for Windows (Microsoft), ActiveMovie (Microsoft), QuickTime (Apple)  motherboard의 bus 대역폭은 멀티미디어 통신의 성능을 훨씬 능가

40

M. Y. Sung

멀티미디어와 압축 기술과 표준..



41

표준   압축 (compression) 기술이 중요 ISO, ITU, IEC       GIF (Graphics Interchange Format) : CompuServe의 generalized color raster images와 animation을 정의하는 명세, graphics images 압축 JPEG (Joint Photographic Experts Group) : continuous tone color images 또는 gray scale images 압축 MPEG (Motion Picture Expert Group)  MPEG-1 (1992) : 가변 속도 통신 네트워크와 1~1.5Mbps CD-ROM 등 의 digital storage media 용   MPEG-2 (1996) : HDTV와 고화질 digital storage media 용 MPEG-4 (1998) : interactive service 용, AVO (Audio/Visual Object)와 synthetic objects 지원, QoS 명세 포함  MPEG-7 (2000) : 검색 강력하게 지원 MHEG (Multimedia and Hypermedia information coding Expert Group) : 압 축된 멀티미디어 객체의 프레젠테이션과 대화형 멀티미디어 응용 지원 H.261 : videoconferencing H.263 : videoconferencing M. Y. Sung

MPEG-4

Video object 1 Video object 2 Video object 3: the background

42

Music Interactivity Button Compressed video object and composition information Compressed video object and composition information Compressed video object and composition information Compressed audio object and synchronization information Interactivity and composition information A bitstream for representing the multimedia presentation including synchronized video and audio Button M. Y. Sung

통신 네트워크의 발전.

 데이터 통신 네트워크       Voice, telegraph와 telex 로 시작 X.25 : 메인프레임과 터미널 사이, 메인프레임 사이의 통신 1980년대 LAN : PC들의 파일과 프린터 공유  Netware : Network OS를 가진 LAN, PC 통신 WAN : 1990년대 LAN의 급속한 확산으로 LAN들을 연결  Telcos의 WAN 패킷 스위칭 서비스 : X.25, frame relay, 53 바이트 패킷 기반 SMDS (Switched Multimegabit Data Service) 등의 cell relay 분산 통신 구조로 LAN들을 연결하는 Internet 활성화 :  Telcos도 backbone과 서비스 제공에 크게 기여 데이터 통신 기술이 무르익자 멀티미디어 통신 기술이 출현

43

M. Y. Sung

통신 네트워크의 발전..

 멀티미디어 네트워크          1970년대 ISDN (Integrated Service Digital Network) 표준은 Internet dialup service에 한정 장거리 전화 대치위해 음성과 데이터 서비스를 결합하고자 WAN 시작 AT&T Bell Lab. (Lucent Technologies) 가 광대역 통신 네트워크 ATM 개발 ATM 기술을 LAN에 결합하여 비디오와 오디오 지원 ATM 기술을 SONET (Synchronous Optical Network) 에 결합한 ATM/BISDN 기 술로 모든 종류의 정보 통신 지원 Telcos의 DSL (Digital Subscriber Lines) Cable TV의 HFC (Hybrid Fiber Coax) MPEG-2 over ATM 기술과 videoconferencing protocols의 발전으로 videoconferencing과 videophone 서비스가 LAN, 모뎀과 결합된 정규 전화선, ISDN, Internet, ATM 상에서 가능 같은 네트워크 상에서 서로 다른 프로토콜을 적용할 수 있어 videoconferencing 과 전화를 동시에 사용 가능

44

M. Y. Sung

통신 네트워크의 발전...

 멀티미디어 네트워크 (계속)      MPEG-4 : 저속 무선 네트워크 (wireless network) 부터 고속 ATM까지 다양한 네 트워크에 scalable 한 표준 무선 통신은 오류가 많으므로 압축과 오류 제어를 위한 새로운 표준이 필요 다양한 종류의 네트워크 상에서 다양한 응용을 최적의 성능으로 사용자의 간섭 없 이 자동적으로 지원할 수 있는 새로운 표준이 필요 MPEG-7 : 멀티미디어 데이터에서 특정 정보를 검색하여 활용할 수 있게 지원 MHEG  JPEG, MPEG 등으로 압축된 정보들을 프레젠테이션에 결합하고 프레젠테이 션 제어   클라이언트에 MHEG 엔진 있어야 MHEG-6 : JVM (Java Virtual Machine) 지원   Object-oriented 접근으로 server, network, client의 부담 감소 HTML (Hypertext Markup Language)에서 MHEG 지원

45

M. Y. Sung

Data Communication for LANs

Internet WAN: X.25, fram e relay or SMDS LAN LAN LAN

46

M. Y. Sung

A Multimedia Network

ATM over DSL ATM LAN Telco's WAN: ATM/BISD N Internet based on ATM/BISDN ATM LAN ATM over HFC ATM LAN

47

M. Y. Sung

Video Conferencing Systems

Internet Videoonferencing Telephone Videoonferencing ISDN lines Fax Telco's networks Phone lines LAN Gateway Gateway LAN Gateway ATM LAN

48

Videoconferencing videoconferencing Videoonferencing M. Y. Sung

Integrated Network

Pen computer Laptop computer LANs Cable TV networks Wireless networks Telco's broadband network to homes LANs LANs Internet Telco's WAN TV broadcast Video

49

M. Y. Sung

MHEG Standard

Server Client Download multimedia information of MHEG Communication network MHEG engine Server MHEG engine Pen computer MHEG engine Laptop computer

50

M. Y. Sung

51

Multimedia Communication networks Multimedia communication Multimedia Computer Technologies Compression and Multimedia Standards/Techniques Local area netw orks Next generation of local area netw orks Wide area netw orks The Internet Broadband netw orks to homes Multimedia over communication netw orks V ideoconferencing and telephony Application examples M. Y. Sung