1.3 多媒体的关键技术

1.3 多媒体的关键技术

在开发多媒体应用系统中，要使多媒体系统能交互地综合处理和传输数字化的声音、文字、图像信息，实现面向三维图形、立体声音、彩色全屏幕运动画面的技术处理和传播的效果，它的关键技术是要进行数据压缩、数据解压缩、生产专用芯片、解决大容量信息存储等问题。

1.3.1 视频音频数据压缩／解压缩技术

研制多媒体计算机需要解决的关键问题之一是要使计算机能适时地综合处理声、文、图信息。由于数字化的图像、声音等媒体数据量非常大，致使在目前流行的计算机产品，特别是微机系列上开展多媒体应用难以实现。例如，未经压缩的视频图像处理时的数据量每秒约28MB，播放一分钟立体声音乐也需要100MB存储空间。视频与音频信号不仅需要较大的存储空间，还要求传输速度快。因此，既要对数据进行压缩和解压缩的实时处理，又要进行快速传输处理。这对目前的微机来说无法胜任。因此，必须对多媒体信息进行实时压缩和解压缩。如果不经过数据压缩，实时处理数字化的较长的声音和多帧图像信息所需要的存储容量、传输率和计算速度都是目前PC机难以达到的和不经济实用的。数据压缩技术的发展大大推动了多媒体技术的发展。

目前的研究结果表明，选用合适的数据压缩技术，有可能将字符数据量压缩到原来的1/2左右，语音数据量压缩到原来的1/2~1/10，图像数据量压缩到原来的1/2~1/60。数据压缩理论的研究已有40多年的历史，技术日趋成熟。如今已有压缩编码／解压缩编码的国际标准JPEG和MPEG，并且已经产生了各种各样针对不同用途的压缩算法、压缩手段和实现这些算法的大规模集成电路和计算机软件。

1.3.2 多媒体专用芯片技术

专用芯片是多媒体计算机硬件体系结构的关键。因为，要实现音频、视频信号的快速压缩、解压缩和播放处理，需要大量的快速计算。而实现图像的许多特殊效果 (如改变比例、淡入淡出、马赛克等)、图形的处理(图形的生成和绘制等)、语音信号处理(抑制噪声、滤波)等等，也都需要较快的运算和处理速度。因此只有采用专用芯片，才能取得满意的效果。

多媒体计算机专用芯片可归纳为两种类型：一种是固定功能的芯片，另一种是可编程的数字信号处理器(DSP)芯片。DSP芯片是为完成某种特定信号处理设计的，在通用机上需要多条指令才能完成的处理，在DSP上可用一条指令完成。

最早出现的固定功能专用芯片是基于图像处理的压缩处理芯片，即将实现静态图像的数据压缩／解压缩算法做在一个芯片上，从而大大提高其处理速度。以后，许多半导体厂商或公司又推出了执行国际标准压缩编码的专用芯片，例如，支持用于运动图像及其伴音压缩的MPEG标准芯片，芯片的设计还充分考虑到MPEG标准的扩充和修改。由于压缩编码的国际标准较多，一些厂家和公司还推出了多功能视频压缩芯片。另外还有高效可编程多媒体处理器，其计算能力可望达到2Bips(Billion Instructions Per Second)。这些高档的专用多媒体处理器芯片，不仅大大提高了音频、视频信号处理速度，而且在音频、视频数据编码时可增加特技效果。

1.3.3 大容量信息存储技术

多媒体的音频、视频、图像等信息虽经过压缩处理，但仍然需要相当大的存储空间。而且硬盘存储器的盘片是不可交换的，不能用于多媒体信息和软件的发行。大容量只读光

盘存储器(CD-ROM)的出现，解决了多媒体信息存储空间及交换问题。

光盘机以存储量大、密度高、介质可交换、数据保存寿命长、价格低廉以及应用多样化等特点成为多媒体计算机中必不可少的设备。利用数据压缩技术，在一张CD-ROM光盘上能够存取74分钟全运动的视频图像或者十几个小时的语音信息或数千幅静止图像。CD-ROM光盘机技术已比较成熟，但速度慢，其只读特点适合于需长久保存的资料。在CD-ROM基础上，还开发了有CD-I和CD-V，即具有活动影像的全动作与全屏电视图像的交互式可视光盘。在只读CD家族中还有称为“小影碟”的VCD、可刻录式光盘CD-R、高画质、高音质的光盘DVD以及用数字方式把传统照片转存到光盘，使用户在屏幕上可欣赏高清晰度的照片的PHOTO CD。DVD(Digital Video Disc)是1996年底推出的新一代光盘标准，它使得基于计算机的数字视盘驱动器将能从单个盘片上读取4.7GB至17GB的数据量，而盘片的尺寸与CD相同。

1.3.4 多媒体输入与输出技术

多媒体输入／输出技术包括媒体变换技术、媒体识别技术、媒体理解技术和综合技术。

媒体变换技术是指改变媒体的表现形式，如当前广泛使用的视频卡、音频卡(声卡)都属媒体变换设备。

媒体识别技术是对信息进行一对一的映像过程。例如，语音识别是将语音映像为一串字、词或句子；触摸屏是根据触摸屏上的位置识别其操作要求。

媒体理解技术是对信息进行更进一步的分析处理和理解信息内容，如自然语言理解、图像理解、模式识别等技术。

媒体综合技术是把低维信息表示映像成高维的模式空间的过程，例如，语音合成器就可以把语音的内部表示综合为声音输出。

前两种技术相对比较成熟，应用较广泛，而媒体理解和综合技术目前还不成熟，只用在某些特定场合。

1.3.5 多媒体软件技术

多媒体软件技术主要包括多媒体操作系统、多媒体素材采集与制作技术、多媒体编辑与创作技术、多媒体应用程序开发技术、多媒体数据库管理技术等。

1.多媒体操作系统

多媒体操作系统是多媒体软件的核心。它负责多媒体环境下多任务的调度、保证音频、视频同步控制以及信息处理的实时性，提供多媒体信息的各种基本操作和管理，具有对设备的相对独立性与可扩展性。要求该操作系统要像处理文本、图像文件一样方便灵活的处理动态音频和视频：在控制功能上，要扩展到对录像机、音响、MIDI等声像设备以及CD-ROM光盘存储设备等。多媒体操作系统要能处理多任务，易于扩充；要求数据存取与数据格式无关；提供统一的友好界面。为支持上述要求，一般是在现有操作系统上进行扩充。Windows、OS／2和Macintosh操作系统都提供了对多媒体的支持。在我国，目前微机上开发多媒体软件用得较多的是Windows操作系统。

2. 多媒体素材采集与制作技术

素材的采集与制作主要包括采集并编辑多种媒体数据，如声音信号的录制、编辑和播

放；图像扫描及预处理；全动态视频采集及编辑；动画生成编辑；音／视频信号的混合和同步等。同时还涉及到相应的媒体采集、制作软件的使用问题。

3. 多媒体编辑与创作工具

多媒体编辑创作软件又称多媒体创作工具，是多媒体专业人员在多媒体操作系统之上开发的，供应用领域的专业人员组织编排多媒体数据，并把它们连接成完整的多媒体应用系统的工具。高档的创作工具可用于影视系统的动画制作及特技效果，中档的用于培训、教育和娱乐节目制作，低档的可用于商业简介、家庭学习材料的编辑。

4. 多媒体数据库技术

由于多媒体信息是结构型的，致使传统的关系数据库已不适用于多媒体的信息管理，需要从下面几个方面研究数据库：

(1) 多媒体数据模型。目前主要采用基于关系模型加以扩充，因为传统的关系数据库将所有的对象都看成二维表，难以处理多媒体数据模型。而面向对象技术的发展推动了数据库技术的发展，面向对象技术与数据库技术的结合导致了基于面向对象模型和超媒体模型的数据库的研究。

(2) 媒体数据压缩和解压缩的模式。该技术主要解决多媒体数据过大的空间和时间开销问题。压缩技术要考虑算法复杂度、实现速度以及压缩质量等问题。

(3) 多媒体数据管理及存取方法。采用目前常用的分页管理、B树和HASH方法外，多媒体数据库还要引入矢量空间模型信息索引检索技术，超位检索技术，智能索引技术以

及基于内容的检索方法等。尤其是超媒体组织数据机制更为多媒体数据库操作增加了活力。

(4) 用户界面。用户界面除提供多媒体功能调用外，还应提供对各种媒体的编辑功能、变换功能和用户接口。

5. 超文本／超媒体技术

超文本是一种新颖的文本信息管理技术。它提供的方法是建立各种媒体信息之间的网状链接结构。这种结构由节点组成，没有固定的顺序，也不要求必须按某个顺序检索，与传统的线性文本结构有着很大的区别。以节点为基础的信息块容易按照人们的“联想”关系加以组织，符合人们的“联想”逻辑思维习惯。

一般把已组织成的网状的信息称为超文本，而把对其进行管理使用的系统称为超文本系统。典型的超文本系统应具有用于浏览节点、防止迷路的交互式工具，即浏览器，或称为导航图。它是超文本网络的结构图与数据中的节点和链形成一一对应的关系。导航图可以帮助用户在网络中定向和观察信息的连接。如果超文本中的节点的数据不仅可以是文本，还可以是图像、动画、音频、视频，则称为超媒体。超文本和超媒体己广泛应用于多媒体信息管理中。

6. 多媒体应用开发技术

在多媒体应用开发方面，目前还缺少一个定义完整的应用开发方法学。采用传统的软件开发方法在多媒体应用领域中成功的例子很少。多媒体应用的开发会使一些采用不同问题解决方法的人集中到一起，包括计算机开发人员、音乐创作人员、图像艺术家等，他们的工作方法以及思考问题的方法都将是完全不同的。对于项目管理者来说，研究和推出一

个多媒体应用开发方法学将是极为重要的。

1.3.6 多媒体通信技术

多媒体通信要求能够综合地传输、交换各种信息类型，而不同的信息呈现出不同的特征。比如，语音和视频有较强的适应性要求，它容许出现某些文字的错误，但不能容忍任何延迟。而对于数据来说，则可容忍延迟，但却不能有错，因为即便是一个字节的错误都会改变数据的意义。

多媒体通信技术包含语音压缩、图像压缩及多媒体的混合传输技术。为了只用一根电话线同时传输语音、图像、文件等信号，必须要用复杂的多路混合传输技术，而且要采用特殊的约定来完成。

现有的通信网大都不太适应数字化的多媒体数据的传输。人们期望未来能够将多种网络进行统一，包括用于话音通信的电话网、用于计算机通信的计算机网和用于大众传播的广播电视网。对于实时性要求不高且数据量不很大的应用来说，矛盾尚不突出。但一旦涉及到大量的数据，许多网络中的特性就难以满足要求，宽带综合业务数字网 (B—ISDN) 是解决这个问题的一个比较完整的方法，其中ATM (异步传送模式) 是近年来在研究和开发上的一个重要成果。

实现多媒体通信，对不同的应用，其技术支持要求有所不同，例如，在信息点播服务中，用户和信息中心为点对点的关系，信息的传输要采用双向通路。电视中心把信息发往各用户则要实现一点对多点的关系，而在协同工作环境CSCW应用中，各用户的关系就成为多点对多点的，所以多媒体通信技术要提供上述连接类型。

1.3.7 虚拟现实技术

虚拟现实技术是用计算机生成现实世界的技术。虚拟现实的本质是人与计算机之间进行交流的方法，它以其更加高级的集成性和交互性，给用户以十分逼真的体验，可以广泛应用于模拟训练、科学可视化等领域，如飞机驾驶训练、分子结构世界、宇宙作战游戏等。

虚拟现实的定义可归纳为：利用计算机技术生成的一个逼真的视觉、听觉、触觉及嗅觉等的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。这个定义有三层含义：首先，虚拟实体是用计算机来生成的一种模拟环境，“逼真”就是要达到三维视觉，甚至包括三维的听觉及触觉、嗅觉等；其次，用户可以通过人的自然技能与这个环境交互，这里的自然技能可以是人的头部转动、眼睛转动、手势或其他的身体动作；第三，虚拟现实往往要借助于一些三维传感设备来完成交互动作，常用的如头盔立体显示器、数据手套、数据服装、三维鼠标等。