信源编码

信源编码" target="_blank">信源编码是一种以提高通信有效性为目的而对信源符号进行的变换，或者说为了减少或消除信源冗余度而进行的信源符号变换。具体说，就是针对信源输出符号序列的统计特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列，使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列。 [1]

对输入信息进行编码，优化信息和压缩信息并且打成符合标准的数据包。

信源编码的作用之一是，即通常所说的数据压缩;作用之二是将信源的模拟信号转化成数字信号，以实现模拟信号的数字化传输。

最原始的信源编码就是莫尔斯电码，另外还有ASCII码和电报码都是信源编码。但现代通信应用中常见的信源编码方式有：Huffman编码、算术编码、L-Z编码，这三种都是无损编码，另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余，更加有效、经济地传输，最常见的应用形式就是压缩。另外，在数字电视领域，信源编码包括 通用的MPEG—2编码和H.264(MPEG—Part10 AVC)编码等。相应地，信道编码是为了对抗信道中的噪音和衰减，通过增加冗余，如校验码等，来提高抗干扰能力以及纠错能力。

不同类型的信源，是否存在有每种信源的最佳的信源编码，这通常是用信源编码定理来表示。最简单、最有实用指导意义的信源编码定理是离散、无记忆型信源的二进制变长编码的编码定理。它证明，一定存在一种无失真编码，当把N个符号进行编码时，平均每个符号所需二进码的码长满足

。其中H(U)是信源的符号熵(比特)，这就是说，最佳的信源编码应是与信源信息熵H(U)统计匹配的编码，代码长度可接近符号熵。这一结论不仅表明最佳编码存在，而且还给出具体构造码的方法，即按概率特性编成不等长度码。对不同类型信源，如离散或连续、无或有记忆、平稳或非平稳、无或限定失真等，可以构成不同的组合信源，它们都存在各自的信源编码定理。但它们中绝大部分仅是属于理论上的存在性定理，这给具体寻找和实现不同类型信源的信源编码，带来了相当的难度。信源编码根据信源的性质进行分类，则有信源统计特性已知或未知、无失真或限定失真、无记忆或有记忆信源的编码;按编码方法进行分类可分为分组码或非分组码、等长码或变长码等。然而最常见的是讨论统计特性已知条件下，离散、平稳、无失真信源的编码，消除这类信源剩余度的主要方法有统计匹配编码和解除相关性编码。比如仙农码、费诺码、赫夫曼码，它们属于不等长度分组码，算术编码属于非分组码;预测编码和变换编码是以解除相关性为主的编码。对限定失真的信源编码则是以信息率失真R(D)函数为基础，最典型的是矢量量化编码。对统计特性未知的信源编码称为通用编码。

既然信源编码的基本目的是提高码字序列中码元的平均信息量，那么，一切旨在减少剩余度而对信源输出符号序列所施行的变换或处理，都可以在这种意义下归入信源编码的范畴，例如过滤、预测、域变换和数据压缩等。当然，这些都是广义的信源编码。一般来说，减少信源输出符号序列中的剩余度、提高符号平均信息量的基本途径有两个：①使序列中的各个符号尽可能地互相独立;②使序列中各个符号的出现概率尽可能地相等。前者称为解除相关性，后者称为概率均匀化。

那么，当M足够大时，上述编码几乎没有失真;反之,若这个条件不满足，就不可能实现无失真的编码。式中H(U)是信源输出序列的符号熵。通常，信源的符号熵H(U)K，因此，上述条件还可以表示为 【H(U)+ε】/logL≤N/M≤logK/logL特别，若有K=L,那么,只要H(U)K,就可能有N

变长编码是指V的各个码字的长度不相等。只要V中各个码字的长度 Ni(i=1，…，‖V‖)满足克拉夫特不等式 这 ‖V‖个码字就能唯一地正确划分和译码。离散无记忆信源的变长编码定理指出：若离散无记忆信源的输出符号序列为， 式中 A={ɑk|k=1,…,K},符号熵为H(U)，对U进行唯一可译的变长编码，编码字母表B的符号数为L,即B={bl|l=1,…,L},那么必定存在一种编码方法，使编出的码字Vi=(vi1,…,viNi)，(i=1,…,‖V‖)，具有平均长度嚻： MH(U)/logL≤嚻信源的各个输出符号序列按概率递降的顺序排列起来，求其中概率最小的两个序列的概率之和，并把这个概率之和看作是一个符号序列的概率，再与其他序列依概率递降顺序排列(参与求概率之和的这两个序列不再出现在新的排列之中)，然后，对参与概率求和的两个符号序列分别赋予二进制数字0和1。继续这样的操作,直到剩下一个以1为概率的符号序列。最后，按照与编码过程相反的顺序读出各个符号序列所对应的二进制数字组，就可分别得到各该符号序列的码字。