渐近等分性是指随机变量长序列的一种重要特性，是编码定理的理论基础，简称AEP。C.E.仙农最早发现随机变量长序列的渐近等分性，并在1948年发表的论文《通信的数学理论》中把它表述为一个定理。

外文名

Asymptotic equipartition property

别名

AEP

提出时间

1948年

简称

AEP。

发现者

C.E.仙农

名词释义

随机变量长序列的一种重要特性，是编码定理的理论基础，简称aep。当随机变量的序列足够长时，其中一部分序列就显现出一种典型的性质：这些序列中各个符号的出现频数非常接近于各自的出现概率，而这些序列的概率则趋近于相等，且它们的和非常接近于1,这些序列就称为典型序列。其余的非典型序列的出现概率之和接近于零。序列的长度越长，典型序列的总概率越接近于1,它的各个序列的出现概率越趋于相等。渐近等分性即因此得名。

发现历史

C.E.仙农最早发现随机变量长序列的渐近等分性，并在1948年发表的论文《通信的数学理论》中把它表述为一个定理。后来，B.麦克米伦在1953年发表的《信息论的基本定理》一文中严格地证明了这一结果，因此，有人也把它称为麦克米伦定理。

表现形式

渐近等分性有许多不同的具体形式，但一般地可以表述如下：若X是一个符号表，共有M个不同的符号x1,x2，…,xM,它们的出现概率分别是p1，p2，…，pM。对X进行N次独立的选择，于是得到一个长度为N的符号序列；总共有MN个长度为N的不同序列。可以证明，对于给定的两个任意小的数ε>0和δ>0，一定可以找到一个正整数N0(它是X,ε和δ的某种函数)，使所有长度为N≥N0的序列可划分为以下两组。第一组包含Aε

1－ε

和式中H是X的符号熵。实际上，当N充分大时,Aε=2NH。第二组包含其余的MN-Aε个序列，它们的出现概率之和小于ε。显然第一组包含的是典型序列，第二组包含的是非典型序列。在各个符号的概率不相等的情况下，序列长度N越大，则Aε与MN的差别越大，而p·Aε与1的差别越小，-logp/N与H的差别也越小。

渐近等分性的意义在于：对于任意取有限个值的随机变量X,当用N次独立选择的方法来形成编码序列时，只要N取得足够大，就可以只考虑其中Aε个典型序列，而其余所有的非典型序列均可以忽略。