消息阅读

当前位置:当前位置:首页 > 商务与贷款 > 正文

音讯论中的少许根本的常识

来源: http://bxmy.net 发布时间:2021-09-21

  由克劳德·香农提出,是与概率空间中的单一事件或离散随机变量的值相关的信息量的量度。它的定义为:一个随机产生的事件所包含的自信息数量,只与事件发生的概率相关。事件发生的概率越低,在事件真的发生时,接收到的信息中,包含的自信息越大。此外,根据定义,自信息的量度是正的而且是可加的。如果事件

  所以,考虑以上的性质,就定义了自信息,用 I 表示: 假设事件 x 发生的概率为P(x),则自信息符号定义为:

  注意:在以上定义中,没有指定对数的基底。如果以 2 为底,单位是bit。当使用以 e 为底的对数时,单位将是 nat。对于基底为 10 的对数,单位是 hart。

  互信息:在概率论和信息论中,两个随机变量的互信息(Mutual Information,简称MI)或转移信息(transinformation)是变量间相互依赖性的量度。不同于相关系数,互信息并不局限于实值随机变量,它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息是点间互信息(PMI)的期望值。互信息最常用的单位是bit。一般地,两个离散随机变量X和Y的互信息可以定义为:

  信息熵:用一句话说,为随机事件x的自信息的期望就是信息熵,它是一个事件的不确定的度量。它的符号定义为:

  熵的极值:当所有符号等可能出现的情况下,熵达到最大值(所有可能的事件等概率时不确定性最高)。

  在信息论中,条件熵描述了在已知第二个随机变量X 的值的前提下,随机变量Y的信息熵还有多少。基于条件X 的Y的信息熵,用H(YX) 表示。

  在概率论信息论中,KL散度( Kullback–Leibler divergence),又称相对熵(relative entropy),是描述两个概率分布P和Q差异的一种方法。它是非对称的,这意味着D(PQ) ≠ D(QP)。特别的,在信息论中,D(PQ)表示当用概率分布Q来拟合真实分布P时,产生的信息损耗,其中P表示真实分布,Q表示P的拟合分布。

  交叉熵:英文名为 cross-entropy:它的意义是什么?描述了如果一个潜在的样本有两个分布,一个是q(它不是真正的), 一个是p(它是真正的),当我们用q分布来编码p分布的样本时,需要的编码长度。它的定义为:

上一篇:head

下一篇:关于音信论

友情链接

太阳2-太阳2注册登录中心【首页】

400-882-6908

TAG标签 网站地图 XML地图 txt地图

bxmy.net 太阳2

欢迎访问太阳2-太阳2注册登录中心【首页】