[科普中国]-度量熵

熵是刻画巴拿赫空间中紧集“大小”或“粗细”的不变量之一，在函数逼近论中的应用研究开始于20世纪50年代，以后逐渐得到发展。区别于概率论中的同名概念，称为集A的度量熵。

简介熵是刻画巴拿赫空间中紧集“大小”或“粗细”的不变量之一。

熵在函数逼近论中的应用研究开始于20世纪50年代，以后逐渐得到发展。

ε覆盖设 X 是巴拿赫空间，x∈X，‖x‖表示 x 的范数，A 是X的紧子集，ε>0 是给定的正数，如果 是 X 的一族子集，每个 Uk 的直径都不超过 2ε，亦即

而且那么称集族 是A的一个ε覆盖。

定义对于给定的ε> 0，A的ε覆盖中集Uk的个数n是与这个集族的选取有关的，但n的最小值 却是一个仅与ε有关的关于集A的不变量，即当A给定后，Nε(A)是一个仅与ε有关的非负整数，人们称数 为集A的熵，或者区别于概率论中的同名概念，称Hε(A)为集A的度量熵。

在函数逼近论中，关心的乃是当ε→0时Hε(A)的渐近性态。之所以不直接考察数Nε(A)而考察其对数Hε(A)，是因为一般地ε→0时,，Nε(A)急剧递增，而且往往很大，不便处理。

另一提法熵的概念还有另一种提法。因为定义的度量嫡Hε(A)在ε>0给定时，仅取决于紧集A本身（倘若把A看做一个度量空间），而不依赖于包含A的大空间X。还有一种熵不仅取决于紧集A，亦与包含着A的大空间X有关，人们称它为A关于X的熵。

其定义如下：仍设X是巴拿赫空间，A是X的紧子集，ε>0是给定的正数，如果X中存在有限个点,使得对于每个点x∈A，都至少有xk使得，也即x与xk的距离ρ(x,xk)不超过ε:ρ(x,xx)≤ε，则称集 为A的一个ε网。

集A的ε网中点的个数p在ε>0给定后，自然与这些点的取法有关。但是p的最小值Pε(A) = min p却是集A的一个不变量。它当然与空间X有关，称数 为A关于X的熵。

Hε(A)与 有一个简明的关系：对于每于ε>0 及X的每个紧子集A，。1

本词条内容贡献者为:

李嘉骞 - 博士 - 同济大学