シャノン研究ノート

クロード・シャノンによる連続情報源のエントロピーレート:定義、性質、そして情報源符号化における役割

Tags: シャノン情報理論, 連続情報源, エントロピーレート, 情報源符号化, 確率過程

はじめに

クロード・シャノンが1948年の画期的な論文『A Mathematical Theory of Communication』で情報理論の基礎を確立した際、彼は情報の定量化という難題に取り組みました。その理論は、主に離散的な情報源と通信路に焦点を当てていましたが、現実世界の信号の多くは連続的な性質を持っています。音、画像、物理現象の計測値など、連続的な値を生成する情報源を情報理論の枠組みで扱うためには、離散情報源で定義されたエントロピーやエントロピーレートといった概念を連続系に拡張する必要がありました。

本稿では、シャノンが連続情報源に対して導入した「エントロピーレート」の概念に焦点を当てて掘り下げます。この概念は、離散情報源のエントロピーレートを連続時間または連続値を持つ確率過程へと拡張したものであり、連続的な情報源が生成する情報の速度を定量化するために不可欠です。その定義、数学的な性質、そして連続情報源の符号化理論、特にレート歪み理論におけるその役割について詳細に解説し、シャノンの連続系情報理論への貢献の一端を明らかにします。

連続情報源の定義とエントロピーレート

まず、連続情報源を情報理論の観点からどのようにモデル化するかを考えます。離散情報源が記号の系列を生成するように、連続情報源は連続的な値を持つ確率過程を生成すると考えることができます。例えば、時間的に変動するアナログ信号 $X(t)$ は、インデックス $t$ が連続的な確率過程としてモデル化されます。あるいは、離散的な時点 $t_1, t_2, \dots, t_n$ における観測値の系列 $X_1, X_2, \dots, X_n$ が、連続的な値をとる確率変数の系列である場合も、連続情報源の一種と見なせます。シャノンの初期の議論では、後者の離散時間の連続値情報源が多く扱われました。

離散情報源におけるエントロピーレートは、情報源が単位時間あたりに生成する平均情報量を表し、生成される記号系列の長さを無限大にしたときのエントロピーの平均値として定義されます。連続情報源に対しても同様の概念を導入したいわけですが、連続確率変数に対するエントロピーの直接的な拡張である「微分エントロピー」にはいくつかの数学的な違いや課題があります。例えば、微分エントロピーは負の値を取り得る点や、座標変換に対して加算的な性質を持たない点などです。

しかし、連続情報源のエントロピーレートは、離散情報源の場合と同様に、ある期間 $T$(あるいは $n$ 個のサンプル $X_1, \dots, X_n$)で生成される情報の総量に関する期待値の、時間またはサンプル数に対する漸近的な振る舞いとして定義することができます。

ある連続情報源が生成する確率過程を ${X_t}$ とします。時点 $t_1, \dots, t_n$ における観測値 $X_1, \dots, X_n$ は、連続的な値をとる確率変数です。この $n$ 個の確率変数からなるベクトル $(X_1, \dots, X_n)$ の結合確率密度関数を $f(x_1, \dots, x_n)$ とします。

この確率変数ベクトルに対する微分エントロピーは、以下のように定義されます。 $h(X_1, \dots, X_n) = - \int_{\mathbb{R}^n} f(x_1, \dots, x_n) \log f(x_1, \dots, x_n) dx_1 \dots dx_n$

ここで、対数の底は通常 $e$(ネーパー数)または 2 を用います。情報理論では 2 が多く使われ、単位はビットとなります。

連続情報源のエントロピーレート $H$ は、単位時間あたり(または単位サンプルあたり)の平均情報量の極限として、以下のように定義されます。

$H = \lim_{n \to \infty} \frac{1}{n} h(X_1, \dots, X_n)$

この極限が存在する場合、それをエントロピーレートと呼びます。この定義は、情報源が生成する系列の長さを長くしていくにつれて、系列全体が持つ微分エントロピーがサンプル数に比例して増加することを示唆しており、その比例定数がエントロピーレートであると解釈できます。

定常エルゴード的な連続情報源に対しては、この極限は存在し、以下のような別の定義と同等になります。

$H = \lim_{n \to \infty} h(X_n | X_{n-1}, \dots, X_1)$

これは、過去のすべての観測値が与えられた条件下での、次の観測値の条件付き微分エントロピーの極限です。情報源が「記憶を持たない」(i.i.d.過程である)特別な場合、エントロピーレートは単に1つのサンプル $X_1$ の微分エントロピー $h(X_1)$ に等しくなります。しかし、一般の連続情報源では、サンプル間に相関があるため、過去の観測が次の観測の不確実性を低減させます。

ガウス情報源の場合

シャノンが特に詳細に分析した重要な連続情報源に、ガウス情報源があります。これは、各サンプル $X_i$ が正規分布に従い、系列全体 ${X_n}$ がガウス過程を形成する情報源です。特に、平均ゼロ、分散 $\sigma^2$ の独立同分布 (i.i.d.) ガウス情報源の場合、各 $X_i$ の確率密度関数は $p(x) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{-\frac{x^2}{2\sigma^2}}$ となります。

単一のガウス確率変数 $X$ の微分エントロピーは、底を 2 とすると以下のように計算されます。 $h(X) = \frac{1}{2} \log_2(2\pi e \sigma^2)$

i.i.d.ガウス情報源は記憶を持たないため、そのエントロピーレートは単に1つのサンプルの微分エントロピーに等しくなります。 $H = h(X_1) = \frac{1}{2} \log_2(2\pi e \sigma^2)$

より一般的に、定常ガウス情報源で、共分散関数が与えられている場合、そのエントロピーレートは、情報源のパワースペクトル密度関数 $S(f)$ を用いて周波数領域で表現することができます。ウィーナー=キンチンの定理によれば、定常過程の共分散関数はそのパワースペクトル密度関数のフーリエ変換です。シャノンは、このような情報源のエントロピーレートが、情報源の帯域幅 $W$ 内のパワースペクトル密度を用いて以下のように与えられることを示しました(これはガウス通信路容量の式と似ていますが、情報源側の概念です)。

$H = \int_{-W}^{W} \log_2(\sqrt{2\pi e S(f)}) df$ (特定の正規化を行った場合など、形式は様々です)

これは連続時間ガウス過程に対する表現の一例であり、離散時間の場合や具体的な導出にはさらなる詳細な解析が必要です。シャノンは、ガウス過程が与えられた分散の範囲内で最大のエントロピーレートを持つことを示しており、これは情報理論におけるガウス分布の遍在性を示す一因となっています。

情報源符号化における役割

連続情報源のエントロピーレートは、連続情報源符号化理論、特にレート歪み理論において中心的な役割を果たします。レート歪み理論は、情報源を損失ありで圧縮する際の理論的な限界を定めるものです。情報源を完全に再現する必要はなく、許容できる歪みの範囲内で可能な限り低いレート(1ビットあたりの平均情報量)で表現することを目指します。

レート歪み関数 $R(D)$ は、情報源を歪み $D$ 以下で符号化するために必要な最小平均レートを表します。シャノンは、この関数が情報源の統計的性質、特にエントロピーレートと密接に関連していることを示しました。大まかに言えば、エントロピーレートは歪みゼロでの(あるいは非常に小さな歪みでの)符号化レートの下限を示唆する量と見なすことができます。

具体的には、連続情報源に対するレート歪み関数は、情報源の確率密度関数 $p(x)$ と、許容される歪みを定義する歪み測度 $d(x, \hat{x})$ (元の信号 $x$ と再現信号 $\hat{x}$ の間の距離)を用いて定義されます。そして、ある条件下では、レート歪み関数はエントロピーレートに関連する相互情報量として表現されます。

$R(D) = \min_{p(\hat{x}|x): E[d(x, \hat{x})] \le D} I(X; \hat{X})$

ここで、$I(X; \hat{X})$ は情報源出力 $X$ と符号化された結果から復元された $\hat{X}$ の間の相互情報量です。微分エントロピーと同様に、連続値に対する相互情報量も積分を用いて定義されます。

$I(X; \hat{X}) = h(X) - h(X | \hat{X})$ あるいは $I(X; \hat{X}) = h(\hat{X}) - h(\hat{X} | X)$

連続確率過程としての情報源のエントロピーレートは、レート歪み理論において、情報源の持つ「本質的な情報量」や「圧縮不可能な部分」を示唆する量として機能します。特に、ガウス情報源と平均二乗誤差歪み測度に対するレート歪み関数は、エントロピーレート(またはその関連量である微分エントロピー)を用いて比較的容易に導出でき、この場合のエントロピーレートが符号化の限界と密接に関わることが明確に示されます。

歴史的背景と現代における意義

シャノンが連続情報源を情報理論の枠組みに取り込んだことは、非常に重要なステップでした。物理世界で扱う信号は本質的に連続的であるため、通信や信号処理の理論を情報理論の観点から統一的に扱うためには、連続系の情報量を定量化する必要があったのです。離散情報源から連続情報源への拡張は、確率論における離散分布から連続分布への移行と同様に、多くの数学的な課題を伴いましたが、シャノンは微分エントロピーやエントロピーレートといった概念を導入することで、この橋渡しに成功しました。

特に、ガウス情報源とガウス通信路に関する彼の解析は、連続通信理論の基礎となり、後の多くの研究者に影響を与えました。ガウス過程が最大エントロピーレートを持つ性質は、ランダムな信号のモデル化において、また信号処理におけるノイズの解析において重要です。

現代の情報科学においても、連続情報源のエントロピーレートの概念は引き続き重要です。音声や画像、動画といったマルチメディア信号は連続情報源として扱われることが多く、これらの信号の効率的な圧縮(情報源符号化)や、ノイズがある環境での信頼性の高い伝送(通信路符号化)を設計する上で、エントロピーレートは理論的なベンチマークや限界を示します。また、統計的信号処理、時系列解析、機械学習(特に生成モデルや表現学習)の分野においても、連続的なデータを扱う際に情報量に関する概念が応用されており、シャノンの連続情報源に関する研究はその基礎をなしています。

微分エントロピーの持つ数学的な特異性(負の値、座標変換の問題)については、後に相対エントロピー(カルバック・ライブラー情報量)や相互情報量といった、情報源の分布のや確率変数間の関係を定量化する概念の普遍的な重要性が認識されるにつれて、これらの概念を連続系でも用いることの有効性が再確認されています。連続情報源のエントロピーレートもまた、情報源が持つ不確実性やランダム性の度合いを測る尺度として、その意義を失っていません。

結論

クロード・シャノンによる連続情報源のエントロピーレートの概念は、離散情報源の情報理論を連続信号へと拡張するための重要な一歩でした。微分エントロピーに基づき定義されるこの概念は、連続的な確率過程としてモデル化される情報源が、単位時間あたりに生成する情報の速度を定量化します。特にガウス情報源の場合、そのエントロピーレートは情報源の分散やパワースペクトル密度によって決定され、情報源が持つ本質的なランダム性の度合いを示します。

連続情報源のエントロピーレートは、レート歪み理論における符号化レートの下限として、連続情報源の損失圧縮の理論的な限界を示す役割を果たします。シャノンのこの研究は、現代の信号処理、通信工学、そして機械学習を含む多くの分野における連続データ処理の理論的基盤の一つとなっており、その深い洞察は今なお多くの研究に示唆を与えています。連続情報源を情報理論的に分析するための基礎概念として、エントロピーレートの理解は、これらの分野の研究者にとって不可欠であると言えるでしょう。