シャノンによる微分エントロピーと連続値通信路の容量：数学的基礎とガウスチャネル
はじめに
クロード・シャノンによる記念碑的な論文 "A Mathematical Theory of Communication" (1948) の大部分は、離散的な情報源と通信路を扱っています。しかし、現実世界の通信システムはしばしば連続的な信号やノイズを伴います。シャノンは、この連続的な設定においても情報理論を適用可能とするため、離散的な概念を拡張しました。その中でも特に重要なのが、離散エントロピーの連続版である「微分エントロピー」と、連続値通信路の容量の概念です。本稿では、これらの連続情報理論における基本的な概念と、特に重要な白色ガウスノイズ通信路における容量（シャノン・ハートレーの定理）の数学的な基礎に焦点を当てて掘り下げます。
微分エントロピーの定義と性質
離散確率変数 $X$ のエントロピー $H(X)$ は、その確率質量関数 $p(x)$ を用いて $H(X) = - \sum_x p(x) \log p(x)$ と定義されます。これは、確率変数 $X$ が持つ情報の不確実性、あるいは平均情報量を示す指標です。
連続確率変数 $X$ に対しても、同様の量を定義したいと考えるのは自然な流れです。直感的には、確率密度関数 $f(x)$ を用いて $-\int f(x) \log f(x) dx$ のような形が考えられます。シャノンはこれを微分エントロピー (Differential Entropy) と定義しました。
確率密度関数 $f(x)$ を持つ連続確率変数 $X$ の微分エントロピー $h(X)$ は、次のように定義されます。
$$h(X) = -\int_{-\infty}^{\infty} f(x) \log f(x) dx$$
対数の底には通常 2 または $e$ が用いられます。底が 2 の場合、単位はビット (bits) となります。底が $e$ の場合は nat と呼ばれます。情報理論では底 2 が一般的ですが、連続値の計算においては自然対数（底 $e$）が微分積分との相性が良く、広く用いられます。ここでは底を $e$ として記述し、必要に応じて単位変換（$\log_2 x = \ln x / \ln 2$）を念頭に置くこととします。
微分エントロピーは離散エントロピーと形式的に似ていますが、重要な違いがあります。離散エントロピーは常に非負の値を取るのに対し、微分エントロピーは負の値を取り得ます。例えば、一様分布 $U(0, a)$ の微分エントロピーは $\ln a$ であり、$a < 1$ の場合は負になります。また、微分エントロピーは情報量の絶対的な尺度というよりは、異なる分布間の情報量の「密度」の比較として解釈する方が適切です。
微分エントロピーの主な性質をいくつか挙げます。
- 並進不変性: $h(X+c) = h(X)$ （$c$ は定数）
- スケーリングに対する変化: $h(aX) = h(X) + \ln |a|$
- 最大エントロピー分布: 平均 $\mu$、分散 $\sigma^2$ を持つ連続確率変数の中で、微分エントロピーを最大にする分布は正規分布 (ガウス分布) です。このときの微分エントロピーの値は $h(X) = \frac{1}{2} \ln(2\pi e \sigma^2)$ となります。この性質は、ガウス分布が「最も予測不可能な」あるいは「最も情報量が多い」ノイズ源となりうることを示唆しており、通信理論においてガウスノイズがしばしば最悪ケースとして扱われる理由の一つです。
離散的な結合エントロピー、条件付きエントロピー、相互情報量などの概念も、連続確率変数に対して同様に拡張されます。例えば、確率密度関数 $f(x, y)$ を持つ連続確率変数 $(X, Y)$ の結合微分エントロピーは $h(X, Y) = -\iint f(x, y) \ln f(x, y) dx dy$ で定義され、相互情報量 $I(X; Y)$ は $I(X; Y) = h(X) + h(Y) - h(X, Y)$、または $I(X; Y) = \iint f(x, y) \ln \frac{f(x, y)}{f(x)f(y)} dx dy$ と定義されます。相互情報量は離散の場合と同様に常に非負であり、連続情報理論において通信路容量を定義する上で核心的な役割を果たします。
連続通信路とその容量
通信路は、入力信号をノイズや歪みを加えて出力信号に変換するシステムです。連続通信路は、入力と出力が連続的な値を取るものです。最も基本的なモデルは、入力信号 $X$ に独立なノイズ $Z$ が加算される加法的ノイズ通信路です。出力 $Y$ は $Y = X + Z$ となります。
連続通信路の容量 $C$ は、離散の場合と同様に、入力 $X$ と出力 $Y$ の間の相互情報量の最大値として定義されます。ただし、連続通信路では入力信号に電力制限などの制約が課されるのが一般的です。入力信号の平均電力制限を $P$ とすると、容量は次のように定義されます。
$$C = \max_{f_X: E[X^2] \le P} I(X; Y) = \max_{f_X: E[X^2] \le P} I(X; X+Z)$$
ここで $E[\cdot]$ は期待値を表し、$f_X$ は入力信号 $X$ の確率密度関数です。最大化は、電力制限を満たすすべての可能な入力分布 $f_X$ の上で取られます。
白色ガウスノイズ通信路とシャノン・ハートレーの定理
通信理論において最も重要かつ基本的な連続通信路モデルは、帯域制限された加法的白色ガウスノイズ (AWGN: Additive White Gaussian Noise) 通信路です。この通信路では、ノイズ $Z$ が平均 0 のガウス分布に従い、異なる時刻におけるノイズ成分が無相関である（白色ノイズ）、すなわちパワースペクトル密度が平坦であると仮定されます。帯域制限 $W$ (Hz) がある場合、ノイズは分散 $\sigma^2 = N_0 W$ のガウス分布に従うと見なせます（$N_0/2$ は両側パワースペクトル密度）。
このAWGN通信路の容量を定式化したのが、シャノン・ハートレーの定理として知られる結果です。入力信号の平均電力を $P$、ノイズの平均電力を $N = \sigma^2 = N_0 W$ とすると、通信路容量 $C$ (bits/sec) は次式で与えられます。
$$C = W \log_2 \left(1 + \frac{P}{N}\right)$$
ここで $P/N$ は信号対ノイズ比 (SNR: Signal-to-Noise Ratio) です。この定理は、有限の帯域幅 $W$ と信号対ノイズ比 $P/N$ を持つ連続通信路において、信頼性高く伝送できる情報レートの上限が存在することを示しています。そして、この上限は相互情報量を最大化する入力信号分布がガウス分布である場合に達成されることが示されます。すなわち、容量を達成する入力信号 $X$ は平均 0、分散 $P$ のガウス分布に従うべきです。
シャノン・ハートレーの定理の導出の核心は、容量 $C = \max_{E[X^2] \le P} I(X; X+Z)$ を計算することにあります。$I(X; Y) = h(Y) - h(Y|X)$ であり、$Y = X+Z$ かつ $X$ と $Z$ が独立であることから、$h(Y|X) = h(Z|X) = h(Z)$ となります（ノイズ $Z$ の分布は入力 $X$ に依存しないため）。したがって、$C = \max_{E[X^2] \le P} {h(Y) - h(Z)}$.
ノイズ $Z$ は平均 0、分散 $N$ のガウス分布に従うため、その微分エントロピーは $h(Z) = \frac{1}{2} \ln(2\pi e N)$ です（底 $e$）。
出力 $Y=X+Z$ の微分エントロピー $h(Y)$ を最大化することを考えます。$X$と$Z$が独立であれば、$Y$ の分散は $E[Y^2] = E[(X+Z)^2] = E[X^2] + E[Z^2] = P + N$ となります。分散が一定の確率変数の中で微分エントロピーを最大化するのはガウス分布です。したがって、$h(Y)$ を最大化するためには、出力 $Y$ がガウス分布に従う必要があります。これは、入力 $X$ がガウス分布に従う場合に達成されます（ガウス分布に従う確率変数同士の和は再びガウス分布に従うため）。
したがって、容量を達成する入力 $X$ は平均 0、分散 $P$ のガウス分布に従います。このとき、出力 $Y$ は平均 0、分散 $P+N$ のガウス分布に従います。
この場合の $h(Y)$ は $h(Y) = \frac{1}{2} \ln(2\pi e (P+N))$ です。
したがって、容量（底 $e$ の場合）は、 $$C = h(Y) - h(Z) = \frac{1}{2} \ln(2\pi e (P+N)) - \frac{1}{2} \ln(2\pi e N) = \frac{1}{2} \ln \left(\frac{2\pi e (P+N)}{2\pi e N}\right) = \frac{1}{2} \ln \left(1 + \frac{P}{N}\right)$$ となります。これを底 2 に変換するには $\ln x = (\ln 2) \log_2 x$ の関係を用いるため、 $C = \frac{1}{2 \ln 2} \ln \left(1 + \frac{P}{N}\right)$ となります。これは帯域幅 $W$ (Hz) あたりの容量ではなく、1次元あたりの容量です。シャノンの定理では、帯域制限 $W$ の通信路は、1秒間に $2W$ 回の独立な標本値を伝送できると見なされます（ナイキスト・シャノンのサンプリング定理）。したがって、容量 (bits/sec) はこれに $2W$ を乗じるべきですが、ガウスノイズの場合は複素数値信号を考えると $W$ 符号率で容量が得られるという議論もあります（実数信号の場合、ベースバンド等価モデルでは $W$ Hz帯域幅で $W$ 標本/秒）。歴史的な慣習として、シャノン・ハートレーの定理は $W \log_2(1+P/N)$ という形で示され、これは通常、帯域幅 $W$ (Hz) の通信路容量を示します。この導出の詳細、特に実数信号と複素数信号の違いやナイキストレートとの関係については、シャノンの原論文 [1, Part IV] や、Cover and Thomas [2, Chapter 9] を参照ください。
歴史的背景と現代における意義
シャノンが連続情報理論を展開した背景には、当時の通信システムが本質的にアナログ信号を扱っていたという現実がありました。ノイズは信号に連続的に加算され、帯域幅は物理的な制約によって有限でした。ハートレーによる情報量の定義（ログスケールでの記号の種類の数）はあったものの、ノイズが存在する場合に「どれだけ多くの情報を送れるか」という問いには答えられていませんでした。
シャノンの微分エントロピーと連続チャネル容量の概念は、この問いに情報理論的な枠組みを与えました。特にシャノン・ハートレーの定理は、アナログ通信の性能限界を明確に示し、信号電力、ノイズ電力、帯域幅という基本的な物理量によって通信容量が決定されることを数学的に証明しました。この結果は、その後の通信システム設計に絶大な影響を与えました。定理は、容量を達成するための具体的な符号化・復調方式を示すものではありませんでしたが、理論的な上限を知ることで、研究者やエンジニアはどの程度の性能を目指すべきか、あるいはアナログシステム自体に限界があるのかを理解することができました。
シャノン・ハートレーの定理は、現代のデジタル通信システムを設計する上でもなお、基本的なベンチマークとして極めて重要です。どんなに高度な誤り訂正符号や変調方式を用いても、AWGNチャネルにおける通信速度はシャノン容量を超えることはありません。したがって、この定理は、特定の条件における通信システムの理論的な性能限界を知るための基本的なツールとなっています。
また、微分エントロピーや相互情報量の概念は、情報理論に留まらず、信号処理、統計学、機械学習（特に変分推論や情報ボトルネックなどの分野）、物理学（統計力学）など、多くの分野で活用されています。例えば、相互情報量は二つの確率変数間の依存性の尺度として、特徴量選択や次元削減、クラスタリングなどのアルゴリズムで用いられます。
まとめ
本稿では、シャノンの連続情報理論における核となる概念である微分エントロピーと、連続通信路、特に白色ガウスノイズ通信路の容量について解説しました。微分エントロピーは離散エントロピーの連続版として定義されますが、負の値を取りうるなど離散版とは異なる側面も持ちます。ガウス分布が分散一定のもとで微分エントロピーを最大化するという性質は重要です。連続通信路容量は電力制限のもとでの相互情報量の最大値として定義され、AWGN通信路においてはシャノン・ハートレーの定理として知られる $C = W \log_2(1+P/N)$ で与えられます。
これらの概念は、シャノンの時代の通信技術の課題に応える形で生まれましたが、現代の情報科学においても、通信システムの理論的限界の理解、そして様々な分野における情報量の定量化や依存性の分析のための基本的なツールとして、その重要性を失っていません。シャノンの連続情報理論に関する考察は、現代の通信システム設計の基礎を提供するだけでなく、情報科学のより広範な分野における重要な概念的枠組みを提供していると言えます。
参考文献:
[1] C. E. Shannon, "A Mathematical Theory of Communication," Bell System Technical Journal, vol. 27, pp. 379–423, 623–656, 1948. [2] T. M. Cover and J. A. Thomas, Elements of Information Theory, 2nd ed. Wiley-Interscience, 2006.