シャノン研究ノート

クロード・シャノンによるガウスチャネル容量：導出、物理的解釈、そして情報理論における意義

Tags: 情報理論, シャノン容量, AWGNチャネル, 通信理論, 情報伝送

はじめに：情報伝送の基礎としてのガウスチャネル

情報理論の創始者であるクロード・シャノンは、その画期的な論文「通信の数学的理論」において、情報伝送の究極的な限界を数学的に明らかにしました。中でも、最も広く研究され、情報通信システムの設計において基盤となっている概念の一つが、加法的白色ガウス雑音 (Additive White Gaussian Noise; AWGN) チャネルの容量です。

AWGNチャネルは、通信路において信号に加算される雑音が、時間的・空間的に一様で、統計的に白色（パワースペクトルが一様）であり、かつ振幅がガウス分布に従うという理想化されたモデルです。現実の多くの通信環境における雑音は、熱雑音などを主因としてガウス分布に従う傾向があるため、このモデルは非常に重要です。

本稿では、シャノンがどのようにしてこの基本的なチャネルの容量を導出したのか、その数学的なプロセスを辿り、得られた容量公式が持つ物理的な意味、そして現代の情報通信技術におけるその不朽の意義について深く掘り下げていきます。

ガウスチャネルのモデルと容量の定義

AWGNチャネルを通る通信プロセスは、入力信号 $X$ に対して、独立な雑音信号 $Z$ が加算され、出力信号 $Y$ が得られるという形でモデル化されます。

$$ Y = X + Z $$

ここで、$X$ は送信信号を表す確率変数、$Z$ はAWGNを表す確率変数、$Y$ は受信信号を表す確率変数です。雑音 $Z$ は平均0、分散 $N$ のガウス分布に従うものとします。つまり、$Z \sim \mathcal{N}(0, N)$ です。

通信システムの設計においては、通常、送信できる信号の平均電力に制約があります。この制約を $P$ とすると、入力信号 $X$ は $\mathbb{E}[X^2] \le P$ という条件を満たす必要があります。

シャノン容量 $C$ は、与えられた通信チャネルにおいて、エラー確率を任意に小さく保ったまま送信できる情報レートの上限として定義されます。数学的には、入力信号 $X$ の分布を最適化することで得られる相互情報量 $I(X; Y)$ の最大値として与えられます。

$$ C = \max_{p(x): \mathbb{E}[X^2] \le P} I(X; Y) $$

相互情報量 $I(X; Y)$ は、離散変数の場合は $H(X) + H(Y) - H(X, Y)$、連続変数の場合は微分エントロピーを用いて $h(X) + h(Y) - h(X, Y)$ と定義されます。また、条件付きエントロピー（連続の場合は微分エントロピー）を用いて $I(X; Y) = h(Y) - h(Y|X)$ と表すこともできます。

AWGNチャネル容量の導出

AWGNチャネルのモデル $Y = X + Z$ において、雑音 $Z$ は入力 $X$ と独立であると仮定します。この独立性から、条件付き分布 $p(y|x)$ は $p(y|x) = p_Z(y-x)$ となり、$h(Y|X)$ は $h(Y|X=x)$ を $x$ について平均したものに等しくなりますが、$Z$ の分布が $X$ に依存しないため、$h(Y|X) = h(X+Z|X)$ は $h(Z)$ に等しくなります。ガウス雑音 $Z \sim \mathcal{N}(0, N)$ の微分エントロピーは既知であり、$h(Z) = \frac{1}{2} \log_2(2\pi e N)$ です。

したがって、相互情報量は次のように書けます。

$$ I(X; Y) = h(Y) - h(Z) = h(Y) - \frac{1}{2} \log_2(2\pi e N) $$

容量を計算するには、入力 $X$ の分布 $p(x)$ を、制約 $\mathbb{E}[X^2] \le P$ の下で $h(Y)$ を最大化するように選択する必要があります。

ここで、重要な数学的性質を利用します。与えられた分散を持つ連続確率変数の中で、微分エントロピーが最大となるのはガウス分布です。つまり、分散 $\sigma^2$ を持つ任意の確率変数 $V$ に対して、$h(V) \le \frac{1}{2} \log_2(2\pi e \sigma^2)$ が成り立ち、等号は $V$ がガウス分布に従う場合に成立します。

出力 $Y = X + Z$ の分散 $\mathbb{E}[Y^2]$ を考えます。$X$ と $Z$ は独立であり、$\mathbb{E}[Z] = 0$ であるため、 $$ \mathbb{E}[Y^2] = \mathbb{E}[(X+Z)^2] = \mathbb{E}[X^2] + \mathbb{E}[Z^2] + 2\mathbb{E}[X]\mathbb{E}[Z] = \mathbb{E}[X^2] + \mathbb{E}[Z^2] $$ 入力電力制約 $\mathbb{E}[X^2] \le P$ を最大値 $P$ で達成すると仮定すれば、$\mathbb{E}[X^2] = P$ となります。雑音の分散は $N$ ですから、$\mathbb{E}[Z^2] = N$ です。 したがって、出力 $Y$ の分散は $\mathbb{E}[Y^2] = P + N$ となります。（平均が0であると仮定すれば、分散は $\mathbb{E}[Y^2]$ です。入力Xの平均を0に最適化することで、Xの分散を最大化し、制約Pを最大限に活用できます。）

$h(Y)$ を最大化するためには、出力 $Y$ がガウス分布に従うように、入力 $X$ の分布を選択する必要があります。二つの独立な確率変数の和 $Y=X+Z$ の分布は、それぞれの分布の畳み込みになります。畳み込みによりガウス分布となるのは、畳み込まれる分布がガウス分布である場合です。雑音 $Z$ は既にガウス分布に従っていますから、入力 $X$ もガウス分布に従うように選択すれば、出力 $Y$ もガウス分布に従います。

入力 $X$ を平均0、分散 $P$ のガウス分布 $X \sim \mathcal{N}(0, P)$ とすると、出力 $Y = X + Z$ は平均0、分散 $P+N$ のガウス分布 $Y \sim \mathcal{N}(0, P+N)$ に従います。このとき、出力 $Y$ の微分エントロピーは最大値をとります。

$$ h(Y) = \frac{1}{2} \log_2(2\pi e (P+N)) $$

この最大化された $h(Y)$ を相互情報量の式に代入することで、チャネル容量 $C$ が得られます。

$$ C = \max_{p(x): \mathbb{E}[X^2] \le P} I(X; Y) = \frac{1}{2} \log_2(2\pi e (P+N)) - \frac{1}{2} \log_2(2\pi e N) $$ $$ C = \frac{1}{2} \log_2\left(\frac{2\pi e (P+N)}{2\pi e N}\right) = \frac{1}{2} \log_2\left(\frac{P+N}{N}\right) = \frac{1}{2} \log_2\left(1 + \frac{P}{N}\right) $$

これは、単位時間あたり、または単位使用あたり、の容量（単位はビット）を示しています。通信システムにおいては通常、帯域幅 $W$ [Hz] の概念を考慮します。AWGNチャネルモデルにおいて、雑音電力 $N$ は、雑音パワースペクトル密度 $N_0$ [ワット/Hz] と帯域幅 $W$ の積 $N = N_0 W$ として与えられます。したがって、帯域幅 $W$ を持つAWGNチャネルの容量は、上記の式を帯域幅でスケーリングして得られます。

$$ C = W \log_2\left(1 + \frac{P}{N_0 W}\right) $$

ここで、$\frac{P}{N_0 W}$ は信号電力 $P$ と雑音電力 $N = N_0 W$ の比であり、信号対雑音比 (Signal-to-Noise Ratio; SNR) と呼ばれます。通信工学では通常、このSNRを $S/N$ または $\text{SNR}$ で表します。

$$ C = W \log_2\left(1 + \text{SNR}\right) $$

これが、広く知られるAWGNチャネルにおけるシャノン容量の公式です。単位はビット/秒 [bit/s] です。この公式は、帯域幅 $W$ [Hz] と SNR ($\text{SNR} = P/(N_0 W)$) の二つのパラメータによってチャネルの容量が決定されることを示しています。

物理的解釈と工学的意義

シャノンのAWGNチャネル容量公式 $C = W \log_2(1 + \text{SNR})$ は、情報通信分野において極めて深い意味を持っています。

  1. 究極的な通信レートの限界: この公式が示す容量 $C$ は、与えられた帯域幅 $W$ と信号電力対雑音比 $\text{SNR}$ の条件下で、どのような符号化方式や変調方式を用いたとしても、エラー確率をゼロに漸近させながら達成可能な最大の情報伝送レートです。これは、通信システムの設計者にとって、到達しうる性能の理論的な上限を示します。

  2. SNRと帯域幅のトレードオフ: 容量公式は、SNRと帯域幅 $W$ の間にトレードオフが存在することを示唆しています。

    • SNRを大きくする（送信電力を上げる、または雑音を減らす）と、容量は対数的に増加します。
    • 帯域幅 $W$ を広げると、容量は線形に増加しますが、SNRの分母にある雑音電力 $N_0 W$ も比例して増加するため、$\log_2(1 + P/(N_0 W))$ の項は飽和する傾向があります。特に $W \to \infty$ の極限では、$C \to \frac{P}{N_0} \log_2 e \approx 1.44 \frac{P}{N_0}$ となります。これは、無限の帯域幅を使っても、単位雑音電力あたりの信号電力 $P/N_0$ によって律速される限界が存在することを示しています。
    • 逆に、非常に低いSNRの領域 ($\text{SNR} \ll 1$) では、$\log_2(1 + \text{SNR}) \approx \text{SNR} / \ln 2$ であるため、$C \approx W \cdot \text{SNR} / \ln 2 = W \cdot (P/(N_0 W)) / \ln 2 = P/(N_0 \ln 2)$ となり、容量は帯域幅 $W$ にほとんど依存せず、単位雑音電力あたりの信号電力 $P/N_0$ にほぼ比例します。これは、電力がボトルネックとなる環境では、帯域幅を広げるよりも電力を増やす方が効率的であることを示唆します。

  3. 「容量達成」の可能性: 容量定理（シャノン・ハートレーの定理とも呼ばれます）は、この容量 $C$ 未満のレートであれば、適切な符号化方式を用いることで、エラー確率を任意に小さくできることを保証します。シャノンの元の証明は存在性の証明であり、実際に容量を達成する符号化方式を具体的に示すものではありませんでしたが、この定理は後の研究者たち（例：GallagerによるLDPC符号、BerrouらによるTurbo符号）が容量限界に迫る高性能な誤り訂正符号を探索する強力な動機付けとなりました。現代の多くの通信システム（例：LTE, Wi-Fi, 5G）では、これらの容量に迫る符号化技術が不可欠となっています。

  4. 情報理論の普遍性: この公式は、通信路の物理的な性質（帯域幅、雑音）と信号の統計的な性質（電力）という、比較的少数の基本的なパラメータから通信の限界値を導出できることを示しました。これは、特定の変調方式や符号化方式に依存しない、情報そのものの伝送に関する普遍的な法則です。

関連研究と発展

シャノンのAWGNチャネル容量公式は、情報理論と通信工学の礎となり、数多くの発展的な研究を生み出しました。

結論

クロード・シャノンによるAWGNチャネル容量公式 $C = W \log_2(1 + \text{SNR})$ は、情報理論における最も象徴的で実用上重要な成果の一つです。その導出プロセスは、微分エントロピーと相互情報量という情報理論の基本的な概念が、通信路の物理的な特性といかに結びつくかを示しています。

この公式は、与えられた条件下での通信レートの理論的限界を明確に提示し、情報通信システムの設計、性能評価、そして誤り訂正符号の研究開発において、不変の指針となっています。シャノンのこの研究は、今日のデジタル通信技術の発展に不可欠な基盤を提供しており、その意義は今後も揺るぎないものとして情報科学分野に貢献し続けるでしょう。ガウスチャネル容量の理解は、情報理論を深く探求する上で避けては通れない、核心的なテーマと言えます。