クロード・シャノン情報理論における連続チャネル容量：ピーク電力制約下の分析とその意義
クロード・シャノンの画期的な論文『A Mathematical Theory of Communication』は、情報理論の基礎を確立しました。特に、ノイズのある通信路における情報伝送の最大レート、すなわち通信路容量の概念を導入し、その計算方法を示したことは、通信工学および情報科学に計り知れない影響を与えています。シャノンは、離散通信路に加えて、連続通信路における容量についても議論を展開しました。連続通信路、特に加法性白色ガウスノイズ (AWGN) チャネルにおける容量は、情報理論における最も有名な結果の一つであり、シャノン・ハートレーの定理として知られています。
シャノン・ハートレーの定理は、主に送信信号の平均電力に制約がある場合の容量を定めています。しかし、実際の通信システムにおいては、送信機の線形性や物理的な制約により、信号の瞬時的な大きさに上限が課せられる、いわゆるピーク電力制約も非常に重要です。本記事では、シャノンが確立した連続チャネル容量の枠組みに基づきつつ、特にピーク電力制約下の通信路容量に焦点を当て、平均電力制約下との違い、その理論的な難しさ、および現代における意義について掘り下げて考察します。
連続情報源と連続通信路のモデル化
シャノン情報理論における連続的な信号やノイズを扱うためには、離散的な場合とは異なる数学的な枠組みが必要です。情報源や通信路の入力・出力が連続値をとる場合、エントロピーや相互情報量の定義は積分を用いて行われます。
連続情報源 $X$ の不確かさを測る尺度として、シャノンは微分エントロピー $h(X)$ を定義しました。確率密度関数 $f(x)$ を持つ連続確率変数 $X$ に対し、微分エントロピーは次のように定義されます。
$$h(X) = -\int_{-\infty}^{\infty} f(x) \log_2 f(x) \, dx$$
この微分エントロピーは、離散エントロピーのように常に非負であるとは限らず、負の値をとることもあります。また、座標変換に対してその値が変化するという性質も持ちます。したがって、微分エントロピー単独で情報量を絶対的に測る尺度として解釈する際には注意が必要です。
連続通信路 $P_{Y|X}$ の容量 $C$ は、入力 $X$ と出力 $Y$ の間の相互情報量 $I(X;Y)$ の最大値として定義されます。
$$C = \max_{f_X(x)} I(X;Y) = \max_{f_X(x)} (h(Y) - h(Y|X))$$
ここで $f_X(x)$ は入力信号 $X$ の確率密度関数であり、この最大化は特定の制約条件下で行われます。$h(Y|X)$ は条件付き微分エントロピーであり、通信路のノイズ特性によって定まります。ノイズが入力信号に独立な加法性ノイズ $N$ である場合、出力は $Y = X+N$ となり、$h(Y|X) = h(N)$ となります。
平均電力制約下のガウスチャネル容量
シャノンが『Communication in the Presence of Noise』で示した主要な結果の一つは、帯域幅 $W$ [Hz] を持ち、信号に加法性白色ガウスノイズ (AWGN) が加わる通信路の容量です。このチャネルにおいて、送信信号 $X(t)$ の平均電力に制約がある場合、すなわち
$$\frac{1}{T} \int_0^T X(t)^2 \, dt \leq P \quad (\text{for large } T)$$
という制約下での容量は、次式で与えられます。
$$C = W \log_2 \left(1 + \frac{P}{N_0 W}\right) \quad \text{[bits/sec]}$$
ここで、$P$ は平均送信電力、$N_0$ はノイズの片側電力スペクトル密度 [W/Hz] です。この式はシャノン・ハートレーの定理として知られています。この容量を達成する入力信号の最適な統計的性質は、ガウス分布であることが示されています。
この定理は、与えられた帯域幅と信号対ノイズ比 (SNR = $P/(N_0 W)$) の下で、ノイズが存在しても誤り率を任意に小さくできる情報伝送レートの上限を示しており、現代通信システムの設計において基本的な指標となっています。
ピーク電力制約下のチャネル容量
実際の通信システムでは、送信機の物理的な制限（例えば、増幅器の飽和）により、送信信号の瞬時的な振幅に上限が課せられることがよくあります。これをピーク電力制約と呼びます。例えば、送信信号 $X(t)$ の絶対値に上限がある場合、
$$|X(t)| \leq A \quad (\text{for all } t)$$
という制約を考えることができます。この制約は、瞬時電力 $X(t)^2$ が $A^2$ を超えないことを意味するため、「ピーク電力制約」と呼ばれます（ピーク電力 $P_p = A^2$）。
ピーク電力制約 $A$ の下での連続チャネル容量を求める問題は、平均電力制約の場合よりも一般に難しくなります。これは、容量を達成する最適な入力信号の確率分布が、平均電力制約下で最適であったガウス分布ではなくなるためです。
ピーク電力制約 $|X| \leq A$ の下で、加法性ノイズ $N$ を持つ連続通信路 $Y = X+N$ の容量は、
$$C = \max_{f_X(x), \text{s.t. } |x| \leq A} (h(X+N) - h(N))$$
を計算することになります。ここで、最大化は $[-A, A]$ の範囲にサポートを持つ任意の確率密度関数 $f_X(x)$ について行われます。
加法性白色ガウスノイズ (AWGN) の場合、ノイズの確率密度関数は $f_N(n) = \frac{1}{\sqrt{2\pi \sigma^2}} e^{-n^2/(2\sigma^2)}$ であり、$h(N) = \frac{1}{2} \log_2 (2\pi e \sigma^2)$ となります。容量は $h(Y) = h(X+N)$ を最大化することで求められます。
ピーク電力制約 $|X| \leq A$ と同時に、平均電力制約 $\mathbb{E}[X^2] \leq P_{avg}$ が課せられる場合、容量は次のように定式化されます。
$$C = \max_{f_X(x), \text{s.t. } |x| \leq A, \mathbb{E}[X^2] \leq P_{avg}} h(X+N)$$
ここで、AWGNの場合、$N \sim \mathcal{N}(0, \sigma^2)$ です。この容量を達成する最適な入力分布は、一般に解析的に閉じた形で得られるものではありません。平均電力制約下のガウス分布が最適であるという結果は、微分エントロピーが与えられた分散の下でガウス分布で最大化されるという性質に基づいています。しかし、ピーク電力制約が加わると、その制約領域 $[-A, A]$ 内で微分エントロピー $h(X+N)$ を最大化する分布を探すことになり、これはより複雑な問題となります。
理論的には、ピーク電力制約 $|X| \leq A$ のみが課せられる場合（つまり、平均電力制約は $\mathbb{E}[X^2] \leq A^2$ と緩い場合）、容量を達成する入力分布は離散的な分布になることが知られています（例えば、Zhang and Costa, 1995）。これは、連続値の入力にも関わらず、最適な入力信号が有限個の値をとる可能性があることを示唆しており、直感的ではないかもしれませんが、理論的に重要な洞察を与えます。具体的には、ピーク電力制約下のAWGNチャネル容量を達成する入力分布は、通常、複数のデルタ関数と連続部分を含む混合分布、あるいは離散的なデルタ関数のみから構成される分布となり得ます。
ピーク電力制約下の容量値は、同じ平均電力 $P_{avg}$ の下でのガウスチャネル容量（シャノン・ハートレー容量）と比較して、一般に小さくなります。これは、ピーク電力制約が許容される入力信号の空間を制限し、相互情報量の最大値を抑えるためです。
理論的意義と応用
ピーク電力制約下のチャネル容量の研究は、情報理論の観点から、制約の種類が通信路容量に与える影響の大きさを明確にする上で重要です。平均電力制約が信号の「平均的な強さ」を制限するのに対し、ピーク電力制約は信号の「瞬時的な変動幅」を制限します。この瞬時的な制限が、最適な入力分布をガウス分布から歪め、結果として容量を低下させます。
実践的な応用としては、実際の送信機が持つ非線形性（例えば、電力増幅器の圧縮特性）をモデル化する際に、ピーク電力制約や振幅制約を考慮した容量分析が有効です。また、直交周波数分割多重 (OFDM) のような波形では、信号のピーク対平均電力比 (PAPR) が大きいことが問題となることが知られています。PAPRが大きい信号は、ピーク電力制約を持つ送信機で歪みやすく、容量を低下させる可能性があります。ピーク電力制約下の容量理論は、このような実システムの性能限界を理解し、設計基準を定める上で理論的な基盤を提供します。
関連研究と発展
シャノンの基礎研究以降、ピーク電力制約下のチャネル容量に関する研究は活発に行われてきました。しかし、前述の通り、正確な容量を閉じた形で解析的に求めることは一般に困難であるため、多くの研究は容量の上下界を求めることや、特定の条件下での近似解、あるいは数値計算による評価に焦点を当てています。特に、同時平均電力制約とピーク電力制約の下での容量問題は、依然として活発な研究テーマの一つであり、最適な入力分布の構造に関する更なる理論的な探求が続けられています。
また、ピーク電力制約だけでなく、帯域幅制約やその他の物理的な制約を組み合わせた通信路モデルの容量解析も行われており、より現実的な通信システムの性能限界を理解するための理論的基盤が構築されています。
結論
クロード・シャノンによって確立された連続チャネル容量の概念は、通信システムの性能を理解するための最も強力なツールの一つです。平均電力制約下のガウスチャネル容量は有名な結果ですが、ピーク電力制約のような他の種類の制約も、現実のシステムにおいては不可避であり、通信路容量に質的・量的に異なる影響を与えます。
ピーク電力制約下のチャネル容量を求める問題は、最適な入力信号の確率分布が非ガウス的となるため、より複雑な解析を要します。この研究は、情報理論における制約条件の重要性を示すとともに、実際の通信システムの物理的な制約を考慮した理論的な性能限界を理解する上で不可欠なものです。シャノンの情報理論は、このような様々な制約下の通信を分析するための強固な枠組みを提供しており、その洞察は現代の複雑な通信システムの設計と最適化においても依然として重要な指針となっています。
参考文献
- Shannon, C. E. (1948). A Mathematical Theory of Communication. Bell System Technical Journal, 27(3), 379-423, and 27(4), 623-656.
- Shannon, C. E. (1949). Communication in the Presence of Noise. Proceedings of the IRE, 37(1), 10-21.
- Cover, T. M., & Thomas, J. A. (2006). Elements of Information Theory (2nd ed.). Wiley-Interscience. (特に第8章 連続情報源と連続通信路)
- Zhang, Z., & Costa, J. A. (1995). On the input distribution achieving capacity in a Gaussian channel with peak-power limitation. IEEE Transactions on Information Theory, 41(5), 1456-1460. (ピーク電力制約下の容量に関するその後の研究例)
（注：本記事における容量の記述は、基本的な概念と主要な論点に焦点を当てており、厳密な証明や全ての特殊ケースを網羅するものではありません。詳細な解析については、上記の参考文献等をご参照ください。）