クロード・シャノンによる情報源の予測可能性：エントロピー率と予測誤差の関連性
はじめに：情報源の予測性とエントロピー率
情報理論の創始者であるクロード・シャノンは、通信システムにおける情報の伝送と圧縮の限界を理論的に確立しました。その中心的な概念の一つが「情報源のエントロピー」であり、これは情報源の持つ不確実性の度合いを定量化する指標として定義されました。情報源の不確実性は、別の視点から見ると「予測の難しさ」と密接に関連しています。本稿では、シャノンがどのように情報源の予測可能性という問題を捉え、それがエントロピー率とどのように結びついているのかを、彼の原論文や関連研究に基づき深く掘り下げます。特に、ある情報源のシンボル列の未来を予測する際の限界が、その情報源のエントロピー率によって定められるという洞察に焦点を当てます。
情報源の予測問題は、通信システムにおける符号化、信号処理、さらには自然言語処理や機械学習など、現代の情報科学の様々な分野で基礎となる課題です。シャノンの情報理論は、この予測問題に対する数学的な基盤を提供し、予測の「究極的な限界」が何によって決まるのかを明らかにしました。
情報源のエントロピー率とその予測不可能性としての解釈
情報源とは、時間とともにシンボル列（あるいは数値列など）を生成する確率過程です。情報源のエントロピー率は、単位時間（または単位シンボルあたり）に生成される情報の平均量を表します。定常エルゴード情報源 $X = {X_i}_{i=-\infty}^\infty$ に対して、そのエントロピー率 $H(\mathcal{X})$ は以下のように定義されます。
$$ H(\mathcal{X}) = \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \dots, X_n) $$
ここで $H(X_1, \dots, X_n)$ は $n$ 個のシンボルの結合エントロピーです。定常情報源の場合、この極限は存在することが知られています。特に、マルコフ情報源のような特定の構造を持つ情報源に対しては、より具体的な形でエントロピー率を計算することが可能です。
エントロピー率 $H(\mathcal{X})$ は、情報源が生成するシンボル列の本質的なランダム性の度合いを示します。エントロピー率が高いほど、情報源の出力は予測困難であると言えます。逆に、エントロピー率が低い（例えば、あるシンボルが生成された後に次に生成されるシンボルがほぼ決まっているような場合）ほど、予測は容易になります。
シャノンは、論文「Prediction and Entropy of Printed English」（1951年）において、英語のテキストを情報源とみなし、そのエントロピー率を予測実験を通じて推定するという興味深い試みを行いました。この研究では、被験者がそれまでに出現したテキストに基づいて次の文字を予測し、その予測の精度から英語の情報源としてのエントロピー率を間接的に推定しました。この実験は、情報源のエントロピー率が、人間の予測能力によって捉えられる予測不可能性と関連していることを示唆しています。
最適な予測と予測誤差
情報源 $X = {X_i}$ が生成するシンボル列 ${x_1, x_2, \dots, x_n}$ が与えられたとき、次のシンボル $X_{n+1}$ を予測することを考えます。最適な予測器とは、過去の観測列 $x_1, \dots, x_n$ が与えられた条件下で、次のシンボル $X_{n+1}$ の条件付き確率 $P(X_{n+1} | X_1=x_1, \dots, X_n=x_n)$ を最大にするシンボル $\hat{x}_{n+1}$ を出力するものです。すなわち、
$$ \hat{x}{n+1} = \arg \max{a \in \mathcal{A}} P(X_{n+1}=a | X_1=x_1, \dots, X_n=x_n) $$
ここで $\mathcal{A}$ は情報源のアルファベット（シンボルの集合）です。この予測器は、事後確率最大の基準に基づいています。
予測の精度を測る一つの指標として、予測誤差率があります。これは、予測が外れる確率、すなわち $P(\hat{X}{n+1} \neq X{n+1})$ の平均値として定義できます。最適な予測器を用いた場合の平均予測誤差率は、情報源の統計的性質にのみ依存します。
エントロピー率と予測誤差の理論的関連
シャノンの情報理論は、情報源のエントロピー率が、その情報源を予測する上での根本的な限界を与えることを示しています。特に、離散値情報源に対する最も一般的な予測誤差指標の一つである「シンボル誤り率」（すなわち、予測されたシンボルが実際のシンボルと異なる確率）に関して、以下の重要な関連性が成り立ちます。
情報源 $X$ のシンボル $X_i$ がアルファベット $\mathcal{A}$ 上の値をとるとします。過去 $n$ 個のシンボル $X_1, \dots, X_n$ に基づいて次のシンボル $X_{n+1}$ を予測する際の、最適な予測器による最小予測誤差率 $P_e^{(n)}$ は、以下のような下界によってエントロピー率と関連づけられます。
Fanoの不等式を用いると、条件付きエントロピー $H(X_{n+1} | X_1, \dots, X_n)$ と予測誤差率 $P_e^{(n)}$ の間に次の関係が成り立ちます。
$$ H(X_{n+1} | X_1, \dots, X_n) \le H_b(P_e^{(n)}) + P_e^{(n)} \log_2(|\mathcal{A}|-1) $$
ここで $H_b(p) = -p \log_2 p - (1-p) \log_2(1-p)$ は二値エントロピー関数、$|\mathcal{A}|$ はアルファベットサイズです。
定常エルゴード情報源の場合、条件付きエントロピーは次のようにエントロピー率に収束します。
$$ \lim_{n \to \infty} H(X_{n+1} | X_1=x_1, \dots, X_n=x_n) = H(\mathcal{X}) \quad \text{a.s.} $$
これは、過去の観測が増えるにつれて、次のシンボルに関する不確実性の平均的な度合いが情報源のエントロピー率に近づくことを意味します。
さらに、確率過程の予測誤差に関する重要な定理（例えばWyner-Zivの定理など、シャノンの直接的な結果ではないものの、彼の枠組みの中で発展したもの）は、情報源のエントロピー率が、損失を伴う予測や、予測に基づいて情報源を圧縮する際の限界に深く関わっていることを示しています。直感的には、エントロピー率が高い情報源は本質的に予測が難しいため、完全に予測することは不可能であり、最小限の予測誤差は情報源の不確実性（エントロピー率）に起因するという結論が得られます。特に、予測誤差をゼロに近づけることは、情報源のエントロピー率がゼロでない限り不可能であることが示唆されます。
歴史的背景と現代的意義
シャノンが情報源の予測可能性に関心を持った背景には、通信における冗長性の活用という問題がありました。自然言語のような情報源は、その統計的構造により大きな冗長性を持っています。この冗長性があるからこそ、ノイズが含まれてもメッセージを理解したり、文脈から欠落した部分を補完したりすることが可能です。シャノンは、この冗長性の量を定量化することが、効率的な通信システム設計や暗号システム設計にとって重要であると考えました。情報源のエントロピー率と予測可能性の関係を明らかにすることは、情報源の冗長性を理解するための鍵でした。
シャノンの予測に関する洞察は、現代の情報科学において様々な形で応用されています。
- データ圧縮: 情報源符号化の目標は、情報源の冗長性を排除して効率的にデータを表現することです。予測器を用いて情報源の統計的構造をモデル化し、予測誤差（または予測残差）を符号化することで高い圧縮率を実現する手法（例えば、適応的符号化、予測符号化）は、シャノンの考え方に深く根ざしています。エントロピー率は、損失なし圧縮における理論的な限界を示します。
- 機械学習: 時系列予測、自然言語処理、音声認識など、系列データを扱う多くの機械学習タスクは、本質的に情報源の予測問題です。リカレントニューラルネットワーク(RNN)やTransformerのようなモデルは、過去のデータに基づいて未来のデータを予測する、洗練された予測器と見なすことができます。情報理論的な観点からの予測誤差分析は、これらのモデルの性能限界を理解する上で依然として重要です。
- 統計的モデリング: 情報源のエントロピー率を推定することは、その情報源の統計的複雑さを評価することに相当します。高次のマルコフモデルや、より複雑な確率モデルを用いて情報源をモデル化し、そのエントロピー率を推定する研究は、様々な分野で行われています。
まとめ
クロード・シャノンの情報理論における情報源のエントロピー率は、単なる不確実性の尺度にとどまらず、情報源の予測可能性の限界を示す重要な指標でもあります。エントロピー率が高い情報源ほど、過去の観測に基づいた未来の予測は難しくなります。シャノンの先駆的な研究は、情報源の統計的構造と予測性能との間の基本的な関係を明らかにし、データ圧縮や機械学習における予測問題に対する理論的な基盤を提供しました。情報源の予測可能性とエントロピー率に関するシャノンの洞察は、現代の情報科学の研究においても引き続き重要な示唆を与えています。