クロード・シャノンによる非線形予測：予測誤差の定量化と情報源エントロピー率の関係
はじめに：情報源の予測という課題
クロード・シャノンの情報理論は、情報の定量化、伝送、圧縮、そして秘匿性といった側面で通信の本質を捉えました。その基礎となる概念の一つに、情報源の持つ不確実性の尺度であるエントロピーがあります。情報源のエントロピー率は、情報源が確率過程である場合に、その過程が本質的に持つ予測不可能性の度合いを示します。
シャノンは、情報源符号化定理において、可逆圧縮の限界が情報源のエントロピーによって定められることを示しました。これは、情報源の統計的性質を完全に理解していれば、理論的にはそのエントロピー率に等しいビット数まで平均的に圧縮できることを意味します。しかし、実際にデータ圧縮を行う際には、情報源の正確な統計モデルが未知であったり、モデルが複雑であったりすることが少なくありません。
シャノンの研究には、情報源の統計的性質を「予測」を通じて明らかにしようとする試みも含まれています。特に、特定の時点における情報源の出力を、それ以前の出力系列に基づいて予測するという問題は、情報源の構造を理解する上で重要なアプローチとなります。この予測の難しさや、予測の精度は、情報源が持つ情報量、すなわちエントロピー率と密接に関連しています。本稿では、シャノンが非線形的な要素を含む情報源（例えば、言語）の予測にどのように取り組み、その予測誤差が情報源エントロピー率とどのように結びつくことを示したのかについて、掘り下げて解説いたします。
シャノンによる予測モデルと予測誤差の定量化
シャノンは、情報源からの記号系列 $X_1, X_2, \dots, X_n$ が与えられたとき、次の記号 $X_{n+1}$ を予測する問題を考察しました。単純な情報源（例えば無記憶源）であれば、過去の記号は次の記号の出現確率に影響を与えません。しかし、多くの現実の情報源、特に自然言語のような情報源では、記号の出現は過去の系列に強く依存します。このような依存性を持つ情報源は、一般に非線形的な構造を持つ確率過程と見なすことができます。
シャノンは、予測の精度を測るために、いくつかの異なるアプローチを提案しています。その一つは、最適な予測器を用いた場合の予測誤差の期待値、あるいは特定の条件（例えば、二値系列におけるビット誤り率）を評価することです。理想的な予測器は、過去の系列 $X_1, \dots, X_n$ が与えられた下での $X_{n+1}$ の条件付き確率分布 $P(X_{n+1} | X_1, \dots, X_n)$ を知っていると仮定します。このとき、最適な予測値 $\hat{X}_{n+1}$ は、特定の損失関数を最小化するように決定されます。例えば、0-1損失関数（予測が当たれば0、外れれば1）を最小化する場合、最適な予測値は最も条件付き確率の高い記号を選択することになります。
予測誤差の別の重要な定量化方法として、シャノンは予測器の出力とその実際の値との間の情報量の観点からの分析も行いました。特に、最適な予測器をもってしても除去できない予測誤差は、情報源が本質的に持つ不確実性に起因すると考えられます。この除去できない不確実性が、情報源のエントロピー率と関連づけられます。
予測誤差と情報源エントロピー率の関係性
情報源 $X_1, X_2, \dots$ が定常エルゴード確率過程であると仮定します。この情報源のエントロピー率 $H(\mathcal{X})$ は、次のように定義されます。
$H(\mathcal{X}) = \lim_{n \to \infty} \frac{1}{n} H(X_1, \dots, X_n)$
あるいは、条件付きエントロピーの極限としても定義できます。
$H(\mathcal{X}) = \lim_{n \to \infty} H(X_n | X_1, \dots, X_{n-1})$
この条件付きエントロピー $H(X_n | X_1, \dots, X_{n-1})$ は、過去 $n-1$ 個の記号が与えられた下での次の記号 $X_n$ の持つ不確実性を示します。直感的には、この値が小さいほど、過去の情報に基づいて次の記号を高い精度で予測できることになります。したがって、情報源エントロピー率 $H(\mathcal{X})$ は、無限に長い過去の系列が与えられた場合の、将来の記号に対する予測不可能性の極限値と解釈できます。
シャノンは、最適な予測器を用いた場合の予測誤差と、この情報源エントロピー率との間に密接な関係があることを示唆しました。厳密な意味での「予測誤差」の定義に依存しますが、例えば、予測される確率分布と実際の分布との間の Kullback-Leibler 情報量などが予測の性能評価に用いられる場合があります。しかし、シャノンの初期の研究では、特に言語のような情報源に対して、人間の予測能力そのものを実験的に評価し、その結果から情報源のエントロピー率を推定するという興味深いアプローチを取りました。これは、理想的な予測器（すなわち、情報源の全統計を知っている予測器）が実現困難である場合においても、予測という行為が情報源の不確実性を浮き彫りにするという考えに基づいています。
特に、シャノンは論文『Prediction and Entropy of Printed English』において、英語を情報源と見なし、過去の文脈に基づいて次の文字を当てるという人間の実験を行いました。被験者は、与えられた英文の一部を見て、次に続く文字を予測し、間違えるたびに正解を知らされて次の予測を試みます。この実験における予測の成功率や誤り率から、シャノンは英語の一文字あたりのエントロピー率を推定しました。この推定値は、特定の統計モデル（例えば、N-gramモデル）から計算されるエントロピー率と比較され、情報源エントロピー率が、理論的な予測の限界を示唆することが経験的にも確認されました。
シャノンのこの研究は、情報源の統計的性質が未知である場合でも、予測という操作を通じてその不確実性（エントロピー率）を測定できる可能性を示しました。また、予測誤差が真の情報源エントロピー率を下回ることは原理的に不可能であるという事実は、情報源エントロピー率が予測の究極的な限界値であることを示しています。
現代における非線形予測と情報理論
シャノンが研究した予測の問題、特に非線形的な依存性を持つ情報源の予測は、現代の情報科学においても極めて重要です。音声認識、自然言語処理、株価予測、気象予報など、多くの分野で時系列データの非線形予測が行われています。
現代の非線形予測手法は、リカレントニューラルネットワーク（RNN）やTransformerのような高度な機械学習モデルを用いることが一般的です。これらのモデルは、大量のデータから非線形なパターンや長期的な依存性を学習する能力を持っています。しかし、これらの強力な予測モデルを用いたとしても、情報源が持つ本質的なランダム性（エントロピー率）に起因する予測不可能性は克服できません。
情報理論の観点から見ると、任意の予測器の予測誤差は、その情報源のエントロピー率と関連付けられます。たとえ非常に複雑な非線形モデルを用いたとしても、そのモデルが理想的な情報源の統計モデルを完全に捉えているのであれば、予測できない残余の不確実性は情報源エントロピー率に収束していくと考えられます。これは、レート歪み理論における「ソースのエントロピーは最小の平均歪みゼロのレートである」という結果とも関連しています。予測問題は、ある意味で、未来の値を最もよく予測するという「歪み」を最小化する問題と見なせるからです。
シャノンの予測に関する洞察は、現代の予測アルゴリズムの性能限界を理解する上で依然として示唆に富んでいます。特に、観測されたデータから推定された情報源のエントロピー率は、そのデータ系列に対して実現可能な最良の予測性能（最小の予測誤差）の理論的なベンチマークを提供します。研究者は、開発した予測モデルの性能を、情報源のエントロピー率から導かれる理論的な限界と比較することで、そのモデルが情報源の統計的性質をどの程度捉えられているのかを評価することができます。
結論
クロード・シャノンによる情報源の予測に関する研究は、情報源のエントロピー率が単にデータ圧縮の限界を示すだけでなく、その情報源が持つ本質的な予測不可能性の尺度でもあることを明らかにしました。特に、非線形的な依存性を持つ情報源に対する予測実験や、予測誤差と条件付きエントロピーの関係性に関する考察は、情報理論の基礎概念が現実世界の複雑な情報源の分析にも適用可能であることを示しました。
シャノンの時代には計算能力の制約から詳細な非線形モデルの構築は困難でしたが、彼の予測に関する基本的な枠組みと考え方は、現代の高度な非線形予測技術が直面する理論的な限界を理解する上で重要な指針を与えています。情報源エントロピー率は、どんなに洗練された予測アルゴリズムを用いても超えることのできない、予測誤差の最小値としての役割を担っていると言えます。情報理論のレンズを通して予測問題を捉え直すことは、より効果的な予測モデルの設計や、その性能評価において、深い洞察をもたらすでしょう。