シャノンによる情報のエントロピーと熱力学のエントロピーの関連性：Maxwell's Demonを巡る考察
はじめに：情報と熱力学の類似性
クロード・シャノンが提唱した情報理論における「情報のエントロピー」は、その数学的な形式が物理学における「熱力学のエントロピー」、特に統計力学におけるボルツマンのエントロピーと極めて類似していることで知られています。シャノンのエントロピー $H(X) = -\sum_i p_i \log_b(p_i)$ は、ある確率分布 $P={p_i}$ によって記述される不確実性の尺度であり、情報源を損失なく符号化する際の理論的な下限を示唆します。一方、ボルツマンのエントロピー $S = k \ln W$ は、系の取りうるミクロ状態の数 $W$ の対数に比例し、系の無秩序さや乱雑さの尺度として、熱力学第二法則の根拠となります。
この形式的な類似性は偶然ではなく、情報と物理的な実体の間には深い関係があることを示唆しています。シャノン自身、この関連性について直接的に多くの論文を割いたわけではありませんが、彼の情報理論の枠組みは、後の研究者たちによる情報と熱力学の結びつきに関する探求に大きな影響を与えました。本稿では、シャノンが情報のエントロピーと熱力学のエントロピーの関連性についてどのように捉えうるか、特に物理学における古典的な思考実験であるMaxwell's Demonを巡る議論との関連性に焦点を当てて考察を進めます。
情報理論におけるエントロピーの再確認
シャノンの情報理論におけるエントロピー $H(X)$ は、離散確率変数 $X$ がとりうる各値 $x_i$ が確率 $p_i = P(X=x_i)$ で出現する場合に、以下のように定義されます。 $$ H(X) = -\sum_{i=1}^n p_i \log_b p_i $$ ここで、$b$ は対数の底であり、通常は2（ビット）、e（ナット）、または10（ディット）が用いられます。このエントロピーは、情報源から出力されるシンボルあたりに含まれる「自己情報量」の平均値と解釈でき、その情報源の不確実性を定量的に表現します。エントロピーが高いほど、次にどのようなシンボルが出現するかの予測が難しくなります。
熱力学におけるエントロピーとMaxwell's Demon
熱力学第二法則は、孤立系のエントロピーは時間とともに増大するか、最大に達した場合に一定を保つという法則です。これは自然界の現象が一方向に進行することを示しており、例えば熱が高温から低温へ流れる、混合されない物質が混合されていくといった現象の不可逆性の背景にある原理です。
19世紀後半、ジェームズ・クラーク・マクスウェルは、この熱力学第二法則に一見反するような思考実験を提案しました。これが「Maxwell's Demon」です。箱の中の気体を、中央に小さな窓を持つ壁で二つの区画に分けます。この窓番をする非常に賢い「デーモン」は、分子の運動速度を観測し、速い分子は一方の区画へ、遅い分子はもう一方の区画へ通します。十分に時間が経つと、一方の区画には速い分子（高温）、もう一方には遅い分子（低温）が集まり、温度差が生じます。この温度差を利用すれば、外部からのエネルギー供給なしに仕事を取り出すことが可能となり、熱力学第二法則に反するように見えます。
このパラドックスに対する解決策の探求は、物理学、特に統計力学の基礎を深く掘り下げる契機となりました。そして、20世紀後半に至り、この問題の解決には「情報」の概念が不可欠であることが明らかになっていきます。
シャノンと情報・熱力学の関係性への示唆
シャノン自身がMaxwell's Demon問題に直接的に深く関わる大規模な著作を残したわけではありません。しかし、彼の情報理論におけるエントロピーの定義そのものが、統計力学におけるボルツマンのエントロピー $S = k \ln W$ と本質的に同じ形式を持っていることは重要です。ここで、$W$ は系の取りうる状態数であり、確率分布が均一である場合の確率 $p_i = 1/W$ を考えると、ボルツマンのエントロピーはシャノンのエントロピーの特別な場合（最大エントロピーの場合）に比例することがわかります ($S = k \ln W = k \log_e(1/p) \cdot W = k/(\ln 2) \cdot H(X)_{\text{max}}$、ただし適切な単位変換が必要)。
シャノンは、情報システムが持つ不確実性や多様性を測る尺度としてエントロピーを導入しましたが、これは物理系が持つ無秩序さや状態の多様性を測る尺度である熱力学エントロピーと概念的に非常に近しいものです。情報理論の枠組みを用いることで、物理系を情報処理システムとして捉え、その状態を情報として扱う視点が生まれます。
Maxwell's Demonが分子を選別するためには、各分子の速度や位置に関する情報を「観測」し、「記憶」し、そしてその情報に基づいて「操作」を行う必要があります。シャノンの情報理論は、このような情報処理のプロセスを定量的に扱うための基礎を提供します。デーモンが行う「観測」は情報獲得のプロセスであり、これは系のエントロピーを減少させる行為と見なせます。しかし、この情報を保持し、そして最終的には次の観測のために記憶を「消去」するプロセスが伴います。
シャノン自身の著作の中で、例えば A Mathematical Theory of Communication の初期の議論において、情報源のエントロピーを定義する際に、物理学におけるボルツマンのH定理とのアナロジーに言及している箇所があります。これは、彼が情報理論のエントロピーを物理学のエントロピーと関連付けて考えていたことを示唆しています。また、彼の晩年の講演や非公式な議論においては、Maxwell's Demonや情報と物理の関係性について触れることもあったようです。
後世の研究への影響とLandauerの原理
シャノンの情報理論は、情報と物理の関連性を巡るその後の研究に決定的な影響を与えました。特に、Maxwell's Demonのパラドックスに対する現代的な解決策は、情報処理の物理的なコスト、すなわち情報の獲得、処理、そして特に「消去」に注目することで得られました。
Leo Szilard (1929) は、デーモンが分子の速度を観測して「1ビットの情報」を得るごとに、少なくとも $kT \ln 2$ のエネルギーが環境に散逸する必要があることを示唆しました。これは、情報の獲得が物理的なコストを伴うことを示唆する初期の洞察です。
さらに決定的な貢献は、IBMのRolf Landauer (1961) によってなされました。Landauerは、情報処理における物理的な不可逆性に焦点を当て、特に情報の「消去」という不可逆な操作が、熱力学第二法則を維持するために必要なエネルギー散逸を引き起こすことを厳密に示しました。Landauerの原理は、「1ビットの情報を不可逆的に消去するには、少なくとも $kT \ln 2$ のエネルギーが熱として環境に散逸されなければならない」と述べます。Maxwell's Demonは、分子の情報に基づいて操作を行うために、観測した分子の状態に関する情報を一時的に記憶しますが、新たな分子を観測するためにはその記憶をクリア（消去）する必要があります。この記憶消去のプロセスが、パラドックスを回避するのに十分なエントロピー増加を系全体にもたらすというわけです。
シャノンの情報理論によって情報が定量化可能となったことが、SzilardやLandauerのような研究者が情報の物理的なコストを議論するための基礎を与えたのです。シャノンのエントロピーは、情報が物理的な実体（例えば記憶素子の状態）に符号化される際に、その情報が持つ不確実性の量を示しており、この不確実性が消去される際に熱が発生するという物理的なプロセスと結びつきます。
現代の情報物理学における位置づけ
情報のエントロピーと熱力学のエントロピーの関連性は、現代の情報物理学、統計物理学、そして量子情報理論において活発な研究テーマであり続けています。計算の熱力学、情報エンジン、非平衡統計力学における情報的フィードバックの役割など、多くの分野でシャノンの情報理論が物理的な現象の理解や設計に不可欠なツールとなっています。
例えば、情報エンジンは、情報処理を利用して熱を低温源から高温源へ移動させたり、仕事を取り出したりする装置であり、これはMaxwell's Demonの現代版とも言えます。これらのエンジンの効率や限界は、情報の獲得、処理、消去に伴う熱力学的なコストによって制約されることが、シャノンの理論とLandauerの原理に基づいて理解されています。
量子情報理論においても、量子ビットのエントロピー（フォン・ノイマンエントロピー）が熱力学と結びつき、量子系の非平衡過程や測定過程における情報とエネルギーの交換に関する深い洞察が得られています。
結論：シャノンの先見性
クロード・シャノンは、情報理論という新たな数学的分野を確立し、通信やデータ処理の基礎を築きました。彼の情報のエントロピーの概念は、単なる通信理論のツールに留まらず、物理学、特に熱力学のエントロピーと形式的な類似性を通じて、情報と物理的な実体の間の深い関係性を示唆していました。
シャノン自身がMaxwell's Demon問題の最終的な解決策を直接提供したわけではありませんが、彼が確立した情報量の定量化の枠組み、特にエントロピーの概念は、後の研究者たちが情報処理の物理的なコストを理解し、Maxwell's Demonのようなパラドックスを解消するための基盤を与えました。SzilardやLandauerによる画期的な研究は、シャノンの情報理論なしには考えられません。
情報のエントロピーと熱力学のエントロピーの関連性は、現代の情報物理学における多くの研究の源泉となっており、情報が抽象的な概念であると同時に、物理的な基盤の上に存在するものであることを改めて認識させられます。シャノンの先見性は、情報理論という新しい分野を開拓しただけでなく、情報が自然界の物理法則とどのように結びついているかという根源的な問いへの道を開いた点にも見て取れるでしょう。