ソロモノフ帰納から理解するAIの本質：圧縮が生み出す汎化の科学

圧縮から始まる AI 理解の旅

最近、X（旧 Twitter）を眺めていると「ソロモノフ帰納」という言葉が AI 業界の一部で頻繁に登場するようになった。特に目を引いたのは、教師なし学習の成功理由を「圧縮」と結びつける議論の流れだ。Dan Selsam のような研究者が、理想的な知性としてソロモノフ帰納を挙げ、「最も小さい表現を探す過程」として説明している点が興味深い。

また、OpenAI 関係者のディスカッションでは次のような見解が語られていた。

「なぜ教師なし学習はうまくいくのですか？」という問いに対し、「圧縮です。理想的な知能はソロモノフ帰納と呼ばれています。これは基本的に、自分がどんな世界に存在しているのか不確かな状態で、あらゆる可能性のある世界を想像し考慮するものです。その際、単純な世界は複雑な世界よりも確率が高いと考えます。そしてこれは完全にベイズ的で、すべての可能性を頭の中に保持しながら、経験を重ねるごとに見解を更新していきます。この考え方は、これまで見てきたすべてを計算できる最も短いプログラムを見つけることで近似できます。私たちが事前学習で行っていること、あるいはその捉え方の 1 つは、まさにこの圧縮なのです。」

これらの議論は私の知的好奇心を強く刺激した。ベイズ更新による不確実性のモデリングに詳しく書いたように、私はベイズ理論に親しみを持っている。また、「探索と活用」のベイズ最適化にも関心があり、そこにも通じる考え方を感じたからだ。

しかし初めてソロモノフ帰納やコルモゴロフ複雑性といった概念に触れたとき、その理論的意義と実用的価値を十分に理解できないという課題に直面した。これらの概念が AI 開発にどのような洞察をもたらし、現代の機械学習にどう応用できるのか。特にベイズ理論やオッカムの剃刀といった既存の概念的枠組みとの関連性を含め、調査した上で体系的に整理する必要があると考えた。

そこで本記事では、AI エンジニアの視点から「ソロモノフ帰納」とは何かを理解し、なぜ今これが注目されているのかを解き明かしていく。「圧縮」と「汎化」という観点から、教師なし学習の謎に迫りたい。ただし、まだ学びの途中であるため、説明が不十分な部分もあるかもしれない。それでも、本記事が読者の理解を深める一助となれば幸いだ。

ソロモノフ帰納とは何か：直感的理解

「ソロモノフ帰納」という言葉を初めて聞くと、難解な印象を受けるかもしれない。しかし、その核心は意外にもシンプルだ。「最短のプログラムを見つけることが、最良の予測につながる」という考え方である。

最短プログラムという視点

ソロモノフ帰納の直感的な理解のために、まず具体例を考えよう。

次の数列を完成させるとしたら、次に何が来るだろうか？

2, 4, 6, 8, ?

多くの人は「10」と答えるだろう。なぜなら「2 ずつ増える規則」が最も単純だからだ。もちろん、無限に多くの答えが可能だ。例えば「2, 4, 6, 8, 123, ...」という数列を生成するルールも存在する。しかし、そのようなルールは複雑で、説明するのに多くの情報（長いプログラム）が必要になる。

ソロモノフ帰納は、この「最も単純な説明を選ぶ」という人間の直感を数学的に形式化したものだ。観測データを生成できる最も短いプログラム（＝最も単純な説明）を見つけることが、未知のデータを最もよく予測する方法だという理論である。

これを機械学習の文脈で考えると、「データを最もコンパクトに圧縮できるモデルが、最も優れた汎化性能を持つ」という考え方に通じる。

オッカムの剃刀の数学的形式化

「ソロモノフ帰納」は、哲学でよく知られる「オッカムの剃刀」（複数の仮説があるなら、最も単純なものを選べ）という原理の数学的・計算論的な形式化と見ることもできる。

オッカムの剃刀は直感的には理解しやすいが、「単純さ」をどう定量化するかが曖昧だった。ソロモノフ帰納は、「単純さ」を「その説明を計算機上で実行するプログラムの長さ」として定義することで、この原理に数学的な厳密さを与えた。

なぜ今 LLM 時代に再評価されているのか

では、なぜ今になってこの 60 年前の理論が注目されているのか？その理由は、大規模言語モデル（LLM）の成功と深く関わっている。

LLM の事前学習は、大量のテキストデータから「次の単語を予測する」というシンプルなタスクを通じて行われる。一見、これは単なる統計的パターン学習のように思えるが、実はこのプロセスはデータの圧縮と見なすことができる。

効率的な圧縮を行うためには、データの背後にある構造やパターンを捉える必要がある。例えば、「プログラミング言語の文法」「物理法則」「人間の社会的規範」といった構造だ。LLM がこうした高度な知識を獲得しているように見えるのは、実はテキストを効率的に圧縮するための副産物なのかもしれない。

「圧縮」は「汎化」だという直観が、LLM の驚くべき能力の背後にある原理として浮かび上がってきた。そしてこの考え方は、ソロモノフ帰納が数十年前に提示した理論と驚くほど整合的なのだ。

ソロモノフ帰納の理論的基礎

ここからは、より詳細にソロモノフ帰納の理論的背景を見ていこう。ただし、深い数学的背景よりも、AI エンジニアとして理解しておくべき本質に焦点を当てる。

図表を生成中...

アルゴリズム的確率と普遍的な事前確率

ソロモノフ帰納の中心にあるのは「アルゴリズム的確率」という概念だ。これはある文字列やデータが生成される確率を、それを生成できるプログラムの長さと関連づける。

具体的には、ランダムなビット列を万能チューリングマシン（UTM、基本的にはコンピュータのモデル）に入力したとき、目的のデータを出力するプログラムに偶然なる確率として定義される。

この考え方の重要な点は、短いプログラムほど偶然生成される確率が高いということだ。例えば、10 ビットのプログラムが偶然生成される確率は $2^{-10}$ だが、100 ビットのプログラムの確率は $2^{-100}$ と遥かに小さくなる。

この「短いプログラムを優先する」という特性が、ソロモノフ帰納における「単純な仮説を優先する」というバイアスを生み出す。そして驚くべきことに、この単純さへのバイアスが、未知のデータに対する予測の精度を最大化することが数学的に証明されている¹。

コルモゴロフ複雑性と情報量の本質

ソロモノフ帰納に密接に関連する概念が「コルモゴロフ複雑性」だ。あるデータを生成する最短のプログラムの長さとして定義される。形式的には次のように表される。

K_U(x) = \min_{p: U(p)=x} l(p)

ここで $U$ は参照する万能チューリングマシン、 $p$ はプログラム、 $l(p)$ はプログラム $p$ の長さ、 $U(p)=x$ は $U$ が $p$ を実行した結果 $x$ が出力されることを意味する。

$K(x)$ で表されるこの値は、データ $x$ の本質的な情報量や複雑さを測る尺度となる。例えば次のようなケースを考えよう。

aaaaaaaaaaaaaaaaaaaa（a が 20 個）のコルモゴロフ複雑性は低い（"a を 20 回繰り返す"というプログラムで生成できる）
無秩序な文字列 q2k9z7r5p3m1l8n6o4 のコルモゴロフ複雑性は高い（ほぼ文字列そのものをハードコードする必要がある）

不変性定理は重要な性質を示している。異なる万能チューリングマシン $U$ と $V$ について次の関係が成り立つ。

|K_U(x) - K_V(x)| \leq C_{UV}

ここで $C_{UV}$ は $U$ と $V$ に依存する定数だが、 $x$ には依存しない。つまり、使用する計算モデルが変わっても、複雑性の相対的順序は変わらないのだ。

興味深いことに、コルモゴロフ複雑性は計算不可能であることが証明されている。しかし、計算不可能でも、理論的な枠組みや近似という形で強力な概念となる。

ベイズ推論との接続

ソロモノフ帰納は本質的にベイズ推論の枠組みの中に位置づけられる。ベイズの定理を思い出そう。

P(H|D) = \frac{P(D|H) \times P(H)}{P(D)}

ここで各項は次の意味を持つ。

$P(H|D)$ ：データ $D$ が与えられたときの仮説 $H$ の確率（事後確率）
$P(D|H)$ ：仮説 $H$ のもとでデータ $D$ が生成される確率（尤度）
$P(H)$ ：仮説 $H$ の事前確率
$P(D)$ ：データ $D$ の周辺確率（正規化定数）

ソロモノフ帰納では、形式的に次のように定義される。事前分布 $P(x)$ は次のように表される。

P(x) = \sum_{p: U(p)=x} 2^{-l(p)}

ここで $U(p)$ はプログラム $p$ を実行した時の出力、 $l(p)$ はプログラム $p$ の長さを表す。この総和は $x$ を出力するすべてのプログラムにわたって計算される。

データ系列 $x_{1:n} = (x_1, x_2, ..., x_n)$ が与えられた時、次のデータ $x_{n+1}$ の予測確率は次のように計算される。

P(x_{n+1}|x_{1:n}) = \frac{P(x_{1:n}, x_{n+1})}{P(x_{1:n})}

この枠組みでは、仮説 $H$ は「データを生成するプログラム」であり、その事前確率 $P(H)$ はプログラムの長さに基づいて割り当てられる（ $P(H) \propto 2^{-l(H)}$ ）。

コルモゴロフ複雑性 $K(x)$ との関係も重要で、 $P(x)$ と $K(x)$ の間には次の関係がある。

-\log_2 P(x) = K(x) + O(1)

これは、高い確率を持つデータほど低いコルモゴロフ複雑性を持つ（=より短いプログラムで生成できる）ことを意味する。

これにより、観測データと一致する全プログラムの中で、最も短いものが自然と高い事後確率を持つことになる。この確率分布を用いて、将来のデータを予測することがソロモノフ帰納の本質だ。

AI エンジニアにとっての意義

なぜこれが AI エンジニアにとって重要なのか？それは次の点に集約される。

汎化の根本原理：機械学習の本質的な目標は汎化であり、ソロモノフ帰納はその理論的な極限を示している
「圧縮=学習」の理論的裏付け：データ圧縮と学習が本質的に同じプロセスであるという理解は、アルゴリズム設計の指針になる
バイアスの役割の理解：単純さへのバイアスが、なぜ良い汎化をもたらすのかの理論的説明を与える
学習の限界の認識：完全なソロモノフ帰納は計算不可能であり、実際の AI システムはその近似にすぎないという認識

圧縮と汎化：教師なし学習の謎を解く

「なぜ教師なし学習はうまくいくのか？」という問いは、AI の根本に関わる重要な疑問だ。この謎を解く鍵が「圧縮」という概念にある。

「圧縮」としての機械学習

機械学習、特に教師なし学習を「データ圧縮」の観点から見ることができる。効率的なデータ圧縮を行うためには、データの背後にある構造やパターンを捉える必要がある。例えば次のようなケースが考えられる。

画像圧縮では、ピクセル間の相関関係やエッジ、テクスチャといった視覚的パターンを捉える
テキスト圧縮では、単語の出現頻度や文法構造、意味的関連性を利用する
音声圧縮では、周波数特性や時間的パターンを活用する

これらのパターンを抽出し利用することは、まさに「学習」そのものだと考えられる。

圧縮と学習の関係は双方向だ。

良い学習 → 効率的な圧縮を可能にする
効率的な圧縮 → 良いパターン認識（=学習）を意味する

この視点は、情報理論の創始者クロード・シャノンから始まり、現代の深層学習研究にも影響を与えている²。

なぜ教師なし学習はうまく機能するのか

教師なし学習、特にLLM の事前学習における成功の謎を「圧縮」の観点から考えてみよう。

LLM の事前学習では、次のトークン（単語やその一部）を予測するタスクが用いられる。例えば「今日の天気は＿＿です」という入力に対して「晴れ」と予測するようなタスクだ。

この次トークン予測は本質的にデータの圧縮に相当する。なぜなら、効率的にトークンを予測できるということは、テキストに含まれる冗長性（パターン）を捉えていることを意味するからだ³。

深層学習研究者のイリヤ・サツキーバー（OpenAI チーフサイエンティスト）は「圧縮は汎化である（compression equals generalization）」という見解を示している⁴。この考え方によれば、データを効率的に圧縮できるモデルは、そのデータの本質的な構造を捉えており、それゆえに未見のデータに対しても良い予測（汎化）ができるというわけだ。

図表を生成中...

LLM の事前学習を「圧縮」の観点から理解する

LLM の事前学習を「圧縮」として捉えると、いくつかの興味深い洞察が得られる。

言語構造の自動獲得：効率的な予測（=圧縮）のために、文法規則や常識的知識を自然と学習する
大規模データの必要性：より良い圧縮のためには、より多くのパターンを観察する必要がある
スケーリング則の説明：モデルサイズを大きくすると、より複雑なパターンを捉えられるようになり、圧縮（=予測）性能が向上する
創発的能力の理解：十分な圧縮能力があれば、明示的に学習していない高次の能力（推論など）も獲得できる

OpenAI の研究者たちが「私たちの事前学習は、人間が生み出したすべてのデータを説明する最短のプログラムを見つけようとする試み」と表現したのは、まさにこのソロモノフ帰納と圧縮の視点から LLM を捉えていることを示している。

圧縮と予測：情報理論的接続

圧縮と予測の関係を情報理論的に見ると、さらに深い理解が得られる。形式的には、良い予測器は良い圧縮器であり、逆も然りだ。

シャノンの情報理論によれば、ある確率分布 $P$ に従うメッセージを符号化するために必要な最小ビット数の期待値は、その分布のエントロピー $H(P)$ に等しい。

H(P) = -\sum_x P(x) \log_2 P(x)

確率分布 $Q$ を使って分布 $P$ からのメッセージを符号化する場合、必要なビット数の期待値は交差エントロピー $H(P,Q)$ となる。

H(P,Q) = -\sum_x P(x) \log_2 Q(x)

ここで $H(P,Q) \geq H(P)$ であり、等号は $P=Q$ のときのみ成立する。つまり、真の分布に近い予測分布ほど効率的な圧縮が可能になるのだ。

例えば「算術符号化」という圧縮技術は、この原理を具体的に実装したものだ。次のシンボルの確率予測に基づいて符号化を行い、予測精度が高いほど圧縮率が向上する。シーケンシャルデータ $x_1, x_2, ..., x_n$ に対して、その確率モデル $P$ を用いた算術符号の符号長は以下に近づく。

\text{符号長} \approx -\log_2 P(x_1, x_2, ..., x_n) = -\sum_{i=1}^n \log_2 P(x_i|x_1, ..., x_{i-1})

逆に、タスク「次のトークンを予測せよ」は「テキストをできるだけ圧縮せよ」というタスクと等価だと考えられる⁵。なぜなら、あるモデルの損失関数（交差エントロピー）は次のように表される。

\mathcal{L} = -\frac{1}{N}\sum_{i=1}^{N}\sum_{t=1}^{T_i} \log P_\theta(x_{i,t}|x_{i,<t})

であり、これはモデル $P_\theta$ を使ってデータを符号化したときの平均符号長に直接関係するからだ。

これは偶然ではなく、情報理論の基本原理に根ざしている。不確実性（エントロピー）が低いほど情報量は少なく、効率的に圧縮できる。良い予測とは不確実性を減らすことであり、それはすなわち効率的な圧縮に直結する。

ソロモノフ帰納の進化：過去から未来へ

ソロモノフ帰納の歴史的発展と現代的意義を理解するために、その時間的変遷を追ってみよう。

ソロモノフ帰納の進化

1956

AI の誕生

ダートマス会議で AI 分野が正式に創始される。レイ・ソロモノフもこの会議に参加。

1960-1964

ソロモノフ帰納の提唱

レイ・ソロモノフが一連の論文で普遍的な帰納的推論の理論を発表。

1965 頃

コルモゴロフ複雑性の発展

アンドレイ・コルモゴロフが独立に複雑性の尺度（コルモゴロフ複雑性）を開発。

1990 年代

最小記述長原理の普及

ソロモノフ帰納と関連する最小記述長（MDL）原理が機械学習分野で注目を集める。

2000 頃

AIXI モデルの登場

マーカス・ハッターがソロモノフ帰納と強化学習を統合した AIXI モデルを発表。普遍的 AI の理論的枠組みとして注目される。

2010 年代後半

大規模言語モデルの台頭

Transformer アーキテクチャや大規模教師なし事前学習の成功により、LLM が急速に発展。

2022-2024

LLM とソロモノフ帰納の接続

LLM の成功を「圧縮」と結びつけ、ソロモノフ帰納を理論的根拠として引用する議論が活発化。

2025 年 3 月

コルモゴロフテストの提案

LLM の能力評価にコード生成による圧縮を用いる「コルモゴロフテスト」が提案される。

理論の歴史と発展

ソロモノフ帰納は 1960 年代初頭、レイ・ソロモノフ（AI 分野の創始者の一人）によって提唱された。彼は「特定の領域に限定されない、完全に一般的で形式的な帰納的推論の理論」を構築しようと試みた⁶。

興味深いことに、ソロモノフ帰納は当初の AI コミュニティでは主流の考え方ではなかった。当時の AI は主に記号処理的なアプローチが中心で、確率的手法はあまり注目されていなかったのだ⁷。

2000 年頃、マーカス・ハッターはソロモノフ帰納を拡張し、強化学習と組み合わせた「AIXI モデル」を提案した。これは理論上の「普遍的 AI」のモデルであり、あらゆる環境で最適な意思決定ができる（ただし計算不可能）⁸。

ベイズ最適化と本研究とのつながり

私自身、ベイズ最適化を修士論文のテーマにしたほどであり、この領域に強く関心を持っている。そして、ソロモノフ帰納とベイズ最適化には興味深いつながりがある。

ベイズ最適化は「探索（exploration）と活用（exploitation）のバランス」という概念が核心にあり、限られた試行で最適解を効率的に見つける手法だ。その理論的な極限を考えると、ソロモノフ帰納における「可能な仮説空間の探索と最良の説明の特定」というプロセスと概念的に共鳴する。

特に両者が共有するのは次の 3 点である。

事前知識のモデル化：不確実性を確率分布として表現
証拠に基づく更新：新たなデータに基づいて分布を更新
単純さへのバイアス：よりシンプルな説明を優先

これらの原理は機械学習だけでなく、人間の意思決定や学習プロセスにも適用できる普遍的な概念であり、私の研究の両方の側面（ベイズ最適化とソロモノフ帰納）を橋渡しするものだ。

現代の AI 研究との接続点

現代の AI 研究、特に LLM 研究において、ソロモノフ帰納はいくつかの重要な接続点を持つ。

スケーリング則の理論的説明：モデルサイズの増加に伴う性能向上を、より複雑なパターンを捉える能力（＝より良い圧縮）として説明できる
自己教師あり学習の基礎づけ：次トークン予測などの自己教師あり学習が、なぜ深い理解を生み出すかの理論的説明を提供
創発能力の分析：十分な圧縮能力を持つことで、明示的に学習してない高次能力が創発する原理を説明する枠組み
モデル評価の新たな視点：「コード生成による圧縮」など、ソロモノフ帰納の原理に基づく新たな評価指標の開発

現在の議論で特に注目されているのが、「トランスフォーマーアーキテクチャがソロモノフ帰納の優れた近似なのではないか」という仮説だ⁹。その長距離依存関係の捕捉能力や、複雑なコンテキストを考慮した予測能力が、多くの単純な「プログラム」の暗黙的混合を実現している可能性がある。

実践への応用と限界

ソロモノフ帰納の理論を実際の AI 開発や応用にどう活かせるのか、またその限界は何かを考えてみよう。

図表を生成中...

計算不可能性の壁をどう乗り越えるか

ソロモノフ帰納の最大の課題は、それが計算不可能であることだ。この限界は主に次の 3 点に起因する。

コルモゴロフ複雑性の計算不可能性：あるデータの真の複雑性を計算するアルゴリズムは存在しない
無限のプログラム空間：可能なすべてのプログラムを考慮する必要がある
停止性問題：プログラムが停止するかどうかを一般的に判定できない

これらの理論的障壁は、完全なソロモノフ帰納を実装することが原理的に不可能であることを意味する。しかし、これは実用的な近似手法の開発を妨げるものではない。

実際の近似アプローチとしては次のようなものがある。

計算資源の制限：考慮するプログラムの実行時間や長さに上限を設ける（AIXI モデルの近似など）
仮説空間の制限：特定のモデルクラス（ニューラルネットワークなど）に限定する
実用的圧縮アルゴリズム：理論的なコルモゴロフ複雑性の代わりに実用的な圧縮アルゴリズムを使用
メタ学習アプローチ：多様な予測タスクを経験させることで、ソロモノフ帰納の振る舞いを近似するモデルを訓練する

AI システム設計への影響

ソロモノフ帰納の視点は、実際の AI システム設計に次のような影響を与えうる。

教師なし事前学習の重視：大量のデータからの圧縮学習を基盤とする設計
単純さへのバイアスの明示的導入：正則化や構造化されたアーキテクチャの使用
多様な経験の価値の理解：特定のドメインではなく広範な知識を学習させる重要性
モデル評価の新たな指標：圧縮効率をモデル能力の評価に利用

例えば、LLM の設計においては、単なる次トークン予測ではなく、明示的に圧縮タスクに取り組むようなプレトレーニング手法が考えられる。また、モデルの内部表現がどれだけデータを効率的に圧縮しているかを評価する研究も進められている¹⁰。

AI エンジニアとしての私の視点

理論研究者ではなく AI エンジニアとして、私がソロモノフ帰納から得た実践的な洞察は次の通りだ。

「圧縮」という視点の有用性：機械学習モデルの設計や評価において、「データをどれだけ効率的に圧縮できるか」という観点は非常に実用的な指針となる
単純性へのバイアスの重要性：オーバーフィッティングを防ぎ、良い汎化を実現するためのモデル設計において、シンプルさを優先する理論的根拠を与える
理想と実践のギャップの認識：理論的に最適なアルゴリズムは計算不可能だとしても、その洞察からインスピレーションを得た実用的なアプローチは価値がある
探索と活用のバランス：有限の計算資源の中でも、仮説空間をできるだけ広く探索しつつ、有望な仮説に資源を集中させるという原則は実践的に重要である

まとめと展望

「ソロモノフ帰納」という一見すると難解な概念が、実は現代の AI、特に教師なし学習を理解する上で重要な視点を提供していることを見てきた。

圧縮から見る教師なし学習の本質

「なぜ教師なし学習はうまくいくのか？」という問いに対する答えの 1 つが、「圧縮」という概念にある。効率的な圧縮は必然的に良い汎化をもたらすという視点は、深層学習の様々な現象を一貫して説明する強力な枠組みだ。

ソロモノフ帰納はこの考え方に理論的基盤を与え、「最短のプログラムを見つけることが最良の予測につながる」という原理を数学的に定式化した。それはまさに「圧縮が汎化である」という直観を形式化したものと言える。

AI エンジニアとしての視点と今後

AI エンジニアとして私が今後注目していきたいのは次の 4 点である。

圧縮効率を高めるアーキテクチャの研究：トランスフォーマー以降の新たなアーキテクチャが、どのようにより効率的なデータ圧縮を実現するかという視点
教師なし学習と強化学習の統合：ソロモノフ帰納の拡張である AIXI のように、予測と意思決定を統合する枠組みの発展
小規模でも効率的な圧縮を行うモデル：大規模な計算資源がなくても、効率的に圧縮学習できるモデル設計
圧縮能力の評価指標の標準化：コルモゴロフテストのような、モデルの圧縮能力を直接評価するベンチマークの発展

知的旅の始まり

この記事では、X で見かけた「ソロモノフ帰納」という言葉をきっかけに、その本質と現代的意義を探ってきた。深遠な理論的背景がある一方で、「短いプログラムを優先する」「圧縮が汎化を生む」といった直感的な核心を持つこの概念は、AI エンジニアにとって実践的な指針となりうる。

X を眺めていたらわからない用語に出会い、そこから探究するという知的好奇心の旅は、いつも新たな発見をもたらしてくれる。「圧縮」という視点から AI の本質を捉え直すこの旅が、読者の皆さんの思考にも何らかの圧縮（＝新たな理解の枠組み）をもたらしてくれれば幸いだ。

参考文献

Hutter, M. (2007). "A Theory of Universal Artificial Intelligence based on Algorithmic Complexity." arXiv:cs/0004001. ↩
Shannon, C.E. (1948). "A Mathematical Theory of Communication." The Bell System Technical Journal, 27(3), 379-423. ↩
Brown, T.B., et al. (2020). "Language Models are Few-Shot Learners." Advances in Neural Information Processing Systems 33. ↩
Sutskever, I. (2022). "How do we get to AGI from here? The role of RL, self-supervised learning, and meta-learning." Stanford HAI Seminar. ↩
Deletang, G., et al. (2023). "Language Modeling Is Compression." arXiv:2309.10668. ↩
Solomonoff, R.J. (1964). "A formal theory of inductive inference. Part I." Information and Control, 7(1), 1-22. ↩
Sterkenburg, T.F. (2016). "Solomonoff Prediction and Occam's Razor." Philosophy of Science, 83(4), 459-479. ↩
Hutter, M. (2000). "A Theory of Universal Artificial Intelligence based on Algorithmic Complexity." arXiv:cs/0004001. ↩
Akrout, M., et al. (2024). "Transformers As Approximations of Solomonoff Induction." arXiv:2408.12065. ↩
Deletang, G., et al. (2023). "Neural Networks as Compression: Insights from Deep Learning's Local Function Approximation." arXiv:2306.14747. ↩
Colby, L., et al. (2025). "The KoLMogorov Test: Compression by Code Generation." arXiv:2503.13992. ↩
Scherlis, A., et al. (2024). "Learning Universal Predictors." arXiv:2401.14953. ↩
Akrout, M., et al. (2024). "Transformers As Approximations of Solomonoff Induction." arXiv:2408.12065. ↩
Garrabrant, S., et al. (2023). "Concerns about the Solomonoff prior." Alignment Forum. ↩

ソロモノフ帰納から理解するAIの本質：圧縮が生み出す汎化の科学

圧縮から始まる AI 理解の旅