OpenAIのneuralese報道とチェーン・オブ・ソート監視をめぐるAI安全性の論点

TBPNの公開動画を起点に、OpenAIのneuraleseをめぐるThe Informationの報道と、チェーン・オブ・ソート監視をめぐる発言を整理する。The InformationのAmir Efratiによる報道として紹介されたのは、OpenAIがモデルを大規模化した際、思考を表示しない一方で効率を高めるloop transformersを静かに利用しているという内容だ。これに対し、OpenAIの研究責任者Jakub Pachockiは、混乱した報道による監視不能性への競争を防ぎたいと述べた。

論点は、モデルが内部でどのように推論するかという話だけにとどまらない。モデルのチェーン・オブ・ソートを監視できる状態を安全性の基盤として扱えるのか、その監視方法自体が脆弱なら何に依存すべきなのかが問われている。TBPNの報道と、TBPN Substackで紹介されたPachocki、Joshua Achiamの発言から、確認できる範囲を分けて見る。

OpenAIのneuralese報道

The Informationは、OpenAIがモデルを大規模化した際に、モデルの思考を表示しない形で効率を高めるloop transformersを静かに利用していると報じた。TBPNはこの報道を、Amir EfratiによるThe Informationの報道として取り上げている。

この報道がAI安全性の議論につながったのは、モデルが何を考えているかを人間が追えるかどうかと、モデルの動作を効率よくする設計が同じ文脈で語られたためだ。モデルの思考を表示しない設計では、外部から追跡できる情報の範囲が問題になる。そこで使われる表現がneuraleseであり、今回の論争では、モデル内部の推論と、それを監視するための手がかりが焦点になった。

ただし、報道で言及されたloop transformersやneuraleseが、OpenAIのどのモデルで実際に使われたのかは、この論点からは確定していない。The Informationの報道内容を裏付けるOpenAIの公式発表が示されたわけでもない。したがって、確認できる事実は、報道がそのような利用を伝えたことと、Pachockiが監視をめぐる反論を示したことに限られる。

チェーン・オブ・ソート監視

チェーン・オブ・ソートは、モデルが答えに至るまでの推論過程を指す。今回の発言では、その過程を監視する仕組みがAI安全性と結びついている。

Pachockiは、OpenAIが最初の推論モデル以来、チェーン・オブ・ソート監視の維持と活用に取り組んできたと述べた。ここで示されたのは、推論モデルの動作を評価する際に、最終的な回答だけでなく、推論の過程を監視することを重視してきたという説明だ。

最終回答だけを見る場合、そこに至る過程で何が起きたかは分からない。チェーン・オブ・ソート監視を使えば、モデルが出した回答と、その途中の推論を別々に扱える。今回の論争では、こうした監視がモデルの安全性を支える技術として位置付けられている。

一方で、Pachockiはチェーン・オブ・ソート監視を脆弱なものだとも述べた。さらに、その脆弱性はアーキテクチャの変更によるものではない理由でも、悪化する方向に向かっていると説明した。監視できることを安全性の前提に置く場合、その前提が安定しているのかという疑問が残る。

Jakub Pachockiの反論と監視技術

Pachockiが問題にしたのは、報道の個別の表現だけではない。彼は、混乱した報道による監視不能性への競争を防ぎたいと述べた。この表現は、モデルの内部過程を監視できなくなる方向へ競争が進むことに対する懸念として読める。

同時に、PachockiはOpenAIがチェーン・オブ・ソート監視を維持・活用してきたと説明した。OpenAIが監視を重視してきたという主張と、その監視手法が脆弱で悪化傾向にあるという認識は、同じ発言の中に並んでいる。

この組み合わせから確認できるのは、監視を続けているという方針と、監視の技術的な状態に課題があるという評価だ。監視を維持していることだけで、監視が十分に機能するとは言えない。逆に、脆弱性への言及だけで、監視がすでに失われたと判断することもできない。

また、Pachockiの発言は、報道に対するOpenAI側の説明として扱う必要がある。The Informationの報道とPachockiの反論は、それぞれ異なる立場から同じ論点に触れている。前者はloop transformersの利用を報じ、後者はOpenAIの監視への取り組みと、その監視の脆弱性を説明した。

Joshua Achiamが指摘した安全基盤

元OpenAIスタッフのJoshua Achiamは、脆弱な技術に全員を協調させることは、安全性と戦略の両面で悪い姿勢だと指摘した。Achiamは、それを根本的に不健全な安全基盤だと表現している。

Achiamの指摘は、チェーン・オブ・ソート監視を個別の技術として評価するだけでなく、その技術に組織や業界の安全性をどこまで依存させるかを問うものだ。Pachockiが監視手法の脆弱性に触れたことで、監視の維持という運用上の問題と、脆弱な仕組みに協調を集めることの是非が同時に浮かび上がった。

この発言から、Achiamが監視そのものを完全に否定したとまでは言えない。確認できるのは、脆弱な技術に全員を協調させる姿勢を、安全性と戦略の観点から批判したことだ。どの技術を代替手段として想定しているのか、どのような監視方法を支持しているのかまでは、この発言からは分からない。

AIモデルの可監視性をめぐる未確定事項

今回の論点で確定しているのは、The InformationがOpenAIによるloop transformersの利用を報じたこと、Pachockiが監視不能性への競争を防ぎたいと述べたこと、そしてチェーン・オブ・ソート監視を維持・活用してきたと説明したことだ。Pachockiは同時に、その監視が脆弱で悪化方向にあるとも述べた。Achiamは、脆弱な技術への協調を安全基盤として批判した。

一方、報道された仕組みがどのモデルで使われたのかは確定していない。OpenAIがどのような設計を採用したのか、neuraleseとloop transformersがどのような関係にあるのかも、今回示された事実だけでは整理しきれない。報道に対するPachockiの反論は、監視への取り組みを説明しているが、報道された仕組みの詳細を公式に確認する発表ではない。

そのため、AIモデルの可監視性をめぐる議論では、三つの発言を混同しないことが求められる。The Informationは利用を報じ、PachockiはOpenAIの監視への取り組みと脆弱性を説明し、Achiamは脆弱な技術に依存する安全基盤を批判した。これらは同じ論争の中で結び付いているが、同じ主張ではない。

TBPNが扱った論点から読み取れるのは、モデルの推論過程を監視できるかどうかが、設計上の効率だけでなく安全性の議論に直結していることだ。監視が維持されているという説明と、監視が脆弱だという評価が併存しているため、OpenAIのneuraleseをめぐる議論は、利用の有無だけで終わらない。どの程度の可監視性を安全性の基盤とみなせるのかが、引き続き争点になっている。