AI安全をどう考えるか：AnthropicとOpenAIの再帰的自己改善、Meta Museの人間介在をTBPNが報じる

TBPNの公開動画を起点に、AI安全をめぐる複数の論点を整理する。AnthropicとOpenAIの研究者が再帰的自己改善（RSI）への懸念を示したこと、AnthropicのEvan HubingerがAIによる極端なリスクの可能性に言及したこと、AI開発の減速と規制をめぐって企業側と米政府側の見方が分かれていることが取り上げられた。動画はさらに、Metaの個人向けAIアシスタントMuseで、AIエージェントの電話に人間の契約作業員を組み込む仕組みにも触れている。

一連の話題には、AIが自分の改善に関わる場合の安全性と、AIエージェントが人間の仕事や判断を代替する場合の人間介在という二つの方向がある。前者ではAIの能力向上そのものが論点になり、後者では利用者とサービスの間に人間を置く運用が試されている。

再帰的自己改善とAI安全

再帰的自己改善は、AIがモデル開発を自律的に改善する考え方を指す。AnthropicとOpenAIの研究者は、この仕組みに新たな懸念を示している。CNBCの報道では、両社の研究者が、モデルの自律的な改善は予想より速く進んでいると述べた。

この論点で問題になるのは、AIが回答を生成する能力だけではない。モデル開発そのものを改善する能力がAIに備わった場合、開発の速度や方向を人間がどの程度把握し、制御できるのかが焦点になる。TBPNが紹介した発言は、AIの能力が伸びることを前提にした将来像ではなく、モデルを改善する工程にAIが関与する可能性を安全性の問題として扱っている。

再帰的自己改善という言葉は、AIが一度にすべてを変えるという意味で使われているわけではない。今回の論点では、AIがモデル開発を自律的に改善することと、その改善が予想より速いという研究者の懸念が結び付いている。どの程度の改善が、どの時点で起きるのかという具体的な見通しまで、紹介された事実から広げることはできない。

それでも、AnthropicとOpenAIの研究者が同じ論点を問題にしている点は、AI安全を考える際の対象がモデルの出力だけではないことを示している。AIが何を答えるかに加え、AIが次のモデルを作る工程にどのように関わるかが、研究者の懸念の対象になっている。

AnthropicのEvan Hubingerが示したリスク

Anthropicのアラインメント責任者であるEvan Hubingerは、AIが今後10年以内に全人類を殺す可能性について、10％を超える見積もりをX上で示した。CNBCはこの発言を、再帰的自己改善をめぐるAnthropicとOpenAIの懸念と合わせて報じている。

この数値は、AI安全に関わる人物が極端なシナリオをどの程度の可能性として見積もっているかを示す発言として扱われている。Hubingerが示したのは、AIによる被害がすでに起きたという説明ではない。将来の可能性に関する見積もりであり、その根拠を別の数値や条件に置き換えて書くことはできない。

再帰的自己改善との関係では、モデル開発をAIが自律的に改善することへの懸念が、AI安全の議論をより大きなリスク評価へつなげている。研究者が予想より速い改善を懸念し、Hubingerが10％を超える可能性を示したことで、能力向上の速度とその結果に対する評価が同じ文脈で語られている。

ただし、AnthropicとOpenAIの研究者がRSIへの懸念を示したことと、Hubingerの見積もりは同一の発言ではない。前者はモデル開発の自律的改善に関する懸念であり、後者は全人類への極端な被害の可能性に関する見積もりだ。二つを分けて扱うことで、誰がどの論点について語ったのかを追いやすくなる。

AI開発の減速と規制をめぐる発言

AI開発の速度をめぐっては、AnthropicのDario Amodeiによる規制と開発減速の提案が話題になった。WIREDの報道によると、この提案にはOpenAIのSam AltmanとElon Muskが支持を示した。

ここで示されているのは、AI開発を続ける企業の側からも、開発速度への制限や規制をめぐる提案が出ているという構図だ。Dario Amodeiの提案がどのような具体的な制度として実施されるかについて、今回使える情報から細部を加えることはできない。確認できるのは、規制と開発減速をめぐる提案があり、AltmanとMuskが支持を示したことだ。

米政府側からは異なる見方が示された。WIREDによると、David Sacksは、AI企業が減速を望むのであれば、他者の許可を求めず自ら責任を持って実施すべきだとXに投稿した。企業が自主的に開発の速度を落とすことと、政府が規制によって速度を制限することは、同じ減速という言葉で語られても、責任の置き場所が異なる。

Amodeiの提案、AltmanとMuskの支持、Sacksの投稿を並べると、AI安全をめぐる議論には少なくとも二つの立場がある。AI企業側の提案を規制や減速につなげる見方と、企業自身が必要だと考えるなら自ら実施すべきだという見方だ。今回の論点では、どちらの制度が採用されたかではなく、減速の責任を誰が担うかをめぐる発言の違いが示されている。

Meta MuseとAIエージェントへの人間介在

TBPNは、Metaの新しい個人向けAIアシスタントMuseについて、デジタルエージェントが行う一部の電話を人間の契約作業員が処理する仕組みをテストしていると伝えた。この仕組みは、人間コンシェルジュとして紹介されている。

Museのケースで人間が関わるのは、AIエージェントが電話を扱う場面だ。デジタルエージェントが担うはずの電話の一部を、人間の契約作業員が処理する。AIだけで処理を完結させるのではなく、電話という接点に人間を組み込む構成になっている。

この人間介在は、RSIで議論されている自律的なモデル改善とは異なる。RSIではAIがモデル開発を改善することが問題になり、MuseではAIエージェントが利用者や相手先とやり取りする工程を人間が担っている。前者はAIの能力向上に関する安全性、後者はサービス運用における人間の配置に関わる。

TBPNが示したMuseの仕組みでは、人間の契約作業員が電話の一部を処理することがポイントになる。すべての電話を人間が処理するという説明ではなく、一部の電話が人間に回される仕組みとして紹介されている。どのような条件で人間に切り替わるのか、契約作業員がどのような判断をするのかについては、今回の事実から広げられない。

AIエージェントという言葉だけを見ると、処理を自律化する方向に目が向きやすい。Museの話題では、実際の電話に人間の作業員を組み込む運用が示された。AIエージェントの機能を考えるとき、エージェントが何を実行できるかだけでなく、どの工程に人間を置くのかも論点になる。

AI安全と人間の役割

今回のTBPN動画では、AI安全をめぐる議論が、研究上のリスク評価とサービスの運用設計の両方にまたがっている。AnthropicとOpenAIの研究者は、モデル開発をAIが自律的に改善する再帰的自己改善への懸念を示した。Hubingerは、全人類への極端な被害の可能性について10％を超える見積もりを示した。

一方、AI開発の減速をめぐる話では、Dario Amodeiの提案にSam AltmanとElon Muskが支持を示し、David Sacksは企業自身が減速を実施すべきだと投稿した。ここでは、AIの能力そのものに加え、開発をどのように管理するかが問題になっている。

MetaのMuseでは、人間の契約作業員がデジタルエージェントの電話の一部を処理する仕組みがテストされている。こちらでは、AIの発展を止めるかどうかではなく、AIエージェントを実際の利用場面に置くとき、どこに人間を介在させるかが問われる。

三つの話題を同じものとして扱うことはできない。RSIへの懸念、開発減速をめぐる企業と米政府側の発言、Museの人間コンシェルジュは、それぞれ異なる場面を扱っている。ただ、TBPNが取り上げた発言を追うと、AI安全にはモデルの改善速度、開発に対する責任、利用時の人間の配置という複数の接点がある。

AnthropicとOpenAIの研究者が示したのは、AIがモデル開発に関与する能力への懸念だった。Dario Amodei、Sam Altman、Elon Musk、David Sacksの発言は、AI開発の速度を誰が管理するかという論点を浮かび上がらせた。Meta Museの試みは、AIエージェントが担う電話の一部を人間が処理するという、サービス上の人間介在を示している。