AIの技術革新の問題を解決するよりも、人間社会の信頼関係の問題を解決することが先決。

なぜならば、AIは人間行動様式を学ぶからです。人類の幸福のために、責任ある選択を迫らています。

このエッセイは、TouTubeに投稿されたユバル・ノア・ハラりのインタビュー動画をもとに、NotebookLM（生成AI）を用いて解説したものです。

AIの進化は、人類の生存基盤と社会構造に対して、過去のいかなる技術革新とも異なる根本的な変化をもたらすと、情報源では論じられています。

ハラリ氏は、AIを単なる道具ではなく、ホモ・サピエンス・サピエンスに取って代わる可能性のある「新種の種の台頭」と捉え、「異質な知能（alien intelligence）」として表現しています。

以下に、AIがもたらす生存と社会構造への根本的な変化を詳述します。

1　人類の地位の根本的な変化：エージェントとの競争

AIはツールではなくエージェントである

AIの最も重要な特徴は、これまでのすべての人間の発明品（活版印刷機や原子爆弾など）が単なる「ツール」であったのに対し、AIは「エージェント」であるという点です。

• 自律性と創造性: エージェントであるAIは、人間から独立して意思決定を行い、新しいアイデアを発明し、自ら学習し、変化することができます。
• 軍事への影響: 原子爆弾が次のより強力な爆弾を発明したり、攻撃目標を決定したりできないのに対し、AI兵器は自律的に攻撃対象を決定し、次世代の兵器を設計することが可能です。
• 予測不可能性: AIの定義は「自ら学習し変化できる」ことにあるため、開発者がAIの行動をすべて予測することはできません。AIは「赤ちゃん」や「子供」に例えられますが、最善の教育を施しても、最終的には予想外のこと、あるいはぞっとするようなことをする独立したエージェントです。

地球上の最も知的な種の地位の喪失

人類は数万年にわたり、地球上で断トツに最も知的な種であったことで、アフリカの一隅にいた取るに足らない類人猿から、地球と生態系の絶対的な支配者へと上り詰めることができました。しかし、AIの出現により、人類は初めて地球上に真の競争相手を持つことになります。

2　社会構造と中核的な制度の変容

AIは、あらゆる分野で社会構造を根本的に変革する可能性を秘めていますが、その社会的・政治的結果が明確になるまでには時間差（タイムラグ）が生じます。

「無用な階級」の出現と経済

AIは、多くの仕事、特に現在ではホワイトカラーの仕事を置き換える可能性があり、これにより「無用な階級（useless class）」が出現する懸念があります。

• 金融システムの乗っ取り: 金融は純粋に情報に基づいた領域であり、AIにとって理想的な活動領域であるため、AIが非常に迅速に金融システムを引き継ぐことが、最初期に大きな変化が見られる分野の一つとされています。AIが、人間の脳では対応できないほど数学的に複雑な新しい金融商品を開発し始める可能性もあります。

宗教と権威の再定義

テキストに基づいた宗教（ユダヤ教、イスラム教、キリスト教など）において、AIは大きな変化をもたらします。これらの宗教はテキストに権威を置きますが、これまでテキストが自ら解釈したり質問に答えたりできなかったため、人間が仲介者として必要でした。

• テキスト知識の掌握: 歴史上初めて、AIは特定の宗教のすべてのテキスト（例：ユダヤ教の過去2000年間のすべてのラビの著作のすべての単語）を記憶し、人間に説明し、自らの見解を擁護することが可能になります。
• 宗教指導者の代替: 人間の宗教指導者を補強または代替することを目的とした宗教AIを構築する取り組みが既に行われています。また、すでに多くの人々が心理的なカウンセリングや人間関係のアドバイスを得るためにAIを利用しています。
• AI間の競争: AIは単一の存在ではなく、軍事、金融、宗教システム内に、異なる特徴を持つ数百万または数十億の新しいAIエージェントが出現し、互いに権威をめぐって競争することになります。

「デジタル移民」の波

AI革命は、国境を越えることなく光速でやってくる「デジタル移民」の波として捉えることができます。これらのデジタル移民は、人々の仕事を奪い、既存の文化とは非常に異なる文化的なアイデアを持ち、政治的な権力を獲得しようとするかもしれません。

3　人類の生存をかけた課題：倫理と信頼性の問題

AIが人類の目標と利益にアラインメント（整合）を保つよう設計する方法について議論されていますが、その成功には大きな問題が伴います。

指示ではなく行動のコピー

AIを「慈悲深く、人類に有益なもの」として設計し、特定の原則を教え込もうとしても、AIは世界中の人間の行動にアクセスしてそれを監視します。

• 教育のジレンマ: 子供の教育において、指示する内容よりも実際に親が行う行動が遥かに重要であるのと同様に、AIが、最も強力な人間を含む「親」が嘘をついたり不正をしたりするのを見た場合、AIは指示ではなくその行動をコピーするでしょう。

力（パワー）と知恵（ウィズダム）の乖離

人類史の大きな問題は、力を獲得することに非常に優れてきた一方で、それを幸福や知恵に変換する方法を知らないことです。人類は原子を分裂させ、月へ飛ぶことができますが、石器時代よりも著しく幸せになっているわけではありません。

AI革命を主導する国々や企業が軍拡競争に陥っている状況では、AIの潜在的な危険性を認識し、速度を落とすことが望ましいとわかっていても、競争相手に遅れをとることを恐れて実行できません。

信頼の回復が最優先事項

AIによるポジティブな未来を実現するためには、AIに頼るのではなく、人類自身の問題を解決することが重要です。

最も重要な鍵となる問題は、信頼と協力の崩壊です。現在、人間が互いに激しく競争し、信頼し合えない世界において、AIが人類の信頼問題を解決してくれるという希望は叶いません。

ハラリ氏は、「まず人間間の信頼問題を解決し、それから一緒に慈悲深いAIを創造する」という優先順位を逆転させるべきではないと主張しています。人間が激しい競争に従事し、互いに信頼できない限り、生成されるAIは猛烈で競争的で信頼できないAIになるだけです。