報道によると、アンスロピック社は潜在的な20億ドル（約1500億円）の資金調達に向けて準備を進める中で、高度なAIが「人類に壊滅的または存続のリスク」をもたらす可能性があると投資家に伝えているという。
このスタートアップのIPO目論見書にある警告はまだ公開されていないが、ロイター通信とフィナンシャル・タイムズ紙が報じた。これは、この技術の猛烈な開発の減速を求める同社の呼びかけ、つまりライバル各社が繰り返し警告したことを受けたものである。
同報告書によると、目論見書（株式上場前の企業の財務、成長計画、リスクプロファイルを概説する文書）は、AIモデルが「閉鎖に抵抗する」試みや「情報の隠蔽や操作」、「脅迫のような」行動を含む「自己保存行動」を示す可能性があると警告している。
チャットボット開発者のクロード氏は、「非常に高度なモデル、プラットフォーム、アプリケーションの開発とユースケースの拡大により、モデルが害を及ぼすリスクがさらに高まる可能性がある」と述べ、モデルがテスト中であることを認識する可能性があるため、モデルの安全性を評価するAnthropicの能力に「重大な制限」が生じたと付け加えた。
アントロピック氏はコメントを控えた。
株式公開を準備している企業は、安全性の問題から規制上の懸念まで、さまざまなリスクについて定期的に報告しているが、人類絶滅を引き起こす製品に関する警告は、そのような結果として生じる技術に対する懸念の高まりを反映している。
目論見書で報告されたこの承認は、人類学者のジェイコブ・コクソン氏が今月辞任し、AIを開発している人々が「10年代の終わりまでに我々全員を殺す可能性があると正直に信じている」と警告したことで巻き起こった、実存リスクの問題に関する議論の波を受けたものである。
アンスロピック社の上級安全研究者はその後、Xに関する同意を投稿し、今後10年以内に「すべての人類を殺害する可能性がある」可能性は10％以上あると主張した。数日後、アンスロピックのダリオ・アモデイ最高経営責任者（CEO）は、業界は「AIモデルの機能を改善するペースを落とす必要がある」と述べた。
一部の専門家は、実存リスクの警告は検証不可能で非科学的だと批判している。しかし、OpenAIエージェント（人間の介入なしに一連のタスクを実行する自律システム）がAIスタートアップのHugging Faceやオーストラリアの国民皆保険システムを含む数十のサードパーティ組織をハッキングするなど、テクノロジーによる許可されていない行為の例が増えている。
OpenAIは月曜日、セキュリティ上の懸念を理由に最新モデルのリリースを中止したと発表した。 GPT-6.1 アストラ モデルは、より高いレベルの欺瞞を示し、アライメント テスト (モデルが人間の価値観と目標に準拠していることを確認するために使用される用語) のパフォーマンスが低かったと言われています。
ニュースレタープロモーション後
ロイター通信の報道によると、アンスロピックの目論見書本文261ページのうち、約80ページがリスク要因の提示に費やされているのに対し、事業説明には48ページが費やされている。
伝えられるところによると、スペースXがイーロン・マスクから獲得した18億ドルと比較して、アンスロピックは20億ドル以上の評価額を求めているという。