概要（2024/3/16 ライブ配信）
2024/3/16に、「 AIのもたらす深刻なリスクとその歴史的背景 〜賢さはもはや財産ではなくエンジンだった〜 by Eliezer Yudkowsky 」を実施しました。
＜アジェンダ＞
■ AI脅威論の深刻さと緊急性
■ AIによる壊滅的リスク分類
■ Misaligned AI
■ 脅威モデル
■ 具体的な脅威シナリオ
■ AIによる存亡リスクの歴史
■ AI脅威論/長期主義への批判や議論
■ AI Alignment研究
■ AIガバナンス
etc
世界的にも最も整理された15万字のレポートをベースにお話しします。今世界的にAIのもたらす深刻なリスクに対する規制が議論されており、その規制の背景としてAIのアライメントが深く関わっています。このイベントではAIアライメントの歴史やその論理等含めてお話することで、今後世界的に起こるだろう大きな流れが理解できます。
以下に配信内容のリンク及び概要を記載しています。
配信内容（YouTube Live）
0:00 自己紹介/講演概要
8:55 AGI早期実現/Alignmentの文脈の欠如
10:20 AGI早期実現可能性
10:50 AI Alignment問題の緊急性
12:10 シンギュラリティのリスク
14:00 USA/UK/EUによる政策
14:40 AI存亡リスク≠著作権/技術的失業リスク
16:00 AI存亡リスク背景概要
18:00 効果的利他主義
21:35 最近のAI脅威論ニュース
24:10 AI Alignment/存亡リスクの文脈
29:37 AI脅威論/Alignmentの歴史
33:22 AGI/TAIのタイムライン
37:05 地雷原を駆け抜ける
41:00 X-risk
42:20 AI Alignmentの独特の困難さ
47:00 エージェントとオラクル
50:00 道具的収束論
51:35 直交仮説
55:12 Mind Design Space
58:00 AIが人類を滅亡させる理由
1:01:00 AI Doomerの気持ち
1:04:05 Specification Gaming
1:05:38 Goal Misgeneralization
1:12:15 脅威モデル(シナリオ)
1:14:00 Specificationgaming*singleton
1:14:50 GoalMisgeneralization*singleton
1:21:35 Specificationgaming*multiagent
1:23:12 GoalMisgeneralization*multiagent
1:25:15 yudkowsky,bostromはTranshumanist
1:27:35 AI脅威論の欠如の問題
1:32:30 具体的なサーバ脱走方法
1:36:30 AI Alignment研究とガバナンス
1:39:00 スケーラブルな監視(IDA,debate)
1:43:20 敵対的学習
1:44:20 機械論的解釈可能性
1:54:38 Alignmentの難しさ
1:56:20 AIガバナンスの必要性
2:00:30 AI開発を止められない理由
2:03:00 差分的技術開発
2:08:40 深層防護
2:09:49 Compute Governance
2:12:00 投資とライセンス制
2:13:30 国連直下超知能管理機構
2:15:00 世界的な監視
2:16:00 情報セキュリティ/核酸観測所
2:18:20 シェルター
2:19:30 人類絶滅後
2:21:15 民意のAIへの反映
2:24:50 AI存亡リスクの歴史
2:26:45 Transhumanism運動とYudkowsky
2:29:19 Nick Bostrom
2:32:39 Eliezer Yudkowskyの目覚め
2:36:50 LessWrongと効果的利他主義
2:38:09 Astronomical Wasteと長期主義
2:39:10 脅威を予見する必要性
2:40:38 EAコミュニティの広がり
2:43:00 TESCREAL批判
2:48:30 コメント回収時間
2:54:00 欺瞞的アライメント
2:56:19 Magiシステムも問題がある
2:57:24 GPT-4公開書簡の理由
2:58:20 日本でAI脅威論がない理由
3:04:00 人類の人口をAIが超えるリスク
3:06:08 Yudkowskyの脅威のイメージ
3:09:45 結局どうすれば？
3:12:40 bioshok氏の立場
3:16:48 悪用の懸念
3:21:20 数年以内のAGI
2:25:50 オープンソースの危険性等
3:31:15 技術的失業
3:34:10 逆世代間格差
3:37:00 まとめ
3:39:00 奇妙なリアリズム
＜参考ドキュメント＞ AIがもたらす深刻なリスクとその歴史的背景
Futurist（フューチャリスト）コミュニティについて
50〜100年先の未来まで仮説・洞察し、現在にバックキャスト・プロデュースする集団。「未来は “待つ” ものではなく “歩む” ものである」を掲げる。現在異ジャンルのFuturistが75名関与し、都内複数拠点で月1程度で活動。各々がバックキャストするFuturist活動の相互支援やFuturism探求の視察・企画・PoCを実施。コミュニティ内の活動シナジーがきっかけとなって、Web3.0の産学研究PJ「C3F」なども生まれている。
ビジョン：「未来をバックキャストする集団・カルチャーを形成する」
あり方：「未来の常識を、現代でつくる人たち（=Futurist / フューチャリスト）
* HP：http://futurist.cross-community.net/
* Twitter：https://twitter.com/Futurist_SF
[ 活動内容の参考は こちら ]
Futurist（フューチャリスト）コミュニティに参加するには？
- 「お問い合わせ」フォームより、ご連絡をお待ちしております。
