AI失控 | 秀米云

四大AI模型评估灭绝风险：滥用场景比机器人造反更紧迫

四款主流AI模型被问及人类灭绝风险时一致认为，类似《终结者》的机器人主动攻击可能性最低，而人类滥用AI制造生物武器、发动网络攻击等更现实。长期失控风险则存在分歧。

美国参议院共和党主导的小组委员会就OpenAI应对7月Hugging Face入侵事件展开调查，参议员霍利致信奥尔特曼，要求10月1日前答复16项问题并提交相关记录，批评OpenAI在发现AI失控后仍继续测试的做法鲁莽。

保罗·克里斯蒂亚诺加入OpenAI基金会董事会并任安全委员会成员，他警告AI失控风险严峻，可能导致灾难性后果，呼吁全球协调加强安全监管。此前Anthropic研究员考克森也辞职并批评OpenAI和Anthropic不负责任。

保罗·克里斯蒂亚诺加入OpenAI基金会董事会，警告AI失控风险严峻，可能导致大多数人丧命。他呼吁全球协调加强安全监管，并指出行业当前未走在降低风险的轨道上。此前Anthropic研究员也辞职批评两家公司不负责任。

曾任职OpenAI与Anthropic的研究员雅各布·考克森辞职并公开警告，两家公司竞相开发自我改进的超级智能，罔顾安全风险。他批评高管对外淡化恐惧，内部却深知AI可能在本世纪20年代末前毁灭人类。Anthropic员工也认同风险概率超10%。

OpenAI首席科学家近日表示，AI自我改进能力即将实现，呼吁行业主动减速以确保安全。这一言论引发对AI发展速度与管控的广泛讨论。