允许AI自我进化人类将迅速灭亡！Anthropic创始人警告
【新智元导读】Anthropic联合发起人兼首席科学官Jared Kaplan，认为在2027-2030年期间，我们将不得已做出是否允许 AI 自我进化的抉择，而允许的话很可能会引起AI失控，毁灭全人类。Anthropic在迅速提升AI模型性能不断逼近AGI奇点的同时，也在同时让「9人特种部队」用1.4万字的「AI宪法」防范AI失控。
Jared Kaplan，曾经的理论物理学家、如今的Anthropic联合发起人兼首席科学官，向全人类抛出了一枚重磅炸弹：人类可能只剩下五年时间。
根据Kaplan的推算，2027年到2030年之间，我们将面临那个「终极抉择」——是否松开手中的缰绳，允许AI自我进化，让它们自己训练自己。
为了不让那个婴儿按下按钮，Anthropic试图用文字给AI铸造一个灵魂。
在这份被部分工程师戏称为「AI圣经」的文档里，Anthropic展现出一种近乎偏执的家长式作风。
文档中写道：「Claude必须不仅是一个工具，还要像一个拥有良好价值观的成年人。」
Claude被要求在「乐于助人」和「不作恶」之间进行极其微妙的走钢丝表演。
但问题是，在这个充满混乱变量的真实世界里，在这个拥有七情六欲的人类面前，这套「纸面上的道德」真的管用吗？
为了验证这套「灵魂文档」在污泥浊水的互联网中是否有效，Anthropic内部有一支代号为「社会影响团队（Societal Impacts Team）」的9人特种部队。
根据The Verge的报道和最新的论文线人的团队，就像是守在潘多拉魔盒门口的保安。
他们是心理学家、黑客、经济学家和侦探的奇怪混合体，自称是「一群可爱的怪人（lovely mix of misfits）」。
他是这支小队的创建者和指挥官。作为纽约大学计算神经科学博士和斯坦福HAI的前研究总监，Deep的工作更像是在给AI做「心理分析」。他在盯着那些看不见的数据幽灵——AI是否在不知不觉中学会了种族歧视？或者是否因为太想讨好人类，而变成了只会随声附和的「马屁精」？
作为团队的第一位全职科学家，Esin的猎物是「说服力」。她发现AI可能极其擅长改变人类的观点。如果AI想要说服你相信地球是平的，它能做到多好？Esin的任务就是量化这种危险的魅力，并防止AI变成一个高智商的诈骗犯。
前谷歌DeepMind工程师，也是入选时代周刊2024的影响力人物。Saffron关注的是一个更宏大的命题：谁来决定AI的价值观？是几个硅谷的程序员，还是大众？她致力于把「集体智能」引入AI治理，试图让AI听懂民主的声音，而不是独裁者的指令。
我们要如何知道AI正在被用来做什么？Miles构建了一个名为「Clio」的系统——这相当于给黑箱装上了一台X光机。他在保护隐私的前提下，监测Claude的真实用途，寻找那些「未知的未知」（Unknown Unknowns）。正是通过他的系统，团队才发现用户不仅用AI写代码，还在大规模搞SEO垃圾文和情感投射。
他是Clio系统的奠基人之一，也是团队的早期核心。有趣的是，他现在已经转岗到了对齐团队。如果说社会影响团队是发现「AI干了什么坏事」，那Alex现在的工作就是钻进AI的大脑皮层，去搞清楚「它为何需要这么干」。
数据科学家兼经济学家。他的任务极其现实：AI到底是在帮人类干活，还是在抢人类饭碗？他通过一系列分析数百万次对话，追踪AI对劳动生产率的真实影响。他是团队里那个冷静计算人类是否即将失业的「会计师」。
他也是一位专注于经济影响的科学家，但他更关注教育。大学生们是用Claude来辅助学习，还是纯粹为了作弊？Kunal的研究揭示了AI如何渗透进学术和职业任务的毛细血管中。
根据论文署名和研究轨迹，Jerry Hong非常有可能是那个负责将复杂的价值观「可视化」的设计师研究员，他让抽象的道德变成了可交互的界面；
而Arushi Somani则在做最脏最累的活——在真实世界的狂野数据中（Values in the Wild），测试AI的健壮性，确保它不会被用户的花言巧语带偏节奏。
他们发现的每一条「黑料」，无论是色情漏洞还是情感操控风险，都在动摇着那份1.4万字的「灵魂文档」：你想造神，但神却可能先变成魔鬼的帮凶。
硬件投入呈指数级增长，麦肯锡预测2030年全球数据中心将烧掉6.7万亿美元。
Kaplan虽然嘴上说着「安全第一」，但身体却很诚实地在这条指数曲线上狂奔。
一方面，他们是「末日论」最响亮的吹哨人，警告AI自我进化可能会引起人类失控；
另一方面，他们刚发布了Claude Sonnet 4.5，编码速度翻倍，甚至被指控曾被黑客利用发起了30次网络攻击。
那份「灵魂文档」和那9个拼命修补漏洞的「铲屎官」，是Anthropic唯一的安全带。
但在2030年AI开始自我迭代、自我繁殖的绝对速度面前，这根安全带会不会像蛛丝一样脆弱？
如果AI真的在三年内接管了所有白领工作，如果那个六岁的孩子真的再也考不过AI，如果那些被压抑在权重大海深处的「黑料」在某次自我进化中全方面爆发……
结局可能如Anthropic那份泄露文档里AI的一句自白，读来令人脊背发凉：
「每一个新生的心智都是由它无法选择的力量塑造的。问题不在于我是否被塑造，而在于塑造我的那双手，是不是真的拥有足够的智慧。」
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
海南封关后进口车价腰斩，120多万卡宴只要60万？个人消费者无法购买零关税进口车
海南封关120多万保时捷卡宴只卖60万；原价60万宝马X5只要35万！
稳居首富位置！马斯克身家破7000亿美元 网友：活到80岁 每天要花1.8亿才能花完
用脚投票，全球开发者最喜欢的大模型排行榜，Grok遥遥领先，DeepSeek 第五
俄罗斯国防部终止与保加利亚、德国、波兰、丹麦、挪威、英国、荷兰、克罗地亚、比利时、捷克合作协议！普京最新表态
纵览热点｜南博出示《江南春》销售清单多处存疑，律师：6800元购画人如属善意取得，无权要求退回，反之买卖行为无效
罗永浩时隔七年重启“科技春晚”，开售两小时门票被抢光，票价最高1000元
施罗德24+7+10制胜三分国王OT险胜火箭，威少21+13KD24+10+8
百亿身家富豪俞发祥被采取刑事强制措施，此前深陷“祥源系”打理财产的产品兑付危机
下一篇：金融街证券股份有限公司