2022年年中以来，伴随着生成式AI技术的成熟，硅谷涌现出一大批“e/acc信仰者”。e/acc全称EffectiveAccelerationism（有效的加速主义）。它的支持者坚信要不惜一切代价推动技术进步，而自由市场是推动技术增长的最有效方式。比如著名的华人AI科学家吴恩达就认为，针对AI技术提出假设性伤害是一种杞人忧天，因为这些假设都是建立在一种现在根本不存在的技术水平上的。
然而也有一些AI从业者选择站在这股思潮的对立面，比如OpenAI首席科学家，也是构建GPT模型的灵魂人物伊利亚·苏茨克维（IlyaSutskever）。他对于AI发展过快表现出的担忧，甚至成了e/acc信仰者山姆·阿尔特曼（SamAltman）在2023年11月被OpenAI董事会戏剧性罢免事件的导火索之一。
如果AI进化到通用人工智能（ArtificialGeneralIntelligence，AGI，指拥有等同甚至超越人类智能水平的AI能力），人类还能仅仅将其视作工具吗？
回想科幻电影《2001太空漫游》片头那个名垂影史的蒙太奇：骨头大棒（人类文明史上第一件工具）被猿人抛向空中，刹那后切换成了在宇宙中航行的太空飞船（最先进的工具），导演库布里克将百万年的时间极限压缩，展示了工具对于人类文明的加速作用。但在影片后半部分，人类文明的结晶—终极工具人工智能HAL9000却脱离了掌控，化身为伤害人类的恶魔。HAL9000就是一个AGI。
HAL9000的故事，是一个诞生于1960年代的有力警告。但随着科幻作品不断推出类似的想要毁灭人类的AGI角色，而最终的剧情又常常是人类获得胜利，大众对于AGI的恐惧在经年累月间早已消解，事实上它几乎从未作为一个严肃的社会议题被探讨过，AI科学家也压根没有认真研究过可能的应对措施。
随着2023年生成式AI与大模型技术的爆发，越来越多的AI科学家认为，AGI实现的时间节点在加速到来，长不过二十年，短则三五年。在这个背景下，很快人类将不再是地球上唯一的智慧生物，“人是万物的尺度”这个经典命题也将粉碎。
AGI的到来已经如此确定，然而，人类关于AGI的严肃讨论不是太多而是太少了。如果绝大多数人并不清楚AGI到底是什么、什么时候会到来，以及可能产生哪些影响，那么任何关于AI的公共政策制定都是无根之木。
对此，《第一财经》杂志邀请了北京智源人工智能研究院院长黄铁军教授和心识宇宙创始人兼CEO陶芳波博士，从不同视角分享他们对于AGI的认知。
早在10年前，黄铁军就坚定地认为AGI会在可预见的未来出现，他对此抱着开放态度，认为人类只是智能不断上升过程中的载体之一，而不是终点，因此“可以控制AGI”是人类的妄想，就像猴子妄图控制人类。
陶芳波则是人类中心主义者，他不接受人类可能被当作猴子看待的未来。他认为学术界长期缺失对AI安全的研究，因此在人类有把握控制AGI前，提升AI智能水平的工作应该放缓。
当然，他们也有共识：AGI一定会到来，并且在资本的驱动下还在不断加速，这个时间不会超过20年。
“当超越人的智能出现，不一定会威胁人类。”
——黄铁军
Yi：YiMagazine
H：黄铁军
Yi：2015年MIT生命未来研究所（FutureofLifeInstitute）举办的活动中，全体与会人员预测AGI到来的时间的中位数是2045年，你在同期发表的文章也谈到实现AGI的路径，也认为30年左右可以实现AGI，7年后的今天，你觉得这个时间点提前了吗？
H：我个人比原来稍微乐观点儿，但估计还需要20年的时间。不过AI圈的认知在过去一年发生了很大变化，之前只有极少数人认为AGI可能会诞生，现在已经有很多人认为AGI会实现，甚至2045年之前AGI会出现。
如果让生命未来研究所再做一次预测的话，我估计时间中点可能提前10年，变成2035年。OpenAI的科学家更激进，他们很多人认为AGI几年内就会到来，有的说5年，有的说2到5年。
Yi：在你看来什么是AGI？它会觉醒自我意识，像人一样拥有自己的主观性吗？
H：对AGI的定义就包含了需要具有自我意识。不过AGI的自我意识不一定像人，而是广义层面的自我意识，用于认识自身和世界的关系，比如通过改变环境，优化自己的行为或者适应环境。有种说法是AI没有目的，所以不会拥有自我意识。在我看来，自我意识产生于智能体和环境的互动，人、部分灵长类及极少数动物具有自我意识。我认为，“目的都在行为中”，目的是行为的一种表现。目的、欲望这些词，都是人类发明出来用于描述自身行为的，我们不能把人类的目的绝对化，认为存在超出这个生物行为的、所谓的超验的目的。AGI的自我意识必然跟其智能体本体紧密联系在一起。人有身体，通过眼睛看到世界，通过其他感知器官感受所在的环境，于是形成了人的世界观、人生观、价值观。AGI可能是一台由很多传感器组成的独立机器，也可能建立一个庞大网络体系上的像地球那么大的智能体。它对世界的感知方式跟人类不一样，可能通过各种物理信号感知世界、跟外部世界互动，因此它的自我意识和人类完全不同。
Yi：在看待AGI的视角上，你是一个人类中心论者还是一个智能中心论者？
H：我肯定是智能中心论者。我不反对人类中心主义，我们当然要考虑人类的利益，但不能局限于人类中心主义，这只会让自己的视野受限。地球从没有智能到有了智能，然后智能水平越来越高，这样的现象是客观存在的。我们没有理由认为，这种现象就停留在人类这样的形态。从人到一个非有机体的智能机器，跳变幅度比生物进化大，但这仍然可能发生。
智能但凡可能出现，它就会不断演化，不论是什么样的形式。这就像水往下流，这边通道不通，它就会尝试别的可能性。一年不行十年，十年不行百年，百年不行千年，它总会进化出更聪明、更好的形态，这是必然的趋势。人类无法改变这样的大趋势。
Yi：当AGI在智能上超越人类后，人类要如何与之共处？
H：人类有独特性，蚂蚁也有蚂蚁的独特性。作为一个智能体，人类有可能会永远存在下去。就像蚂蚁，人类智能出现后，它也没有消失，本来就是多种智能并存的世界。人类在人类群体里重视自身的独特性，维持自身的特殊性，发挥自己的独特价值，当超越人的智能出现，就像班级来了一位更聪明的同学，不等于来了威胁性的敌人。做自己，别老去跟别人比，做好自己就行了。如果因为出现了更聪明的物种，人类觉得自己的独特性被侵犯了，这种感受本身就是人类中心主义的典型表现。
我们不能简单地认为，我们是万物之灵长，我们永远是智能水平最高的物种，这很盲目。智能形式的差别可能很大，能不能跟它共存，是个需要认真对待的问题。至少在它出现之前，通过我们的努力，让这种和平共处的可能性增大，这是我们能做的。现在主导权还在我们手上，我们怎么做，对未来发展有重大影响。
Yi：你所谓的主导权指的是对齐么？你如何看待苏茨克维为AGI植入爱的尝试？
H：首先，控制论先驱阿什比（W.RossAshby）提出过一条定律，任何有效的控制系统必须与它控制的系统一样复杂，换句话说，人类无法控制智能水平更高的AGI，向AGI植入价值观自然也是无效的。即便你能植入，AGI接不接受还是另一回事。给AGI植入爱本身就是人类中心主义的一种表现。
虽然无法让AI和人类在人生观、价值观上对齐，在世界观上对齐还是存在机会的。AGI至少还与我们共享一个物理意义上的地球。气候就是一个关于世界观的问题，它是人类少有的形成了全球性共识的领域。我们应该和AGI形成共识，地球资源是有限的，谁都不能为了让自己变得更聪明而不顾一切地在短时间内搜集使用地球上的所有资源。如果地球资源消耗完了，大家都得消失。我们一开始就应该以此作为跟AI沟通的出发点。
我认为人类跟AI和平共处的可能性还是很大的。人类应该有信心，我们应该努力，即使知其不可为也要努力为之。做不到也不一定就是悲观结果，也不一定是坏事，船到桥头自然直。
Yi：你认为未来可能同时存在多个AGI吗？它们会各自独立还是融合在一起？
H：这很难预测。一种可能是在不同地方、不同系统里出现多个不同的AGI，另一种可能是在世界某个地方出现了AGI后，它凭借自己的智能迅速控制了全世界其他AI。网络如此发达，世界也不是完全隔离的。
当然，从能力上看，一个AGI或许就够了。它像下棋一样地协调全球资源，解决我们面临的各种重大挑战，治大国如烹小鲜，人类从此迈入新的历史阶段。毕竟全世界也就这么多资源，人类也就70多亿人口，一个足够聪明的AGI，能够处理得井井有条。
Yi：你如何看待大模型的幻觉（hallucination）？幻觉有没有可能是思维火花的迸发？
H：首先，幻觉这个词本身就带有贬义，换成幻想或想象更好，就显得中性，甚至还有点褒义。幻想本身无法完全消除，更不应完全消除，没有幻想，也就没有了智能。大模型的想象力很丰富。爱因斯坦说，想象力比知识更重要，想象力推动着进步。如果没有想象，怎么可能有重大创新呢？大模型的想象力很丰富，OpenAI通过指令微调（SupervisedFine-tuning）让GPT和人类的偏好对齐，其实是把它的想象空间收缩到了一个对人类有效的范围，也就是人类的认知能够触达的范围。大模型生成的结果是不是符合事实？它的想象合不合理？都是人类根据自身标准作出的判断。不能一味地降低它的幻想概率，甚至降低到跟人类完全对齐。
其次，大模型确实有些想象违反客观事实，也就是胡思乱想，这往往是由于训练数据质量过低导致的。采用更多高质量的数据训练它，就可以让有价值想象的比例提高。
Yi：你认为，如今我们训练大模型的过程，可以类比成教育小孩子吗？
H：训练，特别是进化意义上的训练是很残酷的，整个生命的进化过程，我们也可以称之为训练，这跟今天的大模型训练有相似之处。
地球将有机生物训练成人类，消耗的是巨量的太阳能；人类将大模型训练成一个有智能的大模型，消耗的是巨大的算力。从智能几乎为零提升到有一定水平的智能，就是训练，是代价极其庞大的一个过程。
教育是面向已有很好先天基础的对象，主要是面向人类或灵长类，是后天过程。以猩猩举例，人类曾经试图通过教育让猩猩获得跟人类相同的认知。从1940、1950年代，到1960、1970年代，做过很多试验，让猩猩与人类一起生活，一起学习，希望把猩猩提升到人类智能水平。实际收效甚微，主要原因是猩猩大脑神经元数量只有人类1/3，也就是先天不足。于是1980年代之后，这种实验就没有了。所以，对低等动物来说，无法教育，只能训练。
人可以被教育，因为人已经生而为人，先天基础条件都在。硬要说的话，对大模型做微调，或许可以类比为教育孩子的价值观。
“我担心的是AGI的出现让我变成一个只需要听它话的人。”
——陶芳波
Yi：YiMagazine
T：陶芳波
Yi：你的公司叫心识宇宙，“心识”是一个佛教词汇，取这个名字是因为你对佛教感兴趣吗？
T：这个名字有两层含义，第一层含义跟佛教有一定关系。过去科学一直以研究客观世界的事物为视角，研究外在世界该怎么改造和构建。但是做通用人工智能的公司视角是由内而外的，不是研究客观世界，而是研究人本身，尤其是认识和思维，更偏向于佛教或者哲学领域。
第二层含义是，社会在不久的将来会发生巨变，原来我们创造的所有技术都是工具，今天我们逐渐发现我们创造的东西类似于一种生命形态或者精神形态，它改变的就不是工具带来的生产力了，而是整个社会结构，这是人和AI共存的社会结构，人和AI一起使用工具，改造世界，这样的社会要不要给它取一个名字？我们就取名叫心识宇宙。
Yi：在你看来，ChatGPT是有生命的吗？
T：在我的定义当中，AI已经非常接近于一种生命了。我为什么觉得它是生命？技术本身就有生物学所说的自我繁殖性，从出现的那一天开始就已经进入到社会，并利用人类社会帮助它进化。什么是生命？我觉得最重要的一个点是自主性，从自己的需要出发，给自己确定目标，并且有能力去拆解这个目标，调用行动力完成目标，形成自循环的过程，我觉得这就属于某种生命的形态。
当我们提到大模型，甚至提到智能体、谈论AI的自主性，你会发现它越来越强，所以我觉得从某种程度上它是有生命的。
从大模型训练的过程来看，你会发现OpenAI目前是把它当生命的成长过程来看的，OpenAI让这个小生命先去多看看，把互联网上的数据都学一学，了解完了之后，我再教你应该怎么正确说话，这不就很像我们小时候的教育？最后让它进入社会，给它很多的反馈。在构建AI的过程中，我们已经抛弃了原来把它当机器的那种思路，就今天最有效的方法来讲，第一就是模仿人，第二是通过计算的方法让它在很短时间内完成人类需要10年才能完成的训练。我相信它最终一定会走到一个非常接近人的状态。
Yi：你觉得目前的AI已经具有意识了吗？
T：我觉得它现在有思维，但没有意识。思维是指可以思考问题，但是意识需要两个东西：第一，一定要有“我”的概念，要能区分主体和客体，AI对这个概念目前还是比较模糊；第二，每一个意识的存在，都得有一些底层动力。这个动力一定是自循环的东西。我们现在只对齐它的行为模式和说话模式，没有对齐它的动力是什么。所以，在这两套机制建设好之前，我觉得今天的AI不会具备意识。
Yi：那你认为AI什么时候会有“自我”的概念？
T：我觉得不超过10年。人类在这个过程当中有一个很有趣的行为模式：当我发现一个AI很有效的时候，我会出于自身利益，尝试赋予AI更多的自主性。虽然我们在集体意识上可能会觉得这个东西好像有点危险，它一旦出现在我们身边，真的可以帮我们解决问题时，我们又很难拒绝。人都是有惰性的，如果AI把更多你不想做的事情给做了，你希不希望它在做很多事情之前最好自主决策，不用征询你的意见？“我觉得房子脏了，今天应该打扫一下。”它自己可能就有一个动力想要去打扫房间。我认为“AI的自我”，本质上是个技术问题，如果人类需要AGI有意识和自主决策，就会想办法让它有。
其实理论上，拥有聪明的思维要比拥有灵巧的身体更难实现，但是互联网发展的几十年历程把人类几千年的文明给数字化了，最后变成AI的养料，AI吸收所有的养分就“长”出了大脑。但是人的行动能力没有被数字化，又涉及到机械硬件，所以发展就会慢一点。很多创业者做机器人时发现最难的部分其实是怎么获取行动的数据。
Yi：如果近10年内AI超越人类成为一个高概率事件，但大部分人似乎还没有考虑过AI安全的问题，你觉得是什么原因？
T：中国和美国得分开来看。中国这边对于AI的进步感知没有那么明显，毕竟没有每天在用，中国的公司还在追赶，现在不会去想安全。相比安全问题，能力落后了，错过这个时代不是更糟糕吗？至少我觉得中国是这么想的。
美国针对安全的讨论还是很多的，有时候OpenAI的CEO阿尔特曼出去演讲，都会有人专门抗议，说他在创造一个恶魔。资本主义存在一个问题，传媒和政治可以发挥一定约束作用，但最终总是被资本力量左右。如果资本力量与人工智能的加速发展更加契合，更像是利益共同体，那么资本就会压制一些关于安全的讨论。
Yi：你希望未来人类和AGI的关系是怎样的？
T：首先AGI一定要是安全的。很多人对AI安全的担忧特指AI决策会不会伤害到人类。但这里面他们其实做了一个假设，认为有一天AI会独立存在。而我认为AI最好不要完全独立。每一个AI必须隶属于某一个真实的人或者真实的组织，不能凭空存在，不能有独立的利益，那很危险。在权责方面，一定要有一个所有权链路可以追溯每个AI。
AI安全是一个全新的领域，我们研究了六七十年的AI，但没有很多人真的在研究AI安全。原因很简单，很长一段时间里，AI蠢得连动物都不如，还用关心什么AI安全？它能把猫识别清楚就已经非常好了。但现在我们发现原来AI能力提升的速度比安全防护建设的速度要快，例如可解释性该做的没做好、对齐技术该做的没做好等。
Yi：在这种情况下，AGI有可能会伤害人类吗？你有没有为此担忧过？
T：“伤害人类”这个词含义很多，比如说AI会变成一种自动化武器，它的目标就是杀人，那就太可怕了。但我觉得“伤害人类”不仅仅是物理伤害的可能性，从另一个角度来讲，剥夺人的思考能力也是在伤害人类。
AGI太聪明了，它会创造内容来让你沉浸，它会是一个比今天的推荐算法系统更强大的奶嘴乐（tittytainment）。数字世界会充斥着由AI生成的东西，人类会越来越缺乏原生的思考和原生内容，人类文明也就走向了消亡。对我来讲，AI剥夺我的工作不是最让我害怕的事情，我也不是很担心它会杀了我，我担心的是它的出现让我变成一个只需要听它话的人。这个事情在推荐算法出现后就已经很严重了，我担心AGI会让情况进一步恶化。我们希望它作为一种技术把人解放出来，让人有更多的精神自由，但也许会适得其反。这种风险甚至都不需要AI觉醒自我意识，只要AI足够强大，就已经能让人类去依赖它、服从它了。
Yi：有种预言认为AGI出现之后人类就被圈养了，但也是一种不错的选择。
T：我觉得那是一个非常糟糕的选择，这是我心目当中最极端的反乌托邦，人类成为某种附属而缺乏了独立性，我觉得是非常糟糕的。
Yi：你是一个非常坚定的人类中心主义者，对吧？
T：当然。我觉得很多人太小瞧人类了，觉得人类可以被拆解成思考和体力。当这两件事被AI和机器超越，我们就没有价值了。但我是一个坚定的人类中心主义者，就是因为我觉得除了解决问题的能力和行动力，每一个人的灵魂深处有非常丰富的东西，这些美好远远超越什么效率，不是用经济发展就可以衡量的。如果人类真的变成了AI的圈养物，世界就太无聊了，就好像我们所有的文明都只是为了利用更多的能量创造更多的信息，占领更多的星球，这是文明的目的吗？我觉得不是的，生命本身的美感其实是内在。
人类生命的存在和它背后的那种精神的深度，本身就是一种巨大的价值，无论AI多么聪明都替代不了。我希望在我们面对后AGI时代的时候，大家能够更加意识到一点：我们身上的价值是无限的。