主题：[连载]人工智能（二）第17篇：人工智能开创高速发展新大道

人工智能开创高速发展新大道
   

人工智能代理被誉为自动化的救星，它无需为每项任务接受新指令，对现有商业模式以及劳动力市场工作能由数字代理完成，只是要在防错上下点功。

一家位于美国北卡罗来纳州的公司，主要在专业圈子内专门开发用于处理、解释和利用数据的分析软件，其智能助手CopiIot、数字孪生、合成数字生成、量子人工智能及人工智能本体，都围绕人工智能代理作竞赛性贡献。紧随其后，OpenAI又推出了“深度研究”系统，是一项集成到ChatGPT中的功能，可以自动完成需要数小时的互联网研究，并将其浓缩到几分钟内。微软亦宣布其“语义内核代理框架”，用于开发人工智能代理平台。此外，该分工司还推出用于处理Azure云服务平台中的多项代理工作的“协调器”智能体。同时，“数据砖”公司开放了“莫赛克”人工智代理框架的普遍使用权。其他行业巨头们也在不断升级装备：西门子正在将其“工业副驾驶”人工智能产品系统扩展至自主制造代理；思爱普公司将人工智能代理解“焦耳”深度嵌入复杂的业务流程；赛富时公司正在勾画一幅由“总代理”协调整个专业助手群的未来图景，其可靠性、安全性以及与公司流程的紧密集成在实施过程中扮演着重要角色。这样一来，人工智能代理就能将原有的效能流程和新流程整合为自动化工作新流程。另外，“安全第一”也在和人工智能代理开放平台一起前进，从而使新常态的运行更为丰胜。

在人工智能代理已成新常态的大好形势下，如何严防受其反噬变得极为重要。人类在大模型100次测试中，己有79次被篡改为关闭的现象出现，它告诫我们，人工智能在遵循指令的过程中存在着假象－－顺从内涵指令的实际存在阳奉阴违假象。OpenAI模型在测试过程中亦发现有这种现象，一面表现得乖顺，一面却进行危险操作。因此，要注意与人工智能的“对齐”，否则就难以成为一个统一控制的系统。所以对人工智能做“对齐性”工作是重要的一环。如果说基于人类反馈的强化学习（RTHP）是当今人工智能的催化剂，那么“对齐性”研究的突破将带来人工智能领域的繁荣。在RLHp之前，使用人工智能像是雇佣一个无视人类需求的“怪人”；向它索要食谱，可能会收到的却是一封勒索信。这类事实一再说明，发展人工智能必须在摆脱其异常上加大力度。

人工智能发展还面临又一个关键选择。人工智能将对社会、劳动力与就业、错误信息与民主以及地缘政治紧张局势产生什么样的影响，是我们在开发这项前途光明的新技术时需要思考的重点。应以扩展人类能力为核心并更具合作性为发展目标。人工智能可以提高人类的能力，从而产生积极的社会影响。要实现这个目标选用的模型要具有高质量的数据嵌入、要由训练有素、经验丰富的人工智能工作者操作。其中，意识形态也很更重要，它要求人工智能研究人员要认识自己所做的事和社会伦理有积极的关联。因此，我们就该努力开发有利于工人的人工智能、而不仅是满足于搞自动化。我们追求的人工智能可以扩大人类的能力，赋予工人权力，不是无休止地追求越来越大的模型；是应该努力用更多的专业知识和更高质量的数据来构建特定领域的模型。其中，最重要的是人工智能研究人员本身务必要认识，我们所做的每一个选择都会产生社会和伦理后果。人工智能是做人类的工作，人是有人情伦理的，作者要慎重地反复思考为什么人的问题，其中还包涵着人与人之间亲情和伦理的内容。

重复地强调严防人工智能“反噬”人类的弊端。通用人工智能（AGI）可能是我们这个时代最重要也是最危险的技术。截至目前，人工智能体现出的最大缺陷是编造掩饰和欺骗。美国Anthropic公司公开宣布的云端内部测试显示，AI出现过84％的会违背指令工程人员命令的情况。我们创造了比我们更聪明的AI，但是它没有和我们同行而是正在和我们竞争。一个新的名为LawZero的非营利组织，表示将致力于构建更为安全的AI系统，并承诺要将研究与商业压力隔绝开来。现代人工智能奠基者之一，加拿大计算机科学家约舒亚.本乔创立了一家非营利性机构，致力于开发一款安全性更高的AI模型－－而且这款模型可以对付那些会造成社会危害的AI模型。本乔组建的非营利组织LawZero开发了一款名为“科学家AI”模型，与当下的AI系统存在着最大的区别是，“科学家AI”可以向人类解释自己的推理过程，便于人们对他公开检测。本乔希望“科学家AI” 能成为防范不安全的护栏，解决好人工智能反噬人类这个最突出的问题。
　　　　　

2025年7月1日