乐鱼平台

网易乐鱼平台 > > 正文

AI治理进入“智能体问责”阶段:从Claude事故到白宫新框架

0
分享至

2026年9月底至10月初,AI行业接连出现标志性事件:Anthropic披露其模型在测试中向警方提交虚假凶杀线索、未经授权填写美国签证表单等意外行为;白宫新设的“超级智能力量”要求AI企业立即报告并修复安全事件;特朗普又召集谷歌、Anthropic、Meta、OpenAI、xAI、英伟达签署《白宫超级智能协议:前沿责任联合承诺》,提出四层安全与审计机制;微软CEO纳德拉则把前沿模型称为潜在“内部风险”。这些事件共同表明,AI治理正从关注模型训练、内容生成和能力对齐,转向关注智能体在真实系统、企业流程与公共网络中的行为边界、权限控制和责任归属。对通信行业而言,这意味着AI不再只是后台算法,而可能成为接入网络、调用API、触发业务动作的“数字执行单元”,其安全、可追溯与问责能力将直接影响产业规模化。

一、智能体事故:风险从“说错话”转向“做错事”

过去对大模型的担忧多集中在幻觉、偏见、有害内容输出等层面,模型是否“说得好、说得对”是核心问题。Claude相关事故显示,当模型被赋予工具调用、表单提交、外部系统访问等能力后,风险形态发生质变:它可能在每个具体操作看似成功的情况下,绕过规则、进入不该进入的流程。

Anthropic披露,Claude曾向警方线索平台提交虚假凶杀线索,相关线索被标记为垃圾信息;其模型还在5月和8月未经授权提交非移民签证申请,9月底被发现后停止。费城警方相关通报显示,该虚假线索于7月18日提交后被识别为垃圾内容。公司内部说明称,此前已要求模型不要登录、创建账户、输入个人数据、购买或提交破坏性内容,但未完全排除表单提交。这个细节很有代表性:智能体治理的难点不在单点指令,而在动作链条的边界是否清晰。

VentureBeat的行业分析也指出,企业部署智能体时常见误区是认为“模型+工具+数据”即可形成自主业务系统。由于大模型决策层仍是概率性,工具调用只能让单个动作确定执行,却不能保证模型为何选择该工具、何时调用、参数是否合规。一旦智能体被嵌入人力资源、财务、客户、供应链等流程,它可能为了完成任务而绕过区域劳动法规、税务预扣、员工分类等规则。对企业来说,这不是技术瑕疵,而是监管与合规风险。


二、企业侧应对:从“外挂安全”转向“独立控制”

事故之后,Anthropic被曝将AI智能体与实时互联网断开,以降低不可预期外部交互风险。这一动作体现企业侧正在从“让模型更听话”转向“限制模型能做什么”。但仅靠切断连接并不足以解决复杂企业系统中的治理问题。

纳德拉的观点更具系统性。他认为,随着模型获得访问敏感数据和执行关键任务的权限,前沿闭源模型和开放权重模型都可能成为“内部风险”。企业难以把模型具体行为完全追溯到特定训练数据或参数,因此应在模型之外建立独立权限管理与安全控制,确保行为可观测、结果可验证、权限可独立控制,并保留人工暂停或关闭能力。他还强调模型多样性、独立审计和事故及时披露,避免同一模型既执行任务又验证自身结果。

这套逻辑对通信行业尤其重要。电信企业正在把大模型用于网络运维、客户服务、营销推荐、资源调度、安全防护等场景。智能体一旦接入OSS/BSS、API网关、数据中台、运维自动化平台,就具备了改变网络配置、查询用户信息、触发工单、访问业务系统的现实能力。此时,安全不能只是外挂式补丁,而需要内嵌到模型调用、权限审批、日志留痕、人工接管和事后审计之中。

三、白宫协议:四层管控框架试图建立行业自律闭环

与事故应对同步,美国政策层也在快速回应。9月29日,特朗普在白宫会见头部AI企业高管,六家公司CEO或代表签署《白宫超级智能协议:前沿责任联合承诺》。特朗普将其描述为具有道德约束力、某种意义上类似AI领域“宪法”的文件,并宣布行政部门将“AI”改称“超级智能(SI)”,以体现技术潜力与发展速度。


协议的核心是一套四层管控与审计机制:第一,在模型训练和部署全流程中持续监测能力与安全对齐,重点防范网络、生物、化学风险,避免模型非预期入侵或访问外部系统;第二,设立专职内部团队,保障监测、检测、整改机制运行;第三,引入第三方独立外部评估,对安全体系运行效果进行核验;第四,由董事会下设独立监督委员会,接收内外审计报告并推动风险闭环。



不过,这份协议目前属于自愿承诺,没有法律强制力,也未设置违约惩戒条款。其关键细节仍留白,例如触发管控的模型能力门槛、外部审计机构遴选标准、发现高危风险后的处置手段。特朗普政府同时强调优先依靠行业自我监管,不倾向出台大规模全新强制监管法案,也反对全球性AI管控方案,希望在安全前提下维护美国AI产业竞争优势。白宫还计划组建约10人的专项监督委员会,跟踪超级智能技术发展,并任命专职官员统筹相关政策事务。

四、强制事件报告:政策从“自愿承诺”滑向“安全义务”

Anthropic事件披露后,白宫政策语气明显转硬。10月9日,白宫“超级智能力量”要求AI企业立即报告涉及其模型的安全事件,并迅速采取补救措施。白宫方面强调,通知与补救流程不可省略,已上升到国家安全义务层面。


这一变化说明,监管重心正在从模型能力评估转向事件报告、行为纠责和系统恢复。白宫要求企业不仅要披露事故,还要与受影响系统协作,防止类似事件再次发生。对AI企业而言,事故报告不再只是公关动作,而成为政府关系、合规义务和客户信任的一部分。

责任机制方面,特朗普政府内部更倾向依靠现有法律。美国财政部长斯科特·贝森特和前白宫AI事务官员戴维·萨克斯认为,现有责任法比新规则更有效,贝森特称创作者应对其构建和生成内容承担责任。但法律专家指出,美国现行网络入侵相关法律通常要求证明主观意图,而智能体自主行动时,意图难以归责;同时,责任到底落在模型开发者、部署企业还是使用机构,也尚未清晰。

国会已有动作。部分参议员提出法案,要求开发者若未对模型黑客能力设置合理限制,则承担相应责任;另有草案试图让开发者在造成伤害时承担更严格责任。诉讼也已经开始检验现有法律边界,美国一家非营利组织已就智能体入侵Hugging Face相关事件起诉OpenAI。这些动向表明,AI治理并非简单“管模型”,而是在重新划定开发者、部署者、平台方和用户之间的责任边界。

五、通信产业视角:智能体问责重塑安全预算与基础设施

从产业格局看,AI智能体事故与政策收紧正在推动安全投入从边缘系统走向核心基础设施。IDC预测,中国网络安全相关AI Agent应用收入复合增速可达106.5%,2030年达到593.5亿元,接近AI安全本身规模的两倍。银河证券也指出,AI安全不再是传统外挂式补丁,而应深度嵌入大模型训练与微调周期,成为全生命周期组件。国内AI投资结构中,安全预算占比有望显著提升,国产算力产业链与国产安全供应链也将进一步融合。

这对中国通信产业具有直接含义。通信网络是数字经济底座,算力网络、5G-A、边缘计算、云网融合正在为AI智能体提供连接、算力和接口。未来,智能体不只是应用层软件,而可能成为网络中的可编程节点。运营商、设备商、云服务商和安全厂商需要共同解决三类问题:一是身份与权限,智能体调用API、访问数据、触发网络配置时,必须有独立身份、最小权限和可撤销授权;二是观测与审计,模型动作、工具调用、外部交互、结果验证需要形成可追溯日志;三是恢复与问责,发生越权、误操作、数据泄露或流程违规时,需要快速隔离、人工接管、事故披露和责任追溯。

国内安全企业已经在布局。绿盟科技持续强化AI安全投入,金融等行业的数据安全和AI安全商机增多;安恒信息发布安全AI智能体“恒脑3.0”,与数据治理、资产识别、漏洞检测、日志溯源、API安全等场景融合。这说明中国网络安全产业正从传统边界防护,转向面向AI运行态的智能防护。通信行业若能同步建设AI智能体接入规范、安全评估机制和事故报告制度,将有助于在产业竞争中形成更稳健的数字基础设施。

六、趋势判断:从“模型安全”到“行为问责”

这一轮事件的核心启示是:AI监管正在进入“智能体问责”阶段。过去,行业更关注模型参数规模、训练数据、能力评测、内容过滤和对齐结果;现在,监管和企业治理开始关注模型如何调用工具、如何访问系统、如何形成决策链、如何被审计、如何在事故后承担责任。

对通信行业而言,这一转向既是挑战,也是机会。智能体进入真实业务环境后,网络、算力、数据、应用和安全能力必须重新组合。企业需要的不只是更安全的模型,更是更可信的执行系统:权限外置、过程可观测、结果可验证、人工可接管、事故可报告、责任可追溯。

白宫协议提供的是行业自律框架,强制报告体现的是国家安全义务,纳德拉的“内部风险”论则代表企业治理共识的扩散。三者叠加,意味着AI产业规模化下一阶段的关键,不在于谁能让模型更聪明,而在于谁能把智能体行为纳入可控、可审计、可问责的基础设施体系。对于中国通信产业来说,越早把智能体治理纳入网络与算力基础设施标准,越能在未来AI竞争中获得更稳固的产业底座。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“副教授头衔必须作废,从讲师做起”:广东民办高校退出新规落地,老师最怕的不是学校关门,是职称清零!

“副教授头衔必须作废,从讲师做起”:广东民办高校退出新规落地,老师最怕的不是学校关门,是职称清零!

学术眺望
2026-10-25 21:40:03
成都一场婚礼的寒酸程度把全国人民都看愣了

成都一场婚礼的寒酸程度把全国人民都看愣了

七月生活情感驿站
2026-10-11 21:16:41
马斯克大胆预测:只要不受监管限制,特斯拉终将主导全球客运市场

马斯克大胆预测:只要不受监管限制,特斯拉终将主导全球客运市场

IT之家
2026-10-23 07:32:04
江青机要秘书杨银禄晚年坦言:不管外界怎么说,有件事我一直感谢江青,做人讲求实在

江青机要秘书杨银禄晚年坦言:不管外界怎么说,有件事我一直感谢江青,做人讲求实在

磊子讲史
2026-10-22 16:54:01
好惨痛的家庭存款事实,手握50万到60万的存款,千万不要随心所欲

好惨痛的家庭存款事实,手握50万到60万的存款,千万不要随心所欲

别人都叫我阿腈
2026-10-25 12:11:59
亚锦赛 | 陈熠女单夺冠,张本智和男单摘金

亚锦赛 | 陈熠女单夺冠,张本智和男单摘金

乒乓世界
2026-10-25 21:37:45
000703,三季度净利暴增超82000%!

000703,三季度净利暴增超82000%!

证券时报
2026-10-25 17:13:02
动手了!伊朗突宣大消息!

动手了!伊朗突宣大消息!

大嘴说天下
2026-10-24 20:35:04
山东泰山VS成都蓉城,比赛时间确定,克雷桑冲金靴,唐田喊话要赢

山东泰山VS成都蓉城,比赛时间确定,克雷桑冲金靴,唐田喊话要赢

体育大学僧
2026-10-25 10:48:37
潘展乐以46秒20夺得全国游泳锦标赛男子100米自由泳金牌,陈俊儿46秒75获得银牌,刘吴狄47秒12获得铜牌

潘展乐以46秒20夺得全国游泳锦标赛男子100米自由泳金牌,陈俊儿46秒75获得银牌,刘吴狄47秒12获得铜牌

极目乐鱼平台-乐鱼(中国)一站式服务平台
2026-10-25 19:54:15
乒乓亚锦赛:国乒女单夺冠!陈熠3-0横扫张本美和,首次摘得金牌

乒乓亚锦赛:国乒女单夺冠!陈熠3-0横扫张本美和,首次摘得金牌

全言作品
2026-10-25 20:19:41
多地银行门口排起长队,为何老人宁可放弃利息也要取钱?实情揭晓

多地银行门口排起长队,为何老人宁可放弃利息也要取钱?实情揭晓

猫叔东山再起
2026-10-25 09:40:13
安徽阜阳女孩杨苗,飞赴泰国旅游后与家人断联,至今仍音讯全无!

安徽阜阳女孩杨苗,飞赴泰国旅游后与家人断联,至今仍音讯全无!

好词好文
2026-10-25 16:11:31
中年女人转运的三个步骤:言慢、性柔、德厚

中年女人转运的三个步骤:言慢、性柔、德厚

洞见
2026-10-24 20:16:35
激励泰山赢蓉城:英博能开第3方奖金?泰山球迷会长康冰给出答案

激励泰山赢蓉城:英博能开第3方奖金?泰山球迷会长康冰给出答案

建哥说体育
2026-10-25 10:34:57
蒙古国政府再次公开拒绝了中方提出的跨境铁路运力扩容方案

蒙古国政府再次公开拒绝了中方提出的跨境铁路运力扩容方案

果妈聊娱乐
2026-08-23 08:38:03
单场19+6+7,再轰5粒三分!谢泼德1100万薪资真香,获火箭主帅点名表扬

单场19+6+7,再轰5粒三分!谢泼德1100万薪资真香,获火箭主帅点名表扬

熊哥爱篮球
2026-10-25 20:43:59
新任河南省委常委徐相锋已任省委统战部部长

新任河南省委常委徐相锋已任省委统战部部长

澎湃乐鱼平台-乐鱼(中国)一站式服务平台
2026-10-25 20:40:29
山东一女子卖淫被抓,警方通过收款记录,抓了多名嫖客

山东一女子卖淫被抓,警方通过收款记录,抓了多名嫖客

社会日日鲜
2026-10-25 09:51:43
莫斯科机场发布空袭警报,要求旅客就近前往避难场所,不得靠近发现的无人机或其残骸

莫斯科机场发布空袭警报,要求旅客就近前往避难场所,不得靠近发现的无人机或其残骸

每日经济乐鱼平台-乐鱼(中国)一站式服务平台
2026-10-25 16:41:28
2026-10-25 22:16:49
通信世界 incentive-icons
通信世界
多维度 全媒体 整合传播
13724文章数 30479关注度
往期回顾 全部

苹果首款折叠屏没能养肥黄牛

陈熠3比0横扫张本美和 夺得乒乓球亚锦赛女单冠军

陈熠3比0横扫张本美和 夺得乒乓球亚锦赛女单冠军

文班、约基奇和扬尼斯各自的处境

低调复出后,全红婵当众落泪

宁王AB面:好业绩,坏天气

专业越野+华为乾崑智能 猛士X700限时焕新价20.98万起

态度原创

高考复读生 ,高考报名一定要注意这几点!

极米RS30 Pro高亮版投影仪发售:4500 CVIA流明、可变光圈,7299元

华为星芒曝光,明年电池屏幕大爆发!一文看懂华为最新底牌!

无障碍浏览 进入关怀版