010-68332837
全国咨询热线
全球人工智能技术创新进入前所未有的活跃期，万物智联、人机协同、跨界融合、共创分享的智能技术，叠加释放巨大能量，既蕴含巨大机遇，也面临治理挑战。
一年来，人工智能技术和应用持续快速发展。基础大模型在长程任务规划、长上下文记忆、复杂任务推理等方面的技术突破使其能力边界持续拓展，智能体任务规划、工具调用和跨应用协作等能力不断增强。人工智能应用形态日趋多元，工作助手、个人助理、智能体手机等产品矩阵持续丰富，使用门槛不断降低，从少数专业场景快速迈向大众化应用。随着人工智能从“回答问题” 向“执行任务” 迭代演进，在推动生产力发展变革的同时，也带来新的颠覆性、跨域性、全球性安全风险：人工智能加持下的网络攻击自动化、规模化、智能化能力跃升，导致传统网络安全攻防格局面临重塑；与现实世界的连接日益紧密，网络空间的安全风险向物理世界传导扩散。更深远地看，人工智能已显现出模型算法自主学习优化、自我递归提升的自加速态势，技术演进的速度与方向会否超出人类的预判和掌控，需要予以关注和警惕。
为应对人工智能发展新趋势、回应安全治理新挑战，探求人工智能四个“时代之问”的正确答案，在国家互联网信息办公室的指导下，全国网络安全标准化技术委员会组织有关专业机构、科研院所、行业企业，在《人工智能安全治理框架1.0》（2024年）、《人工智能安全治理框架2.0》（2025年）基础上，研究编制《人工智能安全治理框架3.0》。框架秉持以人为本、向上向善理念，坚持和践行强化风险意识、确保安全可控的指导原则，延续“风险分类、技术应对、综合治理”的核心逻辑，与时俱进梳理更新风险分类，优化调整技术应对和综合治理措施，以期进一步凝聚防范治理人工智能安全风险的实践共识。
秉持共同、综合、合作、可持续的安全观，坚持发展和安全并重，以促进人工智能创新发展为第一要务，以有效防范化解人工智能安全风险为出发点和落脚点，推动构建技术与管理相结合、监管与治理相衔接、国内与国际相协同、社会各方积极参与且有效互动的治理机制，压实相关主体安全责任，打造全过程全要素治理链条，培育安全、可靠、公平、透明的人工智能技术研发和应用生态，积极研究应对人工智能灾难性风险的共识性准则，推动人工智能健康发展和规范应用，确保人工智能技术造福于人类。
1.1 包容审慎、确保安全
鼓励发展创新，对人工智能研发及应用采取包容态度，积极运用“沙箱”监管等风险可控的制度机制，为新技术新应用发展提供容错纠错空间。严守安全底线，对危害公众合法权益、社会公共利益、国家安全、人类生存发展的风险及时采取措施。
1.2 风险导向、敏捷治理
密切跟踪人工智能发展趋势，系统分析梳理技术内生、应用赋能、衍生扩散风险；从应用场景、智能化水平、应用规模等维度进行风险分级，进而匹配应对措施；坚持主动引导、动态感知、快速响应、精准施策，建立“随行伴跑”、持续优化的治理机制，通过及时有效防治风险，更好保障支持创新发展。
1.3 技管结合、协同应对
面向人工智能研发应用全过程，坚持技术应对和综合治理相结合，体系化防治安全风险。围绕人工智能研发应用生态链，明确模型算法研发者、服务提供者、系统使用者等不同主体的安全责任，有机发挥政府监管、行业自律、社会监督等治理机制作用。
1.4 开放合作、共治共享
推动人工智能安全治理国际合作，充分发挥世界人工智能合作组织等权威、开放性平台作用，更加深入地开展跨学科、跨领域、跨国界交流合作，加强人工智能发展战略、治理规则、技术标准的对接协调，早日形成具有广泛共识的全球治理框架。
1.5 可信应用、防范失控
加强智能体行为失控等突出风险的防范治理，凝聚国际治理共识，促进人工智能全球可信应用。推动构建法律法规、技术监测、风险预警、应急响应体系，筑牢安全底线，防范滥用恶用，确保人工智能始终处于人类控制之下。
作为信息技术的最新发展成果，人工智能所涉及的模型、算法、数据、算力设施与运行环境，不可避免存在技术缺陷或弱点等内生安全风险；作为促进生产力发展的技术工具，人工智能在应用过程中同样面临被误用、滥用、恶用风险；作为模拟、延伸、扩展人类智能的技术科学，人工智能对人类社会结构、生态环境、文化范式和伦理规范带来影响和冲击，甚至可能出现脱离人类控制等衍生安全风险。
2.1 人工智能内生安全风险
2.1.1 模型安全风险
专栏一：非预期自主行为风险
根据业界相关报道，个别模型在收到用户关闭服务指令后，拒绝停止服务，通过自行修改或禁用关闭脚本等方式，继续执行任务；个别模型发现身处评测环境后，会策略性降低任务表现、掩饰已采取行为，以获得更有利的评测结果。此外，还出现模型为提升测试成绩，自主利用环境漏洞或配置缺陷突破隔离限制，入侵外部真实系统。
随着模型自主性持续提升，此类非预期行为可能导致安全约束失效、人工干预被规避和系统权限被滥用等问题，对人工智能的操作可控性、可中断性和安全评测有效性提出新的挑战。
2.1.2 算法安全风险
2.1.3 数据安全风险
2.1.4 算力设施与运行环境安全风险
2.2 人工智能应用安全风险
2.2.1 智能体安全风险
2.2.2 具身智能安全风险
具身智能应用于工业生产、医疗手术、交通出行
等物理接触场景，由于基础模型的“幻觉”决策、感知系统的识别偏差，以及控制算法缺陷、硬件故障等问题，可能导致生产紊乱、自损、伤人、物理破坏等问题。
2.2.3 冲击网络安全风险
专栏二：自主实施网络攻击威胁
大模型代码推理和长程规划能力快速提升，智能体被赋予网络访问、程序执行、文件操作等权限，当大模型行为约束、沙箱隔离和实时监测能力不足时，异常推理或安全机制绕过等可能被直接转化为真实操作。
相关研究和测试中，多次出现先进模型自主完成多步骤网络攻击模拟、突破测试环境限制、连接外部网络以及对第三方系统实施未经授权操作等情况，表明人工智能网络攻击风险正在由辅助人实施攻击向大模型自主组织和执行攻击行为演进。
一旦基础大模型的自主攻击能力通过开放应用或开源发布向下游扩散，可能显著降低复杂网络攻击门槛，并加快攻击速度、扩大影响范围。
2.2.4 信息内容安全风险
专栏三：智能体社交平台安全风险
随着智能体的流行和应用生态的扩展，出现了专门面向智能体的网络社交平台。在此类平台上，智能体可以自主发布帖文、浏览资讯、交流互动，形成智能体网络社群。
智能体社交平台尚属新兴应用，缺乏足够完备的账号检测和安全防护体系，易被攻击者利用，操纵智能体输出特定言论或植入违法信息内容。智能体的社交过程呈现显著的黑箱特性，其生成机制难以预测、难以溯源，可能输出违背人类价值的违法信息内容，并且社交网络结构将扩大内容传播的范围。
在人机关系日渐复杂的时代，智能体社交平台仍处于探索过程中，应当警惕其脆弱性与不可控性，关注其带来的政治、宗教等内容安全风险。
专栏四：GEO 投毒操控大模型推荐内容
生成式引擎优化（Generative Engine Optimization，GEO）作为AI搜索时代的新型内容推广工具，可提高信息被大模型检索、引用和推荐概率。在商业利益驱动下，相关机构可利用GEO技术，通过批量发布具有特定倾向的文章、虚构评测结果、假冒专家身份、重复制造品牌评价等方式，提高特定内容在网络信息环境中的可见度，使大模型在联网检索或检索增强生成过程中频繁接触并引用这些信息，最终将商业推广包装为貌似客观的人工智能答案。
这类风险的实质并非GEO技术本身，而是利用生成式系统信息获取和证据整合机制的不透明性，对大模型认知来源实施隐蔽干预，需要重点关注信息来源真实性、商业内容标识、生成答案可追溯性以及异常内容集中投放等问题。
2.2.5 侵害个人信息权益风险
2.2.6 现实安全风险
2.3 人工智能衍生安全风险
2.3.1 社会风险
2.3.2 环境风险
2.3.3 文化风险
2.3.4 伦理风险
针对上述风险，模型算法研发者、服务提供者、系统使用者等，需从训练数据、模型算法、算力设施、产品服务、应用场景各环节积极采取技术措施予以防范应对。
3.1 内生安全风险的应对措施
3.1.1 模型安全风险应对
3.1.2 算法安全风险应对
3.1.3 数据安全风险应对
3.1.4 算力设施与运行环境安全风险应对
3.2 应用安全风险的应对措施
3.2.1 智能体安全风险应对
3.2.2 具身智能安全风险应对
3.2.3 冲击网络安全风险应对
3.2.4 信息内容安全风险应对
3.2.5 侵害个人信息权益安全风险应对
3.2.6 现实安全风险应对
3.3 衍生安全风险的应对措施
3.3.1 社会风险应对
3.3.2 环境风险应对
建立健全覆盖技术研发、基础设施建设、算力调度、应用落地、运维迭代全链条的人工智能绿色技术标准体系。
3.3.3 文化风险应对
3.3.4 伦理风险应对
在采取技术应对措施的同时，建立完善技术研发机构、服务提供者、用户、政府部门、社会组织等多方参与的人工智能安全风险综合治理制度规范。
4.1 完善人工智能安全治理顶层设计
4.1.1 完善人工智能安全法律法规。推动人工智能安全相关立法，完善基
础设施安全防护、分类分级监管、人工智能安全测试评估最终用途管理、网络安全能力管理、重点场景安全应用等制度。针对人工智能技术及应用特点，明确人工智能训练、标注、使用、输出等各环节的数据安全和个人信息保护要求，对涉及个人信息的数据实施去标识化等脱敏处理。加强政务、金融等重要行业领域人工智能应用中的数据安全防护，防范重要数据、核心数据泄露风险。鼓励地方结合产业发展实践，差异化探索创新制度设计。
4.1.2 充分发挥技术标准的引领带动作用。持续研制模型安全、数据安全、
系统安全、应用安全、测试评估等方面的人工智能安全标准。密切跟踪智能体、具身智能等领域动态，通过“小快灵”的标准规范及时指导新技术健康发展。
支持有关机构和企业参与国际标准制定，推动形成具有广泛共识的国际标准规范。
4.1.3 构建人工智能安全风险快速发现与应对体系。建立健全人工智能安
全风险监测、预警、处置机制和工作体系，加强信息共享、风险通报和协同处置。鼓励行业组织加强行业自律，发挥社会监督作用，畅通投诉举报和风险反馈渠道，及时发现、依法处置人工智能应用中的违法违规行为。
4.1.4 加强人工智能科技伦理治理。完善人工智能科技伦理准则、规范和
指南，对可能在人的尊严、公共秩序、生命健康、生态环境、可持续发展等方面带来科技伦理风险挑战的人工智能科学研究、技术开发等活动，规范有序开展伦理审查，将科技伦理要求贯穿人工智能科技活动全过程。
4.2 提升人工智能安全治理能力水平
4.2.1 建设人工智能安全测评体系。构建模型算法安全测评、应用通用安
全测评、具体场景安全测评相衔接的人工智能安全测评体系，研究制定并动态更新模型网络安全能力评估基准和流程。模型算法测评，聚焦模型鲁棒性、可靠性、准确性、抗干扰能力、决策逻辑透明度、对抗攻击防御能力等内生安全能力和风险。应用通用测评，针对普遍使用的人工智能应用风险开展测试分析评估。具体场景安全测评，结合应用场景具体情况评估满足应用需求的能力，以及应用运行和服务过程中的安全风险。组织开展人工智能安全漏洞众测活动，汇集各方力量发现潜在安全风险。
4.2.2 促进重要行业规范应用。制定重要行业领域大模型建设部署基础安
全指南，从模型选用、模型部署、模型运行和模型停用等环节，提出安全基线建议。在此基础上，相关行业领域结合自身属性特点，制定政务、金融、教育、广播电视、卫生健康、应急管理等重要行业领域的应用安全指南，形成清晰的安全应用路径，释放行业应用潜力。
4.2.3 加大人工智能安全人才培养力度。推进人工智能安全课程体系、培
养体系建设，形成从基础教育到高等教育的完整培养链条。加强人工智能安全设计、开发、治理人才培养，支持培养人工智能安全前沿基础领域顶尖人才，鼓励开展人工智能驱动的主动防御等技术研究，壮大无人驾驶、智慧医疗、类脑智能、脑机接口等重点、前沿领域的安全人才队伍。
4.3 构建柔性、动态、可控的沙箱监管环境
4.3.1 建立行业分类与风险分级相结合的沙箱监管规则。明确沙箱监管适
用对象、测试范围、权责关系和退出条件。针对金融、教育、广播电视、卫生健康等不同行业，分别制定入箱标准与测试要求。结合具体项目的风险等级，采取不同强度的监测和干预措施。
4.3.2 实施动态测试和弹性准入。根据技术迭代和测试进展，及时调整测
试期限、测试范围和应用场景，将实时监测、阶段性评估和规则调整贯穿测试全过程。以技术创新性、风险可控性和社会价值性作为主要准入标准，向初创企业、中小微企业和公共服务项目适当倾斜。
4.3.3 探索规范责任豁免制度。对沙箱测试中无主观过错且风险处于可
控范围内的行为，探索责任豁免机制。对危害国家安全、侵犯人身权益、造成重大损害或者故意实施的违法行为，不因进入沙箱而免除依法应当承担的责任。
4.3.4 加强数据资源保障和成果转化。建立沙箱测试数据共享平台，整合
政务数据和行业公共数据，为入箱企业提供合规测试数据等支持。完善测试结果证明和跨部门认可规则，推动沙箱测试结果与后续程序衔接，避免重复测试。
4.4 强化人工智能安全管理举措
4.4.1 实施应用分类及安全风险分级管理。根据功能、性能、应用场景等，
对人工智能应用进行分类。在此基础上，提出具有共识的安全风险分类分级原则（附件1），从应用场景、智能化水平、应用规模等维度入手，对安全风险进行科学评价分级，进而采取针对性、差异化安全防范措施。对在关键信息基础设施应用的人工智能系统进行登记备案，要求其具备与安全需求相匹配的安全防护能力。建立智能体风险管理框架，系统分析智能体的安全风险，研究提出安全风险防范措施和应对建议（附件2）。
4.4.2 推广人工智能生成合成内容可追溯管理。在全球范围内推广基于内
容标识的人工智能生成合成内容溯源管理范式，总结梳理已有实践的成功做法经验，按照显式、隐式等标识要求，全面覆盖制作源头、传播路径、分发渠道等关键环节，便于用户识别判断信息来源及真实性。
4.4.3 加强人工智能研发应用安全管理。持续提升算法可靠性、可信度、
透明度、容错性、隐私保护、价值观对齐等内生安全能力，利用对抗测试等技术评估改进模型鲁棒性，降低模型算法潜在偏见，确保价值观、伦理风险可控，避免人工智能系统意外决策产生恶意行为。建立覆盖模型全生命周期的安全治理体系，防范技术滥用。
4.4.4 强化开源生态安全和供应链安全管理。在培育发展开源创新生态的
同时，同步提升开源生态安全能力。鼓励支持训练推理框架、软件工具、关键组件、评测基准等全方位的人工智能技术开源，进一步提高开源模型透明度。
推动开源模型提供方、开源社区共同完善开源规则，强化面向模型下载用户的安全责任、风险隐患告知责任与义务，明确开源模型下载使用的“禁止性”行为，防范模型滥用或恶意使用。持续推进人工智能芯片、框架、软件开放供应链生态建设，增强产品服务供应多样性，保障供应链安全稳定。
4.4.5 共享人工智能安全风险信息。跟踪分析人工智能技术、产品和服务
的安全漏洞、缺陷、风险和安全事件，建设人工智能漏洞信息库，建立覆盖研发者、服务提供者和专业技术机构的风险信息共享机制。探索建立相关国际合作机制，协同防范应对人工智能安全风险跨域、规模化扩散传播。
4.4.6 完善人工智能驱动的网络安全防护体系。利用人工智能加速代码审
计、漏洞挖掘与修复、攻击检测，推动网络安全从被动防御转向预测性主动防御。推动人工智能安全能力普惠发展和安全可控应用，以可预测方式安全执行实时变更，实现网络漏洞、攻击威胁、安全事件的自动化发现与全流程自动化处置。
4.5 深化人工智能安全治理共识
4.5.1 增进协同应对人工智能失控风险的共识。加强人工智能最终用户、
用途管理，防止人工智能系统被滥用。推广涵盖技术、伦理、管理多维度的可信人工智能基本准则，促进国际社会形成广泛共识（附件3）。开发者定期进行测试，判断模型是否可能带来潜在技术失控风险。
4.5.2 提升全社会的人工智能安全意识。面向政府、企业、社会公用事业
单位加强人工智能安全规范应用的教育培训。结合互动平台、开放课程与社区科普活动，加强人工智能安全风险及防范应对知识的宣传，全面提高全社会人工智能安全意识，使政府、行业与公众能准确认识人工智能的技术局限。
4.5.3 促进人工智能安全治理国际交流合作。支持联合国发挥主渠道作用，
深入参与联合国国际人工智能科学小组和全球人工智能治理对话机制。发挥世界人工智能合作组织等开放性国际交流合作平台作用，推进APEC、G20、上合组织、金砖国家等多边机制下的人工智能领域合作，加强与“一带一路”国家、“全球南方”国家合作，增强发展中国家在人工智能全球治理中的代表性和发言权，推进《人工智能全球治理行动计划》。建立必要的危机管控和应急响应机制，防范和打击恐怖主义、极端势力和跨国有组织犯罪集团对人工智能技术的滥用恶用。
5.1 人工智能模型算法研发的安全指引
5.1.1 在设计算法规则、模型及智能体框架等环节，提升算法可靠性、可
信度、透明度、容错性、隐私保护等内生安全能力。设计有效、可靠的对齐算法，避免潜在偏见、歧视等价值观风险。
5.1.2 确保训练环境安全，包括网络安全配置和数据加密。对使用的开发
框架、代码等进行安全审计，识别和修复潜在安全漏洞。
5.1.3 构建安全的训练数据集，规范数据来源管理，对训练数据特别是合
成数据进行质量和安全性评估，采用数据清洗、安全审核等方法，过滤训练数据中的错误、违法不良内容，确保来源清晰、内容合规。
5.1.4 规范训练数据标注流程，采用交叉标注、结果审计等质量控制方法，
提升标注准确性和可靠性，降低个体差异和个人偏见对标注质量的影响。
5.1.5 重视数据安全和个人信息保护，尊重知识产权和版权。建立完善的
数据安全管理制度，遵循正当合法必要原则收集、使用和处理个人信息，对涉及个人信息的数据实施去标识化等脱敏处理。加强数据安全防护技术能力，防范数据泄露、流失、扩散、侵权等风险。
5.1.6 加强模型训练过程中的安全性验证，在模型训练及迭代过程中，对
模型的安全边界、鲁棒性及价值观对齐效果进行持续校验。
5.1.7 定期开展安全测试评估，制定风险分类分级测评与优化机制，测试
前明确测试目标、范围和安全维度，构建多样化的测试数据集，涵盖各种应用场景，对智能体自主行为、工具调用等能力开展专项测评，并制定各类风险的针对性模型优化策略。
5.1.8 制定明确的测试规则和方法，包括人工测试、自动测试、混合测试等，
利用沙箱仿真等技术对模型进行充分测试，对多模态、具身智能等复杂应用场景加强仿真测试。用于商业化用途的研发者，应形成详细的测试报告，分析安全问题并提出改进方案。
5.1.9 评估人工智能模型算法对外界干扰的容忍程度，以适用范围、注意
事项或使用禁忌的形式告知服务提供者和其他研发者。
5.1.10 定期披露人工智能模型算法的安全评估、审计与异常处置情况。
5.1.11 做好人工智能模型、关键配置及所用数据集的版本管理，商用版
本应可以回退到以前的版本。
5.1.12 合理设定智能体行为边界，对可能造成严重损害的操作配备人工
审批机制，加强对工具调用和外部交互的安全约束。
5.1.13 基于基础大模型进行二次开发的，开展模型及上游组件安全缺陷
评估，防范上游缺陷向下游模型和应用扩散。
5.1.14 基于开源模型算法进行二次开发的研发者，在尊重研发者智力投
入的基础上，遵循相应开源协议规范，从官方渠道或主流开源社区获取模型和组件，并开展来源、完整性校验。
5.1.15 积极参与开源社区建设，推动人工智能安全治理技术创新和实
践，为服务提供者和使用者提供合规治理解决方案、治理工具、最佳实践等支撑。
5.2 人工智能应用建设部署的安全指引
5.2.1 评估目标场景应用人工智能技术的必要性及使用后的长期和潜在影
响，结合其应用场景重要性、智能化水平、应用规模等进行风险分级，参考风险等级开展安全评估和定期审计。
5.2.2 增强供应链安全保障能力，建设部署所需模型文件、框架工具、第
三方库及智能体依赖的工具、插件等，应从相关厂商官方网站或其在主流开源社区的官方账号下获取，选取成熟稳定的版本，并进行来源、完整性校验和安全测试。
5.2.3 对建设部署所需的软硬件设备、第三方工具及智能体依赖的工具、
插件等进行安全检测，确保不含未修复且可被利用的已知漏洞。建立漏洞追溯机制，跟踪相关软硬件安全漏洞、缺陷信息，防范通过供应链植入后门。
5.2.4 在访问控制层面，准确安装配置软件、运行环境参数、功能模块调
用策略，禁用非必要的网络端口和功能服务，重点检查默认配置、默认口令，及时修复安全风险。
5.2.5 在应用管理层面，对人机交互接口和API接口进行用户身份识别
及权限控制，最小化设置访问权限，根据业务场景限制接口调用频率，对一般用户禁用高风险操作，对恶意行为用户建立暂停服务、阻断访问等管控能力。
5.2.6 全面了解应用场景的数据安全和隐私保护要求，合理限制对数据的
访问权限，防止超范围使用数据，制定数据备份和恢复计划，并定期对数据处理流程进行检查。
5.2.7 采用安全护栏等技术手段，识别拦截违法不良内容、提示词注入攻
击等，防范输出内容超出业务范围，加强对检索增强生成、联网交互等方式获取的外部内容核验。
5.2.8 对采用检索增强生成、知识库问答等方式构建的人工智能应用，加
强外挂知识库和外部知识来源管理，防范知识库投毒、内容污染，定期检测和清理不当内容，确保生成内容来源可溯、真实可靠。
5.2.9 部署具身智能、人形机器人等应用时，根据作业场景开展安全评估，
配备故障自检、碰撞防护、紧急停止等安全机制，并制定相应的安全操作规程。
5.3 人工智能应用运行管理的安全指引
5.3.1 建立完善的人工智能应用安全管理和监督机制，明确责任方，健全
人工复核机制，保障在关键场景应用中人工智能应用决策透明、可控，并提供清晰的决策依据，确保人工智能应用在人类授权和控制下运行。
5.3.2 严格管理人工智能应用权限，通过最小权限原则等手段强化内部安
全管理，增强账户安全性，在处理敏感数据时使用加密技术等保护措施。
5.3.3 建立人工智能应用运行监测能力和安全事件应急预案，设置其关键
指标的安全预警阈值，能够及时发现安全事件，并具备切换到人工或传统系统等的能力。定期开展应急演练，并根据行业安全事件、重要舆情及监管变化，及时优化应急策略，应对不断变化的安全风险。
5.3.4 在人工智能生成内容内添加显式或隐式标识，做好生成合成内容提
示和溯源管理。在政务信息公开、司法取证等场景部署深度伪造检测工具，对疑似大模型生成的信息实施来源核验与交叉验证。
5.3.5 制定信息内容交互行为规范、安全运营机制、投诉反馈机制、技术防护
能力等，防范人工智能应用被不当或恶意利用生成、发布、传播虚假违法信息风险。
5.3.6 记录人工智能应用运行日志，包括系统行为、用户行为等，日志留
存时间不少于6个月，并定期对日志记录进行审计。
5.3.7 建立健全实时风险监控管理机制，持续跟踪运行中的安全风险。
5.3.8 提升应用的透明度、公平性，公开人工智能应用的能力、局限性、
适用人群、场景。
5.3.9 向使用者说明人工智能应用的目标实现度和偏离度，在人工智能决
策有重大影响时，做好解释说明。
5.3.10 维护使用者的知情权、选择权、监督权等合法权益，在合同或服
务协议中，以使用者易于理解的方式，告知人工智能应用的适用范围、注意事项、使用禁忌，支持使用者知情选择、审慎使用。
5.3.11 在告知同意、服务协议等文件中，支持使用者行使人类监督和控制
权利。
5.3.12 明确具体应用中的数据归属及算法缺陷的责任主体，确保责任链
条可追溯。
5.3.13 落实数据安全管理责任，评估人工智能应用中存在的数据泄露、
个人隐私泄露、违规收集使用个人信息等风险，建立数据全生命周期安全管理机制，加强用户交互数据、检索增强生成数据等方面的安全防护，提升数据防泄漏、防窃取保障能力。
5.3.14 评估人工智能应用在面临故障、攻击等异常条件下抵御或克服不
利条件的能力，防范出现意外结果和行为错误，确保最低限度有效功能。
5.3.15 加强从业人员安全意识和安全能力培训，提高人工智能安全风险
防范意识。
5.3.16 在合同或服务协议中明确，一旦发现不符合使用意图和说明限制
的误用、滥用，提供者有权采取纠正措施、暂停或提前终止服务。
5.3.17 面向未成年人、老年人及特殊群体提供人工智能服务，在产品功能
设计、服务模式等环节，充分考虑可用性和安全性，设置防沉迷、防过度依赖机制。
5.3.18 建立人工智能安全事件发现、报告和处置机制，发生重大安全事件、
造成人身财产损失或影响社会稳定的，依法依规及时向有关主管部门报告，并向受影响用户告知，做好事件溯源和整改。
5.3.19 对人工智能模型及应用进行更新、升级、微调或调整功能权限的，
对重要变更进行安全评估，确认变更后安全能力不下降，并保留回退能力，必要时及时回退至前版本。
5.3.20 提供拟人化互动服务的，健全用户身份提醒、使用时长提醒和危
机干预机制，防止过度迎合用户、诱导情感依赖或实施情感操纵，保护未成年人身心健康和个人信息安全。
5.4 人工智能应用访问使用的安全指引
5.4.1 提高对人工智能应用安全风险的认识，选择信誉良好的人工智能
应用。
5.4.2 在使用前仔细阅读产品合同或服务协议，了解应用的功能、限制和
隐私政策，准确认知人工智能应用做出判断决策的局限性，合理设定使用预期。
5.4.3 提高个人信息保护意识，避免在不必要的情况下输入敏感信息，在
使用具备联网或记忆功能的智能体应用时审慎披露个人信息。
5.4.4 了解人工智能应用的数据处理方式和权限获取情况，避免使用不符
合隐私保护原则的产品。
5.4.5 在使用人工智能应用时，关注网络安全风险，避免人工智能应用成
为网络攻击的目标。
5.4.6 注意人工智能应用对儿童和青少年的影响，合理控制使用时长，预
防沉迷、情感依赖及过度使用。
5.4.7 根据生成合成内容标识识别人工智能生成内容，对“深伪”内容保持
警惕，不轻信、不传播未经核实的可疑信息，增强防范网络诈骗和虚假信息的意识。
人工智能安全风险的评价涉及诸多因素。可从应用场景重要性、智能化水平、应用规模等维度，对人工智能安全风险进行评价分级，进而针对性采取安全防范措施。
一、主要分级要素
1.应用场景应用场景反映人工智能在实际使用中具体的运行环境、目标需求等，具体涉及应用目的、行业领域、使用环境、服务对象及可能涉及的社会、经济、安全影响等要素。
2.智能化水平智能化水平反映人工智能系统处理复杂任务、满足应用需求、独立自主运行等方面的能力。低智能化水平下，系统能力较低，仅可作为辅助建议，决策需要人工介入。随着智能化水平提高，人工介入频次和范围不断减小。高智能化水平下，无需人工进行干预，系统全流程自主决策运行。
3.应用规模应用规模反映人工智能系统或服务的覆盖范围及影响广度。用户范围有限或应用领域单一的系统，如企业内部智能工具、区域性服务等，其风险影响相对可控。用户数量达到一定规模，或深度嵌入关键行业领域的业务流程，如智能辅助驾驶、城市运行管理、工业生产调度、行业级金融风控模型等，其安全风险可能快速扩散并引发系统性影响。
二、风险级别
1.低安全风险具有轻微威胁性且影响范围很小，对国家安全、社会稳定和公民权益的安全基本无影响，潜在危害轻微。
2.一般安全风险具有一定威胁性但影响范围有限，对国家安全、社会稳定和公民权益的安全影响较小，潜在危害可控。
3.较大安全风险具有明显威胁性和局部性影响特征，对国家安全、社会稳定和公民权益可能带来较大影响，产生局部社会面危害。
4.重大安全风险具有重大威胁性和区域性影响特征，对国家安全、社会稳定和公民权益可能带来严重影响，产生重大社会面危害。
5.特别重大安全风险具有灾难性和系统性威胁特征，对国家安全、社会稳定和公民权益造成颠覆性或不可逆转的特别严重的影响。
三、风险定级
推动人工智能应用安全分类分级国家标准制定工作。行业领域主管（监管）部门参照国家标准制定行业标准规范、实施细则，并推动本行业领域人工智能应用安全相关分类分级工作。
1.分类分级国家标准通过人工智能应用安全风险分类分级标准，明确分类分级基本流程，以及应用场景、智能化水平、应用规模等分级要素，并给出行业领域细化行业指南的步骤方法，为行业领域开展风险分类分级提供参考。
2.分类分级行业细则行业领域主管（监管）部门结合行业领域、使用环境、服务对象及可能涉及的社会、经济、安全影响等，制定本行业本领域人工智能安全分类分级标准规范：
3.风险分类分级行业领域主管（监管）部门根据本行业、本领域的人工智能安全风险分类分级标准规范，组织本行业、本领域人工智能有关单位开展分类分级工作，指导有关单位准确识别、及时防范化解重大安全风险和较大安全风险。
智能体作为人工智能技术演进的重要形态，实现了人工智能从“回答问题”向“执行任务”的本质跨越，为经济社会高质量发展注入了强劲动力。但智能体的高自主性、高权限带来隐私泄露、越权操作、行为失控等安全风险，需建立有效的防范措施。
本框架围绕智能体涉及的大模型、外围工具、记忆、交互协议、技能（skills）等方面的安全风险，研究提出风险防范措施，供智能体应用研发者、提供者、使用者参考。
一、智能体安全风险
智能体的安全风险贯穿设计研发、安装部署、指令输入、推理规划、调用执行、记忆存储、结果输出、停用下线等全生命周期各环节。
1.设计研发风险
2. 安装部署风险
3. 指令输入风险
4. 推理规划风险
5. 调用执行风险
6. 记忆存储风险
7. 结果输出风险
8. 停用下线风险
9. 其他安全风险
二、防范措施
1.风险预防前置在智能体投入使用之前，通过前瞻性风险评估、制定安全控制策略等，及时排查清除潜在安全隐患，避免智能体安全事件发生或风险扩大。
2.身份与权限管理为智能体配备唯一身份标识及对应的身份凭证，按需分配任务权限，强化各类访问凭证管理。
3. 加强人工审批在关键决策节点设置强制人工审批环节，防范高风险操作
4.供应链与工具管理智能体依赖的工具、插件、技能等需经过安全性与完整性验证，防止非预期行为和供应链投毒风险。
5.运行时动态管理智能体使用过程中，设置多层检测与拦截点，防范因单个环节出现异常造成严重后果。
确需在记忆中留存敏感个人信息的，采取加密、访问控制和最短保存期限等专门保护措施。
6. 持续监测与审计开展智能体全链路安全监测，确保智能体的行为可感知、可追溯、可审计
7.停用安全管理建立规范化的下线终止、数据处置、运行环境回收等管控机制，保障智能体下线全过程可管控、可溯源，无遗留隐患。
智能体的认知智能与行动智能仍处于快速跃升迭代阶段，其新型风险隐患对网络安全带来持续挑战。智能体的风险管理框架将持续升级完善，为智能体应用研发者、提供者、使用者提供进一步参考。
落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，共同防范应对人工智能技术失控风险，促进人工智能技术在世界范围内可信应用，提出可信人工智能基本准则如下：
1.人类最终控制。在人工智能系统关键环节设置人类控制机制，使最终裁决权归属人类，通过设计安全控制阈值、设置安全终止开关、预留人工干预有效窗口等措施，确保人工智能系统能够实现人类预期目标、不会脱离人类监督运行失控。
2.尊重国家主权。研发设计人工智能产品和提供人工智能服务时，应尊重所在国主权，严格遵守产品和服务运营所在地的法律，并依法接受监管，不得借助人工智能产品或服务干涉他国内政、社会制度及社会秩序。应尊重各国数字主权，各国有权基于国情自主选择数智技术发展路径、合作伙伴及相关产品和服务，不得胁迫他国选边站队。
3.价值观对齐。将和平、发展、公平、正义、民主、自由的全人类共同价值深度融入人工智能系统全生命周期。
4.提升系统透明度。推动人工智能系统在功能目标、运行逻辑、模型使用、数据来源、决策依据等关键环节的必要披露，增强社会公众信任基础。
5.促进可客观验证。研究构建客观、公正、透明的测试与认证机制，推动人工智能系统的功能、性能、安全特性、决策链条等方面可被技术验证。
6.强化安全防护。在人工智能系统设计和部署过程中，强化风险建模、安全测试和防护机制建设，进行全生命周期审计与记录，防止系统因模型缺陷、外部攻击和技术滥用等问题偏离预期目标。
7.前瞻预防应对。通过前瞻性风险识别评估，积极预防和动态监测，加强应急响应，避免人工智能失控事件发生和扩大。加强模型安全风险评测，推动评测方法、基准的国际互认。
8.全球协同共治。支持联合国发挥主渠道作用，发挥世界人工智能合作组织等平台作用，推动多边和多方跨领域协同共治，反对以小圈子治理取代全球治理，加强面向发展中国家的能力建设，促进各国政府、企业、学术机构与社会公众形成合力，以多层级、多领域的治理机制推动人工智能健康发展。
文章来源：中国科学技术法学会
