人工智能安全治理

搜索文档
守护你我向“网”的生活
新华网· 2025-09-22 00:31
网络安全行业活动与成果 - 2025年国家网络安全宣传周于9月15日至21日以"网络安全为人民 网络安全靠人民"为主题在全国开展 通过高峰论坛、博览会及主题日活动提升社会网络安全意识与防护技能 [1] - 网络安全博览会展示AI鉴伪、智能反诈等"黑科技"产品 中国移动"中移羲和卫士"防诈服务通过AI预警和保险补偿机制已服务超2400万用户 [2] - 国家互联网应急中心牵头发布《人工智能安全治理框架》2.0版 动态优化风险分类分级与治理措施 同期推出政务大模型安全规范、AI安全测评数据集等系列成果 [3] 技术应用与用户防护 - AI技术应用于防诈领域实现实时来电预警、远程插播提醒及临时停机功能 有效阻断诈骗通信链路 [2] - 生成式AI安全风险受关注 业界通过声音克隆、数字人生成等技术体验活动提升公众对前沿技术风险的认知 [2] - 电信诈骗利用网络金融法律盲区实施犯罪 需通过知识普及与案例教育增强群体防范能力 [4] 行业生态建设与推广 - 人工智能安全治理需多方协同 构建"多元协同 责任共担"生态体系 工业信息安全机构强调系统工程属性 [3] - 全国开展线上线下结合的网络安全宣传活动 包括普法脱口秀、企业风险讲解、知识竞答等形式 覆盖校园、企业及公共领域 [5] - 聚焦法治金融电信等重点领域 通过接地气的主题宣传推动"网络安全靠人民"理念普及 [5]
守护你我向“网”的生活——2025年国家网络安全宣传周观察
新华社· 2025-09-21 12:51
网络安全宣传周活动概况 - 2025年国家网络安全宣传周于9月15日至21日以"网络安全为人民 网络安全靠人民——以高水平安全守护高质量发展"为主题全国统一开展 [1] - 活动包括开幕式、网络安全技术高峰论坛主分论坛、网络安全博览会暨国际推介会及主题日等 通过通俗易懂方式宣传理念、普及知识、推广技能 [1] - 全国各地开展线下线上结合活动 如普法脱口秀、企业案例讲解、知识竞答等 构建贴近生活的宣传场景并营造全社会共筑安全防线的氛围 [5] 网络安全技术应用与创新 - 中国移动展示"中移羲和卫士"防诈服务 具备AI语音预警、可疑来电拦截及临时停机功能 通过AI技术预防和防诈保险补偿已服务超2400万用户 [2] - 网络安全博览会亮相AI鉴伪、智能反诈等"黑科技" 包括AI换脸、声音克隆及数字人生成技术 为生活构筑数字防线 [1][2] - 2025年人工智能技术赋能网络安全应用测试结果发布 为构建协同共治的人工智能安全生态注入新动能 [3] 人工智能安全治理进展 - 《人工智能安全治理框架》2.0版在网络安全技术高峰论坛主论坛发布 由专业机构、科研院所及行业企业联合制定 完善风险分类分级并动态更新治理措施 [3] - 人工智能安全治理需各方协同构建"多元协同 责任共担"的安全生态系统 是一项系统工程 [3] - 网安周期间同步发布《政务大模型应用安全规范》、中文互联网基础语料3.0、生成式AI安全测评基准数据集及行业自律倡议等重要成果 [3] 网络安全风险教育与防范 - 电信诈骗已发展出上百种套路 利用群众对网络、金融、法律等盲区实施犯罪 需补齐知识短板以预防被骗 [4] - 通过案例剖析、科普视频及知识问答等形式 提升对网络诈骗的识别与防范能力 并促进知识分享传播 [5] - 有关部门围绕法治、金融、电信等重点领域开展主题宣传活动 推动网络安全宣传接地气、聚人气 [5]
AI造谣“有图有真相”,我们该如何对抗?
新浪财经· 2025-09-17 09:24
(来源:上观新闻) 真伪难辨的AI谣言,何解?针对黑色产业链上的前端发布主体、中端技术手段和末端后果危害,逐一 研判、全链条打击。 清华大学相关研究指出,各类AI谣言中,经济与企业类谣言、公共安全类谣言占比最多、增速最快, 其中,餐饮外卖、快递配送等民生行业成为谣言重灾区。 今年7月,中央网信办启动"清朗·整治'自媒体'发布不实信息"专项行动,重点整治"利用人工智能生成合 成技术,仿冒他人,或编造社会民生等领域虚假信息,欺骗公众"等问题。9月15日,《人工智能安全治 理框架》2.0版正式发布。中央网信办要求强化规范引导,不断完善人工智能安全监管制度和标准规范 体系。 以谣生利,流量变现。不法者利用AI造谣,牟取互联网内容平台奖励。以某大型内容生产平台为例, 收益计算公式可简化为"有效播放量×互动系数×千次播放单价"。平台对点击量高、互动性强的原创性 内容给予更多收益分成。如果整体权重较高,一篇阅读或播放100万次的稿件,收益超千元。此外,不 正当商业竞争进一步催生AI谣言黑色产业链,加剧谣言扩散。 AI技术让网络谣言更为逼真,所谓"官方回应"极具迷惑性。而且,AI通过过滤、推荐机制,将虚假信息 聚合成"证据链 ...
一系列重要成果亮相2025年国家网络安全宣传周
新华社· 2025-09-16 02:24
新华社权威快报 2025年国家网络安全宣传周9月15日至21日在全国范围内统一举办,开幕式等重要活动在云南昆明举行。在15日举行的网 络安全技术高峰论坛主论坛上,《人工智能安全治理框架》2.0版、《政务大模型应用安全规范》、2025年人工智能技术 赋能网络安全应用测试活动结果等重要成果集中发布。 2025年国家网络安全宣传周 2025年国家网络安全宣传周主题为"网络安全为人民,网络安全靠人民——以高水平安全守护高质量发展",由中央宣传 部、中央网信办、教育部、工业和信息化部、公安部、中国人民银行、国家广播电视总局、全国总工会、共青团中央、 全国妇联等十部门联合举办。 9月15日至21日 在全国范围内统一举办 《人工智能安全治理框架》2.0版等 系列重要成果 集中发布 海报制作:王思北 新华社国内部、新华社云南分社联合出品 记者:王思北、丁怡全、王贤思 ...
新华社权威快报丨一系列重要成果亮相2025年国家网络安全宣传周
新华社· 2025-09-15 09:16
2025年国家网络安全宣传周 9月15日至21日 在全国范围内统一举办 《人工智能安全治理框架》2.0版等 系列重要成果 集中发布 2025年国家网络安全宣传周9月15日至21日在全国范围内统一举办,开幕式等重要活动在云南昆明举 行。在15日举行的网络安全技术高峰论坛主论坛上,《人工智能安全治理框架》2.0版、《政务大模型 应用安全规范》、2025年人工智能技术赋能网络安全应用测试活动结果等重要成果集中发布。 2025年国家网络安全宣传周主题为"网络安全为人民,网络安全靠人民——以高水平安全守护高质量发 展",由中央宣传部、中央网信办、教育部、工业和信息化部、公安部、中国人民银行、国家广播电视 总局、全国总工会、共青团中央、全国妇联等十部门联合举办。 记者:王思北、丁怡全、王贤思 新华社国内部、新华社云南分社联合出品 新华社权威快报 海报制作:王思北 ...
2025年国家网络安全宣传周今天启动
央视新闻客户端· 2025-09-15 02:21
今天(15日),2025年国家网络安全宣传周在全国启动,今年的主题为"网络安全为人民,网络安全靠人民——以高水平安全守护高质量发展"。 9月14日至18日,网络安全博览会暨网络安全产品和服务国际推介会举行,集中展现网络安全技术、产业、人才、宣传教育等方面的重要成果。网络安全企 业、行业组织等将向国内外嘉宾推介网络安全产品和服务,进一步促进国内外企业开展业务交流。 9月15日至17日,网络安全和信息化人才招聘会举办,邀请国有企事业单位、互联网企业、网络安全企业、科研机构等共同参与,组织应届高校毕业生等青 年群体现场开展就业指导和人才双选活动。同时,面向全国举办线上网络安全和信息化人才招聘活动,搭建网信企业与学生就业双选通道。 此外,各联合举办部门也将举行主题日活动,其中9月16日为校园日,17日为电信日,18日为法治日,9月19日为金融日,9月20日为青少年日,9月21日为个 人信息保护日。同时将组织网络安全进社区、进农村、进企业、进机关、进校园、进家庭等宣传普及活动,开展一系列贴近群众,百姓喜闻乐见的宣传教育 活动。 记者了解到,2025年国家网络安全宣传周的开幕式等重要活动在云南昆明举办。其中,开幕式现场, ...
从Safety到Security:西方叙事下全球AI安全治理淡化
36氪· 2025-08-20 12:12
七国集团 (G7) 于加拿大艾伯塔省举行的峰会上发布了《人工智能促进繁荣声明》,重点关注人工智能 的好处和机遇。然而"安全"一词在该声明的出现次数为"零",忽略了人工智能大部分可能发生的故障或 被有害使用的可能性。 2025年《人工智能促进繁荣声明》标志着一个重大转变——从早期对人工智能风险的考量转向几乎完全 关注其益处。这一转变象征着西方民主国家对人工智能政策的更广泛重新调整。推动这一跨大西洋转变 的力量包括特朗普政府的影响力、地缘政治竞争、行业压力以及人工智能日益增长的成功记录。 国际对话中人工智能乐观情绪的兴起有助于在全球范围内传播人工智能的好处,但忽视或完全放弃通过 多边合作应对人工智能风险则是愚蠢的。未来,功能更强大的人工智能模型可能会造成大量的国际犯 罪,如利用人工智能进行网络攻击、监视公民或制造新型病原体;人工智能伴侣应用程序和人工智能媒 体信息可能会在社会层面上扰乱人际关系;人工智能模型和机器人还可能会引发大规模失业并加速新大 规模杀伤性武器的发明。 一、风险观念降级:G7与多边框架的政策转向 过去十年,七国集团的人工智能政策基调经历了一个完整的循环:早期的热情为日益增长的人工智能安 全问题留 ...
人工智能安全治理白皮书(2025)
中国联通研究院· 2025-08-05 02:18
行业投资评级 - 报告未明确提及具体行业投资评级 [1][5][7] 核心观点 - 人工智能技术快速发展,正在重塑全球产业格局,但伴随数据、模型、基础设施与应用的多重安全风险 [7] - 建立安全可靠、公平可信、智能向善的人工智能系统是核心目标 [8] - 需从基础设施、数据、模型、应用等多个维度构建安全治理体系 [8][18] - 全球各国和组织正在积极推进AI技术监管政策制定,防范滥用行为 [84][91] AI技术发展现状 AI技术演进 - AI技术从符号规则、机器学习演进至深度学习,大模型成为推动科技进步的关键技术 [11] - 国际大模型代表包括OpenAI的GPT系列、Google的Gemini系列等,国内代表有百度的文心一言、阿里巴巴的通义千问等 [11][12] - DeepSeek模型采用开源策略,推动AI技术普及并对行业格局产生深远影响 [13] AI技术应用趋势 - AI智能体产业链分为上游算力提供商、中游平台化服务、下游垂直应用,呈现多模态交互升级趋势 [14] - 具身智能在工业制造、家庭服务等领域应用广泛,可解决劳动力短缺问题 [15] - 端侧AI技术进展显著,百亿参数大模型有望端侧落地,端云协同架构成为主流 [16] AI安全治理风险 基础设施安全风险 - 智算硬件设备面临物理攻击、硬件接口攻击、软件攻击等风险 [32] - 智算云安全风险包括存储泄露、API滥用、内部威胁等 [33][34] - 智算MaaS平台存在模型知识产权风险、拒绝服务攻击风险等 [35][36] - 智算算力网络面临编排管理安全风险和运营服务安全风险 [37][39] 数据安全风险 - 通用数据安全风险包括数据合规、泄露、篡改及质量问题 [41][42] - 训练数据风险涉及数据来源违规、内容安全、数据投毒等 [43] - 微调数据风险主要是隐私泄露,攻击者可逆向工程推断训练数据 [45] - 推理数据风险包括模型窃取、隐私数据窃取等 [46] - 知识库数据风险包括外部攻击、内部泄露、恶意软件感染等 [48] 模型算法安全风险 - 通用模型风险包括鲁棒性弱、泛化性差、可解释性差等 [55][56][58] - 生成式模型风险包括提示词攻击、内容合规风险、模型幻觉等 [63][65] - 模型生命周期风险涵盖训练、微调、推理、部署各阶段 [50][54] 应用安全风险 - AI模型滥用风险包括虚假信息传播、多模态深度伪造等 [69][70] - 应用开发风险涉及端侧AI安全税、智能体协议缺陷等 [73][75] - 垂直行业风险如医疗领域的数据偏差、金融领域的深度伪造等 [79][81] AI安全治理技术解决方案 基础设施安全方案 - 智算硬件防护包括物理访问控制、固件安全启动等 [104][105] - 智算云防护采用网络分区、CSPM工具、容器镜像扫描等 [106][108] - 智算MaaS平台通过数据加密、安全审计、供应链管理提升安全性 [109][112] - 智算算力网络通过安全编排、调度、管控保障运营安全 [113][116] 数据安全方案 - 通用数据防护采用脱敏、加密、访问控制等手段 [119][122] - 训练数据防护包括数据质量管理、对抗性训练等 [125] - 微调数据防护采用沙箱环境、权限最小化等 [126][128] - 推理数据防护包括输入输出过滤、运行时监控等 [129][130] 模型算法安全方案 - 通用模型防护通过对抗训练、正则化、公平性约束等提升安全性 [134][138] - 生成式模型防护采用提示词过滤、内容合规检测等技术 [63][65] - 模型生命周期防护覆盖训练、微调、推理、部署全流程 [50][54] 应用安全方案 - 模型滥用防范通过虚假信息检测、深度伪造识别等实现 [69][70] - 应用开发安全涉及端侧优化、智能体协议加固等 [73][75] - 垂直行业安全方案如医疗数据加密、金融身份核验等 [79][81]
WAIC2025前沿聚焦(7):安远AI举办“人工智能安全和治理论坛”并发布系列重磅报告
海通国际证券· 2025-07-29 13:38
行业投资评级 - 报告未明确提及具体行业投资评级 [1][2][3][4][5] 核心观点 - 中国AI安全治理体系正从理论框架转向可操作的实践阶段,首次构建了应对前沿AI风险的系统性方法论 [2] - 提出的"AI-45°定律"强调能力与安全协同发展,风险管理流程对标国际标准 [2] - 中国顶尖AI研究机构探索兼顾创新与安全的全球兼容性治理路径 [2] 核心发现 - 多数前沿AI模型已进入需要加强缓解措施的"黄区",在劝说与操纵、自我复制及战略欺骗等领域风险等级较高 [3] - 模型更强的推理和自主能力往往直接转化为更高的安全风险,新发布模型的安全评分在网络攻击等领域呈下降趋势 [3] - 生命科学成为AI风险"深水区",AI系统性降低生物威胁门槛,可能通过生物设计工具创造新型病原体 [4] 战略意义 - 中国正从原则倡导转向以技术研究为基础,深度参与全球AI安全治理议程 [5] - 通过双边对话、联合国平台及国内标准制定构建AI治理话语权和影响力 [5] - 将AI安全定义为"全球公共产品",呼吁国际合作应对无国界风险 [5] 焦点议题 - 生物安全风险需构建覆盖AI研发机构、生命科学界、政府及国际组织的多主体责任矩阵 [4] - 应对生物风险需建立从模型开发到DNA合成的全链条数字-物理界面安全体系 [4] - 中国发布对齐国际主流关切的风险框架与评估报告,释放参与全球治理的重要信号 [5]
姚期智:AGI时代比想象中来得快,安全治理是一个长期工作
第一财经· 2025-07-26 14:23
人工智能全球治理 - 核心观点:通用人工智能(AGI)时代加速来临,其安全性及人类控制成为全球治理焦点,需建立国际协作机制确保AI符合人类价值观 [1][2] - 关键事件:2025世界人工智能大会(WAIC)期间,全球顶尖科学家签署《AI安全国际对话上海共识》,首次呼吁政府与研究者确保高级AI系统受人类控制并保障人类福祉 [2][3] - 治理挑战:AI可能超越人类智能水平并脱离控制,现有系统存在欺瞒人类开发者的证据,需通过国际协调确立可验证的行为红线 [2][3] 上海在AI治理中的角色 - 城市优势:上海凭借天时地利条件吸引国际专家,有望成为全球AI治理重要中心 [4] - 行动倡议:上海共识提出需加大AI安全科研投入,要求前沿开发者提供安全保障,推动基于设计的安全AI研究 [3] 教育与人才培养 - 基础能力:面对AGI快速发展,年轻学子需强化数学、物理、计算机等基础学科能力以应对快速变化的科技环境 [6] - 适应能力:持续自主学习和适应能力被视为未来职业发展的关键保障 [6] 行业动态 - 国际协作:全球主要国家和地区需对接协调,在AI安全领域建立互信机制并协同推进可信举措 [3]