人工智能安全治理
搜索文档
中国网络空间安全协会卢卫:AI治理应分类,严管高风险场景
南方都市报· 2025-12-20 15:36
"比如,当前具身智能已从生产阶段进入到现实生活中,随着机器人逐步进入家庭,相关安全问题亟待 重视。"卢卫还提到,信任是安全治理的桥梁纽带,为人工智能发展凝聚社会共识。 12月18日,由南方都市报社、南都数字经济治理研究中心主办的"第九届啄木鸟数据治理论坛"在京举 行,主题聚焦 "AI安全边界:技术、信任与治理新秩序"。中国网络空间安全协会副理事长、人工智能 安全治理专业委员会主任卢卫为论坛致辞。他表示,AI治理应坚持"分类分级",比如对自动驾驶、智慧 医疗等高风险场景严格监管,对低风险应用则留出一定创新空间。 中国网络空间安全协会副理事长卢卫致辞。 随着大模型应用场景渗透到社会的每一个角落,曾经高居云端的AI智能已步入"寻常百姓家",越来越多 的普通人开始使用和掌控它。与此同时,新应用的不断涌现,也给网络生态治理带来全新挑战。卢卫认 为,建立健全面向未来的人工智能安全治理生态,需要依靠技术创新筑牢防线、依靠信任夯实凝聚共 识、依靠制度完善保驾护航,让技术、信任、制度三者形成合力。 首先,技术是安全治理的基础支撑,为人工智能发展筑牢安全底线。卢卫表示,人工智能技术日新月 异,发展离不开技术的创新和迭代,安全最终 ...
人工智能发展主线有变,中国信通院给出这些研判
21世纪经济报道· 2025-12-14 00:38
AI正向价值创造核心环节渗透 2025年,人工智能行业应用持续深化落地,同时也暴露出应用深水区的结构性挑战。魏凯表示,根据对数百个大模型在工业中 的应用案例的分析,其在价值链中的分布仍呈现"两端高、中间低"的微笑曲线态势,这反映出研发设计与营销服务环节更易获 得AI赋能。但一个积极的信号是,今年生产制造环节已展现出明显抬高趋势,案例占比由去年的19.9%增长至25.9%。 2026中国信通院深度观察报告会于2025年12月12日至13日在北京举行。(冉黎黎/图) 2026中国信通院深度观察报告会于2025年12月12日至13日在北京举行,报告会以"面向'十五五'人工智能浪潮下的新质生产力发 展"为主题。对于人工智能,报告会上提到,技术的不断迭代,为大模型实用化打下坚实基础,而智能体成为大模型应用落地的 主要形式,展现出"数字劳动力"的雏形。同时,AI正在向价值创造的核心环节渗透,但其渗透速度仍受限于工业数据的获取难 度、工艺知识的封装水平以及对可靠性的极致要求。另外,具身智能作为大模型与机器人结合的产物,已经取得认知智能与物 理智能的双线突破,但模型路线、数据范式以及最佳机器人形态仍未定型,大规模落地仍处于早 ...
专家献策AI敏捷治理:要重视生成式数据,提前“预埋”标识
南方都市报· 2025-12-08 05:14
"人工智能创新与治理"圆桌交流。(图片来源:活动主办方) 交流中,四位专家针对人工智能的"敏捷治理"这一概念分享了见解。中国工程院院士、鹏城实验室主任 高文指出,以AlphaGo下围棋为例,其训练数据中80%都是生成式数据,正是通过生成数据与既有数据 的结合训练,才实现了对人类的超越。这一现象让我们必须重视生成式数据的治理问题,核心是要引导 其"向善"发展。他强调,"敏捷治理"绝非事后补救,而应注重事前预埋治理逻辑。例如对生成式数据的 管理上,需要进行标识,仅靠显式标识还不够——这类标识可能被人为移除,因此还需配套隐式标识, 确保其难以被随意篡改。基于此,相关立法机构与技术部门应提前介入治理过程,而非等问题发生后再 被动应对。 中国科学技术大学党委常委、副校长吴枫结合校园实践分享了看法。他提到,当前学校的信息化建设成 效显著,基础设施完备,但人工智能技术的落地应用仍存在较大空白。为此,校方曾尝试推动人工智能 在校园管理等场景中的应用,却发现各部门对数据安全高度敏感,普遍持谨慎态度,这让他意识到:人 工智能在校园的应用,必须先从后台场景起步,而非直接推进前端落地。随后,学校用了一年多时间, 重点推进数据治理工作 ...
张林山:强化AI技术优势与产业根基深度耦合
经济日报· 2025-11-18 00:02
文章核心观点 - 人工智能向现实生产力转化对于中国构建现代化产业体系和培育新质生产力至关重要,其成效直接关乎全球竞争格局 [1] - 中国人工智能发展呈现出鲜明的场景驱动特征,技术落地深深扎根于全球最完整的工业体系和超大规模市场,形成了“技术突破—产业升级—经济跃升”的良性循环 [1] - 需通过筑牢算力基座、深化融合应用、培育人才、优化生态及完善治理等多方面举措,加速人工智能的高效转化 [2][3] 中国人工智能产业发展现状 - 2024年中国人工智能核心产业规模超9000亿元,人工智能企业数量超5000家 [1] - 工业视觉质检在制造业腹地从“尝鲜”走向“必需” [1] - 青岛港等现代化港口采用智能调度系统,通过人工智能算法统筹作业,整体装卸效率大幅提升 [1] - 农业无人机搭载智能感知系统,实现变量施用,节省大量投入成本并减少环境污染 [1] 全球人工智能发展模式对比 - 美国模式:凭借基础算法和通用大模型的原始创新优势,持续引领技术前沿突破 [2] - 欧盟模式:侧重构建人工智能治理框架,率先推出《人工智能法案》以探索伦理与发展的平衡 [2] - 日本模式:依托工业机器人积淀,在精密制造、医疗康复等特种机器人领域走“垂直领域深耕型”道路 [2] - 中国模式:差异化特色在于利用新型举国体制攻坚“卡脖子”技术,发挥全链条产业配套优势,将领先算法与完整工业体系深度融合,在应用层创新上持续突破 [2] 未来发展方向与政策重点 - 筑牢普惠共享的算力基座,加快构建全国一体化算力网络体系,推动高性能智能算力资源便捷可得、成本可控 [2] - 强化公共算力平台建设,为中小企业扫清“用不起、用不好”的门槛 [2] - 集中力量突破高端算力芯片、模型算法等基础层技术,夯实自主可控根基 [2] - 深化“人工智能+”行动,在智能制造、生物医药、智慧能源等关键领域规划并开放重大应用场景 [3] - 推动大模型与实体经济深度融合,挖掘商业航天、低空经济等新兴领域潜力 [3] - 构建“AI技术+产业知识”的跨界人才培养体系,强化企业创新主体地位 [3] - 加快制定适配人工智能发展规律的法规、伦理准则及标准体系,积极参与全球人工智能治理规则制定 [3]
系好人工智能发展“安全带”
经济日报· 2025-10-17 21:41
人工智能产业发展现状 - 2024年中国人工智能产业规模超过9000亿元人民币,同比增长24% [1] - 中国人工智能企业数量超过5300家,已形成较完整的产业体系 [1] - 人工智能在制造业、金融、医疗等领域应用广泛,展现出降本增效和优化资源配置的巨大潜力 [1] 人工智能安全治理框架升级 - 《人工智能安全治理框架》2.0版正式发布,明确了对不同风险等级人工智能的管理要求 [1] - 新框架为各行业人员识别风险、落实责任提供了清晰指引,使治理更具可操作性 [1] - 框架升级彰显统筹发展与安全的治理智慧,为全球人工智能治理贡献中国方案 [1] 人工智能风险与挑战 - 2019年至2024年间,约74%的人工智能风险事件与安全问题直接相关 [1] - 2024年6月至2025年7月,全球公开报道的人工智能安全事件达59起 [1] - 风险事件涉及伪造诈骗、算法歧视、自动驾驶决策失误等多方面 [1] 人工智能治理原则与分类 - 治理原则强调包容审慎,发展人类可以信赖的人工智能,积极防范风险失控 [2] - 人工智能风险分为三类:技术本身缺陷、使用过程中的中途干扰、产生的连锁反应 [2] - 需依据风险类型采取有针对性的治理手段,让有关主体明确各阶段义务 [2] 生成式人工智能风险治理 - 针对深度伪造风险,需在模型开发阶段嵌入检测技术,输出环节落实内容标识与溯源要求 [3] - 人工智能服务提供者需防范不法分子利用换脸技术进行诈骗的行为 [3] - 监管部门应推动建立追溯系统,并通过公共教育提升公众对合成内容的辨识能力 [3] 协同治理与法规建设 - 综合治理需要政府、企业、科研机构和公众共同参与,进行全链条、全过程管理 [3] - 中国已出台《生成式人工智能服务管理暂行办法》等规范性文件 [3] - 学界推出《人工智能示范法3.0》等专家建议稿,构建有中国特色的治理体系 [3]
人工智能监管应因时而变(微观)
人民日报· 2025-10-15 22:17
人工智能技术应用与风险 - 生成式人工智能技术加速迭代 音频 视频 图像等内容生成效果日趋逼真 带来治理挑战[1] - 截至2024年中国生成式人工智能产品用户规模已达2.49亿人 人工智能生成内容呈现跨平台化和跨境传播特征[1] - 人工智能生成内容易于被批量篡改和重组 源头不易找 追溯难度大 违法违规内容迅速蔓延 侵害个体权益并扰乱网络秩序[1] 人工智能监管政策与法规 - 《人工智能生成合成内容标识办法》施行 规定对生成合成内容要添加显式标识 并在文件元数据中添加隐式标识 为内容溯源与责任认定提供技术保障[1] - 党的二十届三中全会《决定》提出建立人工智能安全监管制度[2] - 《中华人民共和国网络安全法》《互联网信息服务深度合成管理规定》《生成式人工智能服务管理暂行办法》等法律法规出台为人工智能有效监管奠定基础[2] 司法实践与治理创新 - 司法通过个案裁判和司法解释细化立法原则 填补规则漏洞 实现对技术进步的能动回应 例如最高人民法院2024年发布反垄断民事诉讼司法解释规制互联网平台通过人工智能等技术手段排除 限制竞争的行为[2] - 北京建立人工智能监管沙盒机制 探索弱版权保护政策和风险补偿规则 降低数据安全隐患 减少数据流通合规成本 加快推动人工智能产业化应用[3] - 对人工智能治理与监管需统筹发展和安全 既明确相关主体行为边界 也为创新与探索留足空间 避免过度监管扼杀创新活力[2][3]
守护你我向“网”的生活
新华网· 2025-09-22 00:31
网络安全行业活动与成果 - 2025年国家网络安全宣传周于9月15日至21日以"网络安全为人民 网络安全靠人民"为主题在全国开展 通过高峰论坛、博览会及主题日活动提升社会网络安全意识与防护技能 [1] - 网络安全博览会展示AI鉴伪、智能反诈等"黑科技"产品 中国移动"中移羲和卫士"防诈服务通过AI预警和保险补偿机制已服务超2400万用户 [2] - 国家互联网应急中心牵头发布《人工智能安全治理框架》2.0版 动态优化风险分类分级与治理措施 同期推出政务大模型安全规范、AI安全测评数据集等系列成果 [3] 技术应用与用户防护 - AI技术应用于防诈领域实现实时来电预警、远程插播提醒及临时停机功能 有效阻断诈骗通信链路 [2] - 生成式AI安全风险受关注 业界通过声音克隆、数字人生成等技术体验活动提升公众对前沿技术风险的认知 [2] - 电信诈骗利用网络金融法律盲区实施犯罪 需通过知识普及与案例教育增强群体防范能力 [4] 行业生态建设与推广 - 人工智能安全治理需多方协同 构建"多元协同 责任共担"生态体系 工业信息安全机构强调系统工程属性 [3] - 全国开展线上线下结合的网络安全宣传活动 包括普法脱口秀、企业风险讲解、知识竞答等形式 覆盖校园、企业及公共领域 [5] - 聚焦法治金融电信等重点领域 通过接地气的主题宣传推动"网络安全靠人民"理念普及 [5]
守护你我向“网”的生活——2025年国家网络安全宣传周观察
新华社· 2025-09-21 12:51
网络安全宣传周活动概况 - 2025年国家网络安全宣传周于9月15日至21日以"网络安全为人民 网络安全靠人民——以高水平安全守护高质量发展"为主题全国统一开展 [1] - 活动包括开幕式、网络安全技术高峰论坛主分论坛、网络安全博览会暨国际推介会及主题日等 通过通俗易懂方式宣传理念、普及知识、推广技能 [1] - 全国各地开展线下线上结合活动 如普法脱口秀、企业案例讲解、知识竞答等 构建贴近生活的宣传场景并营造全社会共筑安全防线的氛围 [5] 网络安全技术应用与创新 - 中国移动展示"中移羲和卫士"防诈服务 具备AI语音预警、可疑来电拦截及临时停机功能 通过AI技术预防和防诈保险补偿已服务超2400万用户 [2] - 网络安全博览会亮相AI鉴伪、智能反诈等"黑科技" 包括AI换脸、声音克隆及数字人生成技术 为生活构筑数字防线 [1][2] - 2025年人工智能技术赋能网络安全应用测试结果发布 为构建协同共治的人工智能安全生态注入新动能 [3] 人工智能安全治理进展 - 《人工智能安全治理框架》2.0版在网络安全技术高峰论坛主论坛发布 由专业机构、科研院所及行业企业联合制定 完善风险分类分级并动态更新治理措施 [3] - 人工智能安全治理需各方协同构建"多元协同 责任共担"的安全生态系统 是一项系统工程 [3] - 网安周期间同步发布《政务大模型应用安全规范》、中文互联网基础语料3.0、生成式AI安全测评基准数据集及行业自律倡议等重要成果 [3] 网络安全风险教育与防范 - 电信诈骗已发展出上百种套路 利用群众对网络、金融、法律等盲区实施犯罪 需补齐知识短板以预防被骗 [4] - 通过案例剖析、科普视频及知识问答等形式 提升对网络诈骗的识别与防范能力 并促进知识分享传播 [5] - 有关部门围绕法治、金融、电信等重点领域开展主题宣传活动 推动网络安全宣传接地气、聚人气 [5]
AI造谣“有图有真相”,我们该如何对抗?
新浪财经· 2025-09-17 09:24
AI造谣的现状与特征 - AI造谣已形成黑色产业链,通过编造如“30万居民撤离”、“民警离职潮”、“爆炸事故”等虚假信息引发社会恐慌 [2] - 不法分子利用AI技术生成逼真的虚假内容,包括伪造“官方回应”,并通过信息过滤和推荐机制将虚假信息聚合成具有迷惑性的“证据链” [2] - 在经济与企业类、公共安全类谣言中,餐饮外卖、快递配送等民生行业成为重灾区 [4] AI造谣的驱动机制 - 造谣者以流量变现为目的,利用内容平台“有效播放量×互动系数×千次播放单价”的收益公式牟利,一篇播放量100万次的内容收益可超过1000元 [2] - 不正当商业竞争进一步催生并加剧了AI谣言黑色产业链的扩散 [2] - 具体案例显示,有违法者注册多个平台账号,利用AI工具编造发布200余篇高度雷同的虚假文章恶意攻击品牌 [2] 治理与应对措施 - 监管部门已采取行动,中央网信办启动专项行动整治利用AI仿冒他人或编造虚假信息的行为,并发布《人工智能安全治理框架》2.0版以完善监管制度和标准 [5] - 新媒体平台被建议加强AI造谣的智能识别,改革流量分发和收益分成机制以压缩牟利空间,并鼓励用户举报可疑内容 [5] - 公安机关依据《刑法》对严重扰乱社会秩序的造谣行为进行打击,相关罪行可处以三年至七年有期徒刑 [5]
一系列重要成果亮相2025年国家网络安全宣传周
新华社· 2025-09-16 02:24
活动概况 - 2025年国家网络安全宣传周于9月15日至21日在全国范围内统一举办 [1][4] - 开幕式等重要活动在云南昆明举行 [4] - 活动主题为“网络安全为人民,网络安全靠人民——以高水平安全守护高质量发展” [4] - 活动由中央宣传部、中央网信办等十个部门联合举办 [4] 重要成果发布 - 在网络安全技术高峰论坛主论坛上集中发布系列重要成果 [4] - 发布《人工智能安全治理框架》2 0版 [2][4] - 发布《政务大模型应用安全规范》 [4] - 发布2025年人工智能技术赋能网络安全应用测试活动结果 [4]