AI安全治理

搜索文档
中国AI破局
36氪· 2025-08-13 00:03
文章核心观点 - 人工智能发展面临数据枯竭、算力成本限制、算法偏见、能源消耗和安全治理等主要技术困境 [1][7] - 中国通过开源开放、算法创新和产业应用突破AI发展瓶颈 改写全球AI竞争规则 [2][24][69] - 中国在AI芯片、光子量子计算、自动驾驶和人形机器人等应用领域形成核心竞争力 [35][51][55] 当前人工智能发展所面临的主要技术困境 生成式大模型的算法偏见与困境 - GPT-5上线后被吐槽反应速度慢、处理问题频繁出错 [10] - 生成式AI存在系统幻觉现象、逻辑推理能力有限、数据依赖性、偏见与缺乏可解释性等缺陷 [10] - 第三方测试显示GPT-5领先优势微乎其微 大模型边际收益递减趋势明显 [1] AI算力增长的能源消耗问题 - 英伟达H100芯片单片功耗峰值达700W 10万块总功耗接近小型发电厂输出功率 [11] - AI系统需要执行大量矩阵运算和密集型计算任务 依赖高性能计算机和GPU支持 [11] - "星际之门"计划若采用现有高端AI芯片 年耗电量将是上海市全年用电总量的三倍 [49] 大模型训练数据枯竭 - 数据作为AI的"化石燃料"正日益枯竭 将迫使改变当前AI大模型的预训练方式 [12] - 高质量训练数据几近枯竭 成为AI发展的核心瓶颈之一 [1] 人工智能安全管理与风险控制 - AI技术面临科林格里奇困境 早期难以实施有效控制 技术深入社会后改变成本显著增加 [15][16] - AI指数级发展带来模型能力快速扩张 但社会伦理风险愈发难以预测和控制 [16] AI系统开发软件开源争议 - 开源软件基于GPL规则存在多种收费模式 包括分发收费、担保条款收费、商标许可费和技术服务费等 [20][21] - AI软件代码开放被认为是历史发展的必经之路 虽然存在波折但大势所趋 [20] 中国的优势、贡献和挑战 算法创新与开源开放 - DeepSeek-V3采用MoE架构+MLA机制 训练成本低于600万美元 实现高性能低成本 [24][25] - 阿里通义千问Qwen3-Coder性能强于所有开源模型 实际体验不输Claude和GPT4.1等闭源模型 [24][32] - 中国开源模型推动全球AI普惠 将"大力出奇迹"变为"巧力出奇迹" [24] 芯片自主与算力突破 - 华为昇腾910采用7nm工艺 提供256 TFLOPS的FP16计算能力 [35] - 寒武纪推出思元290和370高性能AI芯片 配套云端智能加速卡和训练整机 [36] - 中国成熟制程芯片(28nm及以上)占据75%以上应用市场 形成稳固本土产业链 [38] - 光子芯片利用光速传输信号 运算效率远高于现有AI芯片 功耗极低 [41] - 量子芯片在量子纠错技术取得突破 谷歌Willow芯片5分钟完成超级计算机1025年计算任务 [43] 产业应用与场景落地 - 中国电动汽车产销量连续八年全球领先 促进自动驾驶技术发展 [53] - 人形机器人产业链相关企业达6.7万家 国家级专精特新企业1051家 [55] - AI智能体具备多模态理解处理能力 在工业制造、物流配送等领域发挥重要作用 [57][58] - 中国生成式AI企业超4500家 核心产业规模达6000亿元 用户数2.3亿人次占总人口16.4% [66] 全球治理与合作 - 中国提交《关于加强人工智能伦理治理的立场文件》和《全球人工智能治理倡议》 [67] - 联合国通过中国提出的"加强人工智能能力建设国际合作"决议 143个会员国联署 [67] - 中国颁布《生成式人工智能服务管理暂行办法》促进AI健康发展与规范应用 [66]
WAIC 2025 启示录:安全治理走到台前
21世纪经济报道· 2025-07-29 13:05
人工智能全球治理 - 2025世界人工智能大会以"智能时代 同球共济"为主题 强调全球AI治理与合作的重要性 [1] - 大会发布《人工智能全球治理行动计划》并成立"全球人工智能创新治理中心" 推动规则协同与机构化实践 [1][6] - 中国网络空间研究院提出需将人工智能治理纳入法治轨道 以解决治理赤字问题 [6] AI安全与伦理挑战 - "AI教父"辛顿以"驯虎"比喻人类与AI关系 呼吁通过全球合作确保AI安全可控 防止反噬人类 [2] - 姚期智指出AI善良本质受人类社会生态影响 需"双向治理":既要设定AI伦理边界 也要推动人类社会包容性发展 [2] - 当前AI幻觉问题阻碍可靠性落地 70%受访者称遭遇AI幻觉与错误决策 行业已出现文本核查、法律溯源等解决方案 [3] 训练数据与模型优化 - 辛顿强调需用精细调整的数据训练AI 英伟达提出利用物理仿真生成模拟场景解决数据获取难题 [4] - 智谱华章指出行业数据质量是关键 需用行业专用数据提升大模型落地能力 [4] - 商汤科技提出多模态交互数据可打破单一模态局限 帮助AI更全面理解物理世界 [5] 技术瓶颈与产业突破 - 中国工程院院士郑南宁指出大模型缺乏结构化表征与因果推理能力 难以实现认知跃迁 [3] - 英伟达全球开发者生态副总裁提到合成数据需辅助验证真实性 不能完全替代真实数据 [4] - 破除AI幻觉被视为产业破局关键抓手 涉及人机良性共生的长远命题 [3] 全球规范与标准构建 - WAIC正演变为"规范的市场" 交易内容涵盖全球性规范与标准而不仅是产品服务 [6] - 大会尝试解决创新与安全的动态平衡问题 推动跨文化、制度的全球治理机制建设 [6]
当安全治理成为WAIC关键词丨南财合规周报(第200期)
21世纪经济报道· 2025-07-29 06:24
AI治理 - 2025世界人工智能大会(WAIC)聚焦AI安全治理 图灵奖得主杰弗里·辛顿首次来华 提出人类与AI关系如同"饲养老虎" 需找到永久保护自身的方法 [1] - 辛顿强调训练"善意AI"是未解难题 类比养育孩子需精细调整数据 姚期智警示机器人接管世界的潜在风险 [2] - 中国发布《人工智能全球治理行动计划》 提出13项行动方向 包括共建算力标准 推动数据共享机制 维护隐私安全与数据多样性 [3] 浏览器AI化趋势 - 行业共识显示AI竞争从聊天机器人转向浏览器 流量入口逻辑延续互联网时代特性 [4] - Perplexity公司推进Comet AI移动浏览器预装计划 直接挑战谷歌Chrome垄断地位 [5] - OpenAI开发集成AI代理功能的浏览器 支持本地界面交互与自动化操作(如预订 表单填写) [5] 个人信息保护 - 摇一摇广告新规要求App设置醒目"一键关闭" 禁止第三方SDK设置敏感触发参数 监管已约谈规避检测的广告平台 [6] - 扫码点餐新规征求意见稿禁止强制收集手机号/位置信息 不得以关注公众号为由索取非必要数据 需提供账号注销功能 [7]
独家|姚期智:AGI时代比想象中来得快,安全治理是一个长期工作
第一财经· 2025-07-26 13:35
人工智能安全治理 - 人工智能安全性缺乏理论保证 相比传统算法设计 AGI时代来临速度超预期使安全问题更突出 [1] - 顶尖科学家警告 AGI可能超越人类智能水平 存在脱离控制或被恶意利用的灾难性风险 [2] - 全球需建立互信机制 加大安全研究投入 通过国际协调确立可验证的行为红线 [3] 国际合作与上海角色 - 《上海共识》首次呼吁全球确保高级AI系统与人类价值观对齐 保障人类福祉 [2] - 上海具备天时地利人和条件 有望成为全球AI治理重要中心 吸引国际专家汇聚 [3] - 主要国家需对接协调 在共同领域协同发力 前沿AI开发者需提供安全保障 [3] 人才培养方向 - 基础学科(数学/物理/计算机)是应对技术快速迭代的核心能力 需强化自主学习能力 [5] - 科技发展导致职业快速变迁 适应变化的根本在于扎实的学术积累而非短期技能 [5]
AI独角兽Anthropic迎来强援:奈飞(NFLX.US)创始人加入董事会
智通财经网· 2025-05-29 04:02
公司动态 - 人工智能初创公司Anthropic宣布奈飞董事长Reed Hastings加入其董事会,任命由Anthropic长期利益信托委员会决定 [1] - Reed Hastings现年64岁,拥有丰富的科技公司董事经验,曾担任微软、彭博社及Meta等企业的董事会成员 [1] - Reed Hastings是奈飞联合创始人,自1997年公司创立起长期担任CEO(后转为联席CEO),直至2023年卸任 [1] 战略与愿景 - Anthropic表示Reed Hastings将为公司带来"深厚的行业经验"和"对科技如何服务社会发展的深刻洞见" [1] - Reed Hastings认同Anthropic的AI发展理念,愿助力推动人类文明进步,同时关注AI的经济、社会及安全层面挑战 [1] - Anthropic总裁Daniela Amodei强调Reed Hastings对技术带来的人类影响的关注使其成为董事会的理想成员 [2] 行业竞争 - Anthropic当前估值达615亿美元,致力于在OpenAI、谷歌和微软主导的AI军备竞赛中保持竞争力 [2] - Anthropic始终强调AI安全治理的重要性 [2] 相关背景 - Reed Hastings最近向其母校缅因州鲍登学院捐赠5000万美元用于设立AI研究项目,重点探索AI技术的伦理框架及其对教育、工作和人际关系的影响 [1] - Anthropic表示该研究计划与其自身科研方向高度契合 [2]
中国电信柯瑞文:今年是人工智能的规模应用元年
每日经济新闻· 2025-04-30 08:29
公司战略与业务发展 - 中国电信天翼云收入突破千亿元 [1] - 公司未来将全面拥抱人工智能,打造智能云能力体系 [1] - 在IaaS层,公司将适度超前开展智算建设,建设"中心集群+边缘DC"一体化的AIDC [6] - 在PaaS层,将持续推动智算平台升级,提供一站式算力调度与AI开发服务 [6] - 在DaaS层,将升级"星海"数据智能中台,推进自有数据集、开源数据集和第三方数据集深度融合 [6] - 在MaaS层,将提升星辰大模型的复杂推理、轻量化低成本部署等核心能力,打造强智能、轻负载的模型服务 [6] 行业趋势与市场动态 - 今年是人工智能的规模应用元年,新一代开源人工智能技术(如DeepSeek)实现高性能、低成本、轻量化,大幅降低算力与算法门槛 [6] - 市场开始更加关注数据和应用 [6] - 人工智能等新技术带来发展机遇的同时,也带来风险挑战,包括语料偏见、敏感信息泄露、模型智能体失控风险、虚假信息泛滥等 [6] 技术与安全布局 - 公司将打造从基础设施到数据、内容、算法和应用一体的防护体系 [7] - 强化数据安全保障,建立三级安全风险分类标签体系,覆盖超百亿token [7] - 实现全量代码上云,提升代码扫描、审计、溯源的能力 [7] - 特别关注大模型本身的脆弱性,构建输入可防、推理过程可检测、输出可控的防护体系 [7]