Workflow
深度学习
icon
搜索文档
一文读懂人工智能在供应链领域的典型应用
36氪· 2025-11-07 06:31
人工智能术语框架 - 人工智能是一个广泛领域,专注于创造能执行需要类似人类智能任务的机器,如学习、推理或决策[4] - 机器学习是人工智能的一个分支,使计算机无需显式编程即可从数据中学习,能够识别模式并基于历史信息做出预测[4] - 深度学习是更高级的机器学习形式,使用多层人工神经网络,擅长处理复杂的高维数据,如图像、视频和自然语言[4] - 生成式人工智能旨在根据从大型数据集中学习到的模式创建新内容,包括文本、图像、音频甚至代码[4] 人工智能的商业重要性 - 人工智能正以前所未有的速度被广泛应用,因其直接关联企业的效率、盈利能力和竞争力,公司正积极将其融入日常运营以实现大规模快速决策[6] - 人工智能的真正影响力在于能够将预测转化为自动行动,如触发警报、推荐补货数量、优先选择配送路线或在供应风险演变成中断之前发出预警[6] - 人工智能在数据量庞大、决策可重复、信号嘈杂或快速变化的环境中尤其强大,非常适合市场营销和供应链运营[6] - 最有效的人工智能系统是在人工监督下运行的决策系统,旨在增强而非取代判断,需使用MAPE、MAE等传统统计精度指标进行持续评估[6] 人工智能在市场营销中的应用 - 个性化功能利用机器学习技术根据用户过去的行为定制内容,分析点击、购买记录、滚动模式和会话行为等信号以确定最可能促成转化的信息或产品[12] - 视觉推荐无需用户明确要求即可优化显示内容,利用余弦相似度等方法将用户与相似内容进行匹配,应用于亚马逊的产品轮播和Netflix的推荐板块[12] - 由生成式人工智能驱动的聊天机器人已成为标准客户触点,可回答问题、推荐后续步骤并全天候完成交易,必要时转接人工客服[12] - 预测分析利用机器学习模型在客户流失或营销活动效果等结果发生之前进行预测,通过比较线性回归和XGBoost等模型确定预测销售结果的最佳模型[12] 市场营销与供应链的协同 - 营销活动会引发需求冲击,成功的广告宣传、促销或产品发布可立即刺激需求,人工智能应帮助预测需求并自动标记其对供应链的影响[15] - 将市场营销和供应链联系起来的是共享数据,双方必须在SKU标识符、地理区域、销售渠道、日历和促销元数据方面保持一致[15] - 市场营销关注点击率和订单量,供应链关注订单满足率和准时足量交付率,当两者对绩效的看法不一致时会导致客户不满和运营效率低下[15] - 供应链漏斗是销售漏斗的运作镜像,始于市场营销活动产生的需求信号,经供应计划、生产或采购、物流配送,最终到达客户服务和交付绩效[16] 现代供应链挑战及人工智能应用场景 - 现代供应链面临复杂性、不确定性、速度和可持续发展四项普遍挑战,复杂性源于管理多层级网络、漫长交付周期及日益增多的限制因素[19] - 不确定性由促销需求激增、天气干扰、季节性变化及牛鞭效应等因素造成,需求的微小变化会在上游被放大[19] - 企业越来越依赖人工智能来更准确地预测需求并在问题发生之前采取积极主动措施,人工智能在预测和需求规划中发挥关键作用[19] 人工智能在预测和需求规划中的应用 - 现代人工智能预测模型通常将ARIMA或ETS等时间序列方法与XGBoost或神经网络等机器学习技术相结合,时间序列模型分析历史需求数据检测季节性和周期性模式[22] - 为评估模型可靠性,需使用平均绝对百分比误差以百分比形式衡量预测值与实际值的偏差,平均绝对误差以数据本身相同单位表示平均预测误差[22] - 偏差衡量预测是否持续高估或低估需求,长期高估导致库存过剩,低估导致缺货,F1分数在预测客户流失等事件时平衡精确率和召回率[22] - 企业通常先进行更高层次预测如全国总需求,再细化到特定地区、渠道或SKU,人工智能能够随新数据流入实时更新预测结果[23] 人工智能在库存优化中的应用 - 人工智能可根据产品重要性、周转率或利润贡献对其进行分类,自动确定合适的服务水平目标,并根据预测误差和交货周期波动计算安全库存[26] - 通过多级优化降低系统总库存,人工智能评估整个网络找出存放库存最佳位置,这种系统级视角可降低整体库存成本同时提高服务一致性[26] - 人工智能可根据最新需求数据、供应状况和绩效结果每周甚至每天自动更新补货点和订货量,消除人工库存盘点的滞后性和猜测性[26] - 人工智能模型可模拟不同场景,确定库存持有成本与缺货风险之间的理想平衡点,使领导者能够充分了解财务影响后再做决策[26] 人工智能在物流和运输领域的应用 - 具有时间窗口和实时重新规划功能的路径规划意味着人工智能可根据交付时间承诺不断解决车辆路径问题,并在途中出现交通、天气或新订单时立即重新优化路线[29] - 预计到达时间预测利用人工智能结合实时交通状况和历史驾驶员表现,比依赖通用估计更准确地预测到达时间[29] - 预测性维护可监控车队和物料搬运设备,在故障发生之前检测到故障,减少停机时间并防止意外故障[29] - 码头动态调度功能使人工智能能够根据当前拥堵情况、货运量和紧急程度,自动将卡车分配到最有效的装卸位置以保持作业顺利进行[29] 人工智能在供应商和风险管理中的应用 - 供应商评分卡使人工智能能够追踪多个供应商的准时交付率、百万分之质量缺陷率和交货周期差异,持续评估数据并自动标记问题[33] - 预警系统利用人工智能技术监测新闻、天气预报、港口活动和地缘政治数据,在潜在干扰影响运营之前发现并应对,使企业能够提前制定备选方案[33] - 自然语言处理可以读取供应商合同,提取重要条款如交货周期、违约金条款或排他性限制,并提醒决策者当前绩效是否偏离约定范围[33] 人工智能在仓储和自动化领域的应用 - 计算机视觉利用摄像头和人工智能技术实时检测错拣商品、损坏商品或库存数量错误,在商品到达顾客手中之前减少错误,比人工盘点有显著进步[37] - 任务编排通过根据当前需求和可用产能自动协调人类工人和自主机器人,来确定谁应该做什么以及何时做[37] - 任务优化通过分配优先级、管理队列以及优化任务在设施内的执行地点来改善工作流程,仿真软件可利用机器学习模拟不同优化方案[37] - 货位优化根据ABC周转率对库存进行排序,人工智能将周转率最高的商品放置在靠近包装或装货区的位置,以减少运输时间并提高吞吐量[37] 人工智能在可持续发展和ESG中的应用 - 按发货或SKU进行碳核算可以让人工智能计算每次产品运输对环境的影响,并在做出决策之前评估减少燃料排放的替代路线[40] - 减少浪费利用人工智能对退货进行分类,优先考虑哪些产品可以重新入库、回收或翻新,还可根据保质期预测重新订购易腐烂商品[40] - 循环流程使人工智能能够推荐维修、翻新或再利用方案,而不是默认丢弃,有助于向循环供应链转型使产品重新循环利用[40] 机器学习技术分类 - 监督学习在预期结果已知时使用,人工智能通过对已标记示例进行训练并学习预测未来值,常用于需求预测、预计到达时间预测和质量评分[44] - 无监督学习不需要预先标记结果,人工智能自行寻找数据中的结构,如将相似门店或SKU聚类在一起或检测设备传感器数据中的异常情况[44] - 强化学习通过反复试错做出决策,并随时间从行动结果中学习,在不确定性较高环境中如动态定价或调整库存策略时尤其有用[44] 机器学习模型演进 - 线性回归是应用最广泛、最基础的机器学习模型之一,根据过去行为预测未来结果,速度快、易于解释,广泛应用于高管仪表盘和财务建模[47] - 决策树根据简单决策规则将数据划分为多个分支,具有很强的可解释性,适用于预测和表格形式的业务数据[50] - XGBoost是一种先进集成方法,构建多个小型决策树并将它们组合提高准确率,擅长处理结构化供应链和营销数据中多种输入因素的交互作用[50] - 神经网络在识别复杂模式方面非常强大,适用于非结构化数据或基于传感器的数据,如图像、音频或实时物联网数据流[50] 大型语言模型与迁移学习 - 大型语言模型利用海量公共文本数据进行训练,学习人类语言结构和含义,能够理解并回应从未见过的句子,具有泛化能力[56] - 迁移学习利用规模较小、特定于业务的数据集对预训练的语言学习模型进行微调,使人工智能在保留广泛语言理解能力的同时针对特定领域进行专门化训练[56] - 检索增强生成技术使人工智能不仅依赖于训练期间学到的知识,还会主动从可信来源实时检索外部知识后再生成响应[59] 人工智能统一视角与新兴趋势 - 分层模型中,营销需求信号如点击率、营销活动效果、网站流量和预购意向被实时捕捉为意向信号,输入到人工智能需求预测层[63] - 数字孪生是真实供应链的虚拟副本,可模拟港口关闭、供应商延迟或需求激增等中断情况,在实际发生任何事件之前测试应对措施[66] - 生成式人工智能智能体能够更主动地进行规划工作,如总结风险、制定采购建议,并根据运营数据创建标准操作流程,自主运行监控实时数据[66] - 大型语言模型副驾驶允许规划人员以对话方式与供应链系统进行交互,获得清晰易懂且基于公司内部数据的答案[67]
ICML 2026新规「避坑」指南:参会非必须、原稿将公开、互审设上限
机器之心· 2025-11-06 05:28
ICML 2026 会议基本信息 - 会议将于2026年7月7日至12日在韩国首尔举办 [4] - 所有论文将采用双盲审稿机制 [4] - 最终被录用的论文将在大会上进行展示 [4] 论文提交格式与页数要求 - 投稿须以单个文件形式提交 [4] - 正文部分最多8页 [5] - 参考文献、影响声明和附录部分页数不限 [5] - 论文被录用后,作者可在最终版本中为正文部分额外增加1页 [6] - 补充材料不再设单独提交截止日期 [6] 重要政策变更 - 论文被接收后,作者可选择是否亲自到会现场进行报告,或仅将论文收录至会议论文集 [7] - 无论作者选择哪种方式,所有被录用的论文在论文集中的待遇完全相同,均有资格参与奖项评选 [8] - 对于仅选择论文收录的论文,应至少有一位作者完成线上注册 [9] - 除定稿版本外,大会还将公开论文的原始投稿版本 [10] - 被拒稿的论文作者也可选择是否公开其原始投稿版本、评审意见等相关记录 [10] 投稿重要日期 - 提交网站开放日期:2026年1月8日 [14] - 摘要提交截止日期:2026年1月23日 [14] - 全文提交截止日期:2026年1月28日 [14] - 摘要和论文提交截止日期为严格截止,不会有任何形式的延期 [15] 作者与互审要求 - 所有提交必须至少有一位作者同意担任审稿人 [17] - 一位作者最多只能在其本人的2篇提交中被指定为互审审稿人 [17] - 若某作者有4篇或以上投稿,则必须担任评审员 [17] - 若评审员短缺,此门槛可降低为3篇 [17] - 未满足互评要求或草率完成评审的投稿可能会被直接拒稿 [17] 评审与伦理规范 - 禁止双重或并行投稿 [18] - 允许使用生成式AI辅助写作或研究,但作者须对内容负全部责任,且LLM不能署名为作者 [21] - 禁止任何形式的提示注入,违者直接拒稿 [21] - 禁止抄袭、禁止在评审期间宣传正在投稿至ICML、禁止与评审员等串通 [21][22] 论文内容附加要求 - 每篇论文须附带潜在社会影响说明,置于论文末尾独立部分 [23] - 被接收论文作者需提交简明易懂的通俗摘要 [24] - 多篇投稿的作者可自愿对其论文进行质量排序 [25] 征稿主题范围 - 征稿主题涵盖通用机器学习、深度学习、机器学习理论、优化、强化学习、可信机器学习及应用驱动型机器学习等多个领域 [14]
奥特曼和纳德拉,艰难重组后首次对谈:「我们是天作之合」
36氪· 2025-11-03 00:23
微软与OpenAI合作关系 - 双方庆祝达成一项里程碑式的深度合作协议,旨在重塑AI未来 [3] - 合作关系始于2019年微软对OpenAI的10亿美元投资和Azure云计算资源支持 [5] - 微软首席执行官纳德拉慧眼识珠,看到了自然语言处理技术的新曙光 [7] OpenAI公司重组与治理结构 - OpenAI完成重组,在非营利基金会下设立OpenAI集团公共利益公司作为营利实体 [8] - 非营利的OpenAI基金会持有价值高达1300亿美元的OpenAI股份,成为全球最大慈善基金之一 [10] - 基金会将首批动用250亿美元资金投向医疗健康和AI安全韧性两个领域 [10] 微软的投资与战略回报 - 微软目前持有OpenAI约32.5%的股份,价值约1350亿美元 [15] - 双方关系已成长为业界最成功的合作伙伴关系之一 [17] - OpenAI创始人希望微软能从这笔投资中赚到一万亿美元 [18] 产品与市场独家安排 - OpenAI最强大的通用人工智能模型API将在未来七年内独家部署在微软Azure云平台上 [19] - 此项独家安排将持续到2032年,除非OpenAI率先实现AGI [19] - 该策略使Azure成为AI开发者的“圣地”,直接推动微软云服务业务腾飞 [20] 财务业绩与增长前景 - 微软2025财年第一季度智能云部门收入同比大涨27%,Azure增速远超主要竞争对手 [20] - 微软商用云业务手握3920亿美元的未完成订单,同比增长51% [20] - 其中包括OpenAI与微软签下的2500亿美元Azure预购合同 [20] 算力供应与需求瓶颈 - 双方均表示面临严重的算力短缺问题,限制了业务增长 [24][25] - 微软上季度资本开支高达349亿美元,较前一季度猛增40%,主要用于数据中心和AI芯片 [26] - 未来两三年内AI算力仍将严重紧俏,出现“算力过剩”的概率几乎为零 [28][29] AI对软件行业的范式影响 - AI正在重塑软件形态,从App转向Agent,能理解自然语言指令并执行任务 [34] - 传统商业软件可能被多才多艺的AI助手重构,微软主动为Office注入AI推出Copilot [36] - 在消费互联网领域,AI对话式交互对传统搜索的流量和广告曝光构成分流风险 [37] AI驱动的生产力提升 - AI将开启生产力爆发,微软过去一年几乎零净增员工数,却实现营收两位数增长 [44][46] - 员工借助内部Copilot大幅提高效率,公司通过网络运维自动化替代了大量人力需求 [47][48] - 经过适应期,企业将迎来既增收又节支的局面,推动宏观经济劳动生产率和GDP增速提升 [51][52] AI对美国制造业的影响 - AI需求正吸引资本重新投入制造业和基建领域,为传统工业中心注入新活力 [55][57] - 微软在威斯康星州豪掷73亿美元兴建全球最大数据中心园区,带动本地就业和投资 [56] - 美国的云计算龙头公司在全球输出技术,帮助各国建设数字基础设施,占据产业制高点 [59] 合作关系的战略意义 - 合作结合了OpenAI的创新激情与微软的产业落地能力,迸发出惊人能量 [60] - 双方共同开发ChatGPT引爆全球AI热潮,并将深度学习技术带入寻常百姓家 [62] - 合作关系证明了理想主义与实用主义结合的可能性,既关乎利润更关乎人类福祉 [64]
端到端和VLA,这些方向还适合搞研究
自动驾驶之心· 2025-11-03 00:04
自动驾驶技术发展路线 - 技术路线从基于规则时期转变为以理想、小鹏等新势力为代表的端到端到VLA范式时期,现阶段进入以蔚来为代表的世界模型时期[1] - 深度学习始终是技术路线的核心组成部分,行业建议学习前沿理论、底层基础理论和代码能力以应对技术快速迭代[1] 课程内容与目标 - 课程涵盖从模块化量产算法到端到端、VLA的技术演进,核心算法包括BEV感知、视觉语言模型VLM、扩散模型、强化学习、世界模型等[5] - 学习目标为掌握端到端技术框架,复现扩散模型、VLA等主流算法,学完后可达1年左右端到端自动驾驶算法工程师水平[5] 导师资质与行业资源 - 主讲导师为C9本科+QS前50 PhD背景,发表CCF-A论文2篇,现任国内TOP主机厂算法专家,主持过多项自动驾驶感知和端到端算法的量产交付[6] - 公司拥有300+专职于自动驾驶/具身智能方向的导师,来自全球QS前100高校,近3年辅导学员超400名,中稿率达96%[8][15] - 优秀学员可获得清北/MIT等名校推荐信或内推至阿里达摩院、华为诺亚方舟等企业研发岗[19] 科研辅导服务 - 辅导覆盖选题、调研、idea验证、代码实现、实验、润色、投稿全流程,目标包括CCF-A/B/C、SCI1-4区、EI会议等[15] - 服务包含班主任全程督学,针对零基础学员提供基础课程,承诺6个月可完成一篇小论文[18] - 通过精准匹配系统从300+导师中筛选3-5位方向契合者,支持试听和退款机制[18][19]
Meta裁员、OpenAI重组:万字复盘谷歌起笔的AI史诗,如何被「群雄」改写剧本?
机器之心· 2025-11-02 01:37
AI行业格局转变 - AI行业正从“无限淘金热”转向残酷的“阵地战”,资本开始重新评估价值,巨头们审视成本与效率 [1] - Meta FAIR部门遭裁员、OpenAI进行资本重组、AWS大裁员等一系列动荡表明行业进入新阶段 [1] 谷歌的AI基因与早期探索 - 人工智能是谷歌从诞生之初的核心理念,受创始人Larry Page父亲(早期机器学习教授)的影响 [5][9] - 2000年Larry Page断言人工智能将是谷歌的终极版本,终极搜索引擎就是人工智能 [9] - 谷歌起家的PageRank算法运用统计方法排序网页,带有早期AI思想印记 [10] - 2000年末工程师提出“压缩即理解”理论,探索语言模型和机器理解,这是现代LLM思想的早期体现 [12] - 研究成果直接应用于谷歌搜索的拼写纠错功能,并开发了消耗数据中心整体资源15%的语言模型PHIL [14][16] - PHIL在2003年被用于快速实现AdSense系统,为谷歌带来数十亿美元新收入 [15] 深度学习革命与谷歌的拥抱 - 2007年Geoff Hinton将深度学习火种带入谷歌,当时神经网络正被学术界边缘化 [20] - 谷歌的统计方法本身是对僵化专家系统的反叛,为结合深度学习奠定基础 [21] - 2011年吴恩达、Jeff Dean等发起Google Brain项目,目标构建大规模深度学习模型 [27] - Jeff Dean主导开发DistBelief分布式计算系统,采用有争议的异步更新参数方式但被证明高效 [28][29] - Google Brain的“猫论文”实验使用16000个CPU核心训练,神经网络自主学会识别猫脸 [30] - “猫论文”证明无监督学习能力,催生YouTube算法推荐时代,驱动数百亿乃至数千亿美元产业价值 [32][33][34] 关键突破与硬件变革 - 2012年AlexNet在ImageNet竞赛中将错误率从25%以上降至15.3%,提升超过40% [35][37] - AlexNet创造性使用NVIDIA GPU进行并行训练,确立GPU作为AI计算核心硬件的地位 [39] - 谷歌因应算力瓶颈,自研专门用于神经网络计算的TPU芯片,15个月内完成设计到部署 [62][63] - TPU针对矩阵运算优化并采用低精度计算,为谷歌提供成本优势和战略自主权 [63] 人才争夺与实验室建立 - 谷歌以约4400万美元收购AlexNet核心团队DNN Research,被认为是史上最划算交易之一 [41][42] - 2013年扎克伯格力邀Yann LeCun建立FAIR实验室,采用开放研究模式 [43][45][47] - FAIR为Meta提供核心技术、开源工具PyTorch以及Llama系列开源模型 [48] - 2014年谷歌以约5.5亿至6.5亿美元收购DeepMind,但其后与Google Brain存在内耗 [56][57] - DeepMind在AlphaGo项目中击败李世石,并将谷歌数据中心冷却能耗降低40% [58] OpenAI的崛起与转型 - 2015年因马斯克对谷歌垄断的担忧,联合Sam Altman创立OpenAI,获10亿美元初始承诺 [64][65][68] - Ilya Sutskever被使命吸引离开谷歌加入OpenAI,尽管Jeff Dean提供双倍薪酬反聘 [66] - 2018年OpenAI因资金压力重组,设立利润上限子公司并获得微软10亿美元投资 [86][87] - OpenAI转型开发GPT系列模型,GPT-3展现出惊人能力,GitHub Copilot成为首个大规模落地产品 [90][91] - 2021年Dario Amodei因安全与商业化分歧带领核心成员出走,创立Anthropic [92][95] Transformer架构与新时代 - 2017年谷歌发表《Attention Is All You Need》论文,提出Transformer架构 [74][76] - Transformer解决RNN/LSTM序列处理难题,具备高度并行化优势 [76] - 架构展现出“更多数据+更大模型+更多算力≈更好智能”的可扩展性 [80][81] - 谷歌允许论文公开发表,将“钥匙”交给全世界,包括潜在竞争对手 [84] - 论文八位作者后来相继离开谷歌 [84] ChatGPT冲击与谷歌反击 - 2022年11月ChatGPT发布,一周用户破百万,两个月破亿,成为史上增长最快消费应用 [97] - ChatGPT成功震醒谷歌,Sundar Pichai拉响“Code Red”红色警报 [99] - 微软迅速追加100亿美元投资OpenAI,并发布新版Bing搜索引擎直指谷歌核心业务 [99] - 谷歌仓促推出Bard但出现事实错误,促使公司进行大刀阔斧改革 [102][103] - 2023年谷歌合并Google Brain和DeepMind,组建统一Google DeepMind部门由Demis Hassabis领导 [105][106] - 谷歌All in Gemini项目,集中精英力量开发统一多模态旗舰模型系列 [105][106] - Gemini系列快速迭代,Gemini 2.5 Pro成为顶尖模型,并整合进搜索等产品 [107] - Google DeepMind在AI for science领域突破,AlphaFold 2解决蛋白质折叠问题,团队获2024年诺贝尔化学奖 [107][108] 当前竞争格局 - 谷歌一度受大公司体制束缚将王牌拱手让人,OpenAI成为最具实力玩家之一 [109] - Meta曾稳坐开源王座,如今在军备竞赛与成本效益平衡中艰难变革 [109] - 中国AI力量异军突起,DeepSeek、Qwen、Kimi等奋力追赶 [109] - 行业没有永远王者,巨头霸权可能被自身问题拖垮,后起之秀威胁迫近 [110]
一名科学家试着成为更好的CEO |WAVES
36氪· 2025-10-30 17:42
公司发展历程 - OneFlow公司成立6年,创始人袁进辉经历技术变革与商业世界洗礼后开始尝试成为更好的CEO [4] - 公司成立前4年没有任何收入,运作风格如同实验室,大部分工作是写代码,员工特性为只热爱写代码和技术讨论 [6] - 2022年底公司接近求生状态,最多只能接触到几百张GPU,最困难时选择降薪和减员 [7][8] - ChatGPT爆发后公司被光年之外并购,但仅两个月后因王慧文病休离岗,美团接手光年之外,团队决定重新创业 [1][11] 技术路线与产品演变 - 公司最初目标是颠覆巨头重金投入的深度学习系统框架,致力于找到更有"美感"的架构,一劳永逸解决所有深度学习模型运行问题 [1][6] - 新公司硅基流动将重心从训练框架转向推理部署,选择技术上不像OneFlow那么令人兴奋但市场前景更大的大模型推理框架 [13] - 推理框架市场前景巨大,训练框架扫描数据量如一座泳池,而推理框架扫描数据量如源源不断的大河 [13] - OpenAI在推理上的进展验证了推理框架判断,推理算力需求又提高了一个数量级 [14] 融资与并购事件 - 公司最初为"朋友圈创业",投资人包括袁进辉亲朋好友,后续获得九合、拓尔思、快手、校友基金、高瓴、海淀区支持 [6] - 2023年公司被光年之外并购,光年之外估值突破10亿美元,成为资源最好的团队 [11] - 并购后离职员工兑现约2000多万元股票,但从未离职又一起创业的同事尚未获得经济回报 [14] 团队管理与商业化转型 - 新公司规模从35人扩张到超过60人,增加了产品经理和商业化同事,现有三位商业化出身的联创 [14] - 公司认识到CEO写代码是对公司不负责任的做法,转向更加现实和务实的经营理念 [14] - 大模型催生Model as a service产品形态,底层技术可通过标准API服务迅速变现 [14] - 创始人从只爱解难题不愿做平凡事情,转变为追求典型意义上的创业成功 [15]
参数空间对称性:深度学习理论的统一几何框架
机器之心· 2025-10-29 09:25
文章核心观点 - 深度学习模型的有效性部分源于神经网络参数空间中广泛存在的对称性,即大量不同的参数配置可实现相同的模型函数 [2] - 参数空间对称性为理解深度学习的优化动态、损失地形和泛化性能提供了统一的数学框架和几何视角 [2][6] - 对称性研究正从理论概念转化为可操作的算法原则,影响优化方法、模型融合及权重空间学习等多个领域 [31] 参数空间对称性的定义与类型 - 参数空间对称性是指保持神经网络损失函数不变的参数变换,数学上表示为 L(g·θ) = L(θ),这些变换构成一个群并在参数空间中定义等价轨道 [6] - 离散对称性如神经元置换对称:交换隐藏层中两个神经元及其关联权重,网络函数保持不变 [4][6] - 连续对称性如ReLU网络的缩放对称和自注意力机制的一般线性对称,可将孤立极小值点拉伸成连续的平坦流形 [7][8][10] 对称性对损失地形的影响 - 连续对称性导致损失地形中出现平坦的极小值流形,沿此流形移动损失值不变,这意味着许多平坦方向由结构对称性决定而非泛化能力 [10][13] - 离散对称性会在参数空间复制大量功能相同的极小值副本,使极小值数量随网络宽度呈阶乘级增长 [13] - 对称性天然创造连接功能等价参数的连续路径,这解释了独立训练模型间观察到的模式连通性及模型融合的有效性 [10] 对称性在优化算法中的应用 - 对称性导致等损失点可能对应不同的梯度和训练轨迹,为算法设计带来新可能 [15][16] - 一类优化方法主动利用对称性在等价轨道中寻找梯度更优的点以加速收敛,另一类方法追求对称不变性使优化结果对初始变换不敏感 [16][19] - 对称性成为理解和改进优化算法的重要线索,其应用思路分为利用自由度和约简冗余两种 [19] 对称性与学习动力学 - 连续对称性对应训练过程中的守恒量,类似物理中的诺特定理,这些量在梯度流中保持恒定 [21][22] - 守恒量如线性网络中相邻层的Gram矩阵差、ReLU网络中输入输出权重的范数差,揭示了训练稳定性并帮助解释优化的隐式偏置 [22][23] - 不同的初始化对应不同的守恒量值,从而影响最终收敛点和泛化性能,参数空间的对称结构决定了学习轨迹与结果的统计分布 [23][25] 跨空间的对称性联系 - 参数空间对称性与数据空间和内部表征空间的对称性紧密相连,当数据分布具有对称性时,模型参数会继承这些结构 [27][28] - 在权重空间学习等新兴方向中,对称性成为新的数据结构,支持等变元网络在模型性质分析、生成及优化权重更新等任务中的应用 [28][29] - 等变元网络可直接在模型权重上进行学习,用于预测模型泛化能力或生成满足特定特征的新模型 [29]
1.4万亿投资、GPT-6、IPO进程,奥特曼回应“新OpenAI”的一切:1小时实录精华版
36氪· 2025-10-29 07:02
公司资本结构与治理 - 公司完成近一年的资本重组,为首次公开募股奠定基础,旨在筹集巨额资金支持算力投入和科研计划[2] - 重组后,非营利性的OpenAI基金会仍实际控制公司,持有营利部门OpenAI集团公共利益公司26%股权,按公司5000亿美元估值计算价值约1300亿美元[2] - 微软成为公司第一大股东,持有约27%股权,价值约1350亿美元;员工及早期投资者通过员工持股载体共持有约26%股权,价值约1300亿美元[5] - 2025年新一轮融资投资者占15%股权价值750亿美元,2024年融资投资者占4%股权价值200亿美元,IO投资者占1%股权价值100亿美元,早期投资者占约1%股权价值约50亿美元[5] - 重组将此前投资转为普通股权,解除投资者潜在收益上限,同时确保非营利方在安全和治理等关键事务上保持监督权[2] - 公司首席执行官山姆·奥特曼不持有公司股份,但他投资了与公司有合作关系的其他公司[5] 战略合作与商业协议 - 公司与微软就合作架构达成新协议,承诺向微软追加采购2500亿美元的Azure云计算服务[5] - 微软对公司模型和产品的知识产权授权延长至2032年,其中包含了通用人工智能实现之后的模型[5] - 微软现在可以独立或与第三方合作推进通用人工智能,而公司也可以与第三方联合开发某些产品[5] - 公司仍是微软的前沿模型合作伙伴[5] 财务状况与资金需求 - 公司资金需求巨大,预计到2029年,现金消耗将超过1150亿美元,这是考虑进入公开市场筹资的主要原因[6] - 公司已承诺建设的基础设施总量略超30吉瓦,未来数年内将承担约1.4万亿美元的总财务责任[23] - 基于当前行业前景预测、收入增长预期及融资能力考量,1.4万亿美元是现阶段能够从容应对的规模[24] 研究与发展蓝图 - 公司研究计划的核心支柱包括:构建通用人工智能所需的研究、打造便捷强大的使用平台、建设足够的基础设施以低成本提供AI技术[8] - 深度学习系统可能不到十年就能实现超级智能,即在众多关键维度上超越全人类的智能系统[10] - 公司正致力于培养能够加速研究进程的高水平AI科研助手,目标在明年九月前实现;并计划在2028年3月前开发出能够自主完成大型科研项目的全自动化AI研究员[12] - 预计在2026年推出的模型将开始取得微小突破,到2028年可能实现中等规模甚至更重大的科学发现[32] 技术架构与产品战略 - 公司整体技术架构底层是芯片组、机架、数据中心及能源支撑,之上训练模型并构建开放平台[9] - 公司推出了名为Atlas的浏览器,未来几年还将推出便携设备,并拥有少量第一方应用如ChatGPT和Sora,未来会持续增加[9] - 公司正从传统实践方式向平台化演进,目标是让他人能够基于其平台构建应用,期望平台上的开发者创造的价值超过平台构建者[21][23] - 预计六个月内甚至更早,各项能力都将实现巨大飞跃,但不再将产品与研发计划紧密绑定,具体命名尚未确定[46] 基础设施规划 - 公司愿景是打造一个基础设施工厂,实现每周生产1吉瓦计算设备的目标,期望在五年设备生命周期内将每吉瓦的成本控制在约200亿美元[24] - 实现该目标需要大量创新与合作伙伴关系,以及可观的营收增长,公司将把对机器人技术的研发思路转向数据中心建设领域[24] - 公司正与AMD、博通、谷歌、微软等企业合作,但强调仍处于早期阶段[24] 安全与治理框架 - 公司将安全视为多维度问题,思考框架划分为五个层级:价值对齐、目标对齐、可靠性、抗干扰鲁棒性、系统安全性防护[13][14][15][16][17] - 公司正大力投入思维链忠实度这一可解释性新方向,旨在让模型的内部推理过程更真实地反映实际思维过程[17][18] - 非营利组织OpenAI基金会将负责管理公益公司,初期持有约26%股权,并唯一资助科学研究领域,首战将投入250亿美元致力于运用人工智能攻克疾病及加强人工智能韧性建设[25][27] - AI韧性范畴比传统AI安全更广泛,旨在建立应对先进AI风险的快速响应机制和生态系统[28][31] 产品路线图与用户关怀 - 公司目前没有关闭ChatGPT-4o的计划,希望用户能够自由选择偏好的模型[35] - 预计12月发布包含NSFW标签的成人模式,并对创作内容启用触发过滤器,但发布时间可能调整[44] - 公司承认模型升级过程中存在不足,未来将努力提升功能延续性,确保模型能服务好大多数用户[41] - 公司认为交友与“自我反思”是AI应用的绝佳场景,并将推出相关ChatGPT版本[42]
OpenAI终于快要上市了,也直面了这23个灵魂拷问。
数字生命卡兹克· 2025-10-29 01:33
公司重组与资本结构 - OpenAI完成重大重组,非营利母公司更名为OpenAI Foundation,并成立新的营利性公司OpenAI Group PBC(公共利益公司)[4][13] - 新结构中,OpenAI Foundation持有约26%的普通股股权,并通过特别表决权完全控制PBC的董事会任免权[13] - 微软在新结构下的持股比例约为27%,剩余约47%的股份由OpenAI的员工和早期投资者持有[13] - 公司估值被推高至5000亿美元,成为全球估值最高的未上市公司之一[15] - 重组消息发布后,微软股价开盘上涨4%,市值突破4万亿美元[14] 公司发展历程与战略演变 - OpenAI于2015年作为非营利机构成立,目标为确保通用人工智能造福全人类[4] - 因难以支撑AGI研发的巨额投入,公司于2019年3月成立“有上限盈利”子公司OpenAI LP,投资回报率上限设为100倍[5][6][7] - 2019年7月,微软向OpenAI投资10亿美元,成为重要战略合作伙伴[11] - 公司逐步从开源转向通过付费API提供模型服务,引发对其背离“开放共享”承诺的批评[11] 产品路线图与技术展望 - 公司预计在未来六个月内,模型能力将迎来又一次巨大飞跃[38] - 目标到2026年9月实现“研究实习生级”的AI助手,到2028年3月实现货真价实的全自动AI研究员[20] - 公司内部预计一年内会有一次极其重要的能力飞跃,并致力于将智能成本持续降低,过去几年“智能”价格每年下降约40倍[35][40] - 聊天界面并非终极产品,AI的未来方向是成为环境化、始终在场的伙伴,并能推动科学发现[41] 产品策略与用户反馈 - 公司承认在模型切换(安全路由)功能上处理不当,计划通过上线年龄验证功能后,给予成年用户更多自由[26][28] - 预计在12月推出“成人模式”,在创意写作等场景下将比以前的限制宽松得多[27][31] - 公司暂无下线GPT-4的计划,但强调需保护未成年人和精神脆弱用户[25] - 公司认为用户从AI获取情感支持是好事,关键在于模型需保持诚实,不假装是人[31][32] 商业化与未来规划 - 公司目前没有具体的IPO计划,但考虑到未来对资金的需求,IPO是最有可能的路径[46] - 为支撑巨额投资,公司最终需要达到每年数千亿美元的收入,B端和C端均为巨大收入来源[47] - 在AI安全方面,公司已与谷歌、Anthropic等竞争对手的实验室展开初步合作[39] - 公司认为脑力工作的大规模自动化将在未来几年发生,阻止其取代工作的主要障碍已非智力本身,而是系统集成和交互界面问题[44]
2025年世界科技与发展论坛举行 百度吴甜:深度学习是人工智能关键核心技术
搜狐财经· 2025-10-28 05:26
深度学习平台的核心作用 - 深度学习平台是人工智能关键核心技术,下接芯片,上承大模型和应用,支撑AI的开发、训练、推理部署及产业落地 [1][3] - 以百度飞桨为例,该平台已适配60多款系列芯片,开发者创建超过110万个模型 [3] - 平台通过与大模型的联合优化实现性能突破,例如在ERNIE-4 5-300B-A47B模型上实现预训练MFU达47%,并在特定时延条件下实现高吞吐性能 [3] 文心大模型的技术进展与性能 - 文心大模型始于2018年底研发,2019年发布1 0版本,2025年已迭代至文心4 5 Turbo和文心X1 1等多个版本 [4] - 在中文多模态视觉语言模型测评基准SuperCLUE-VLM上,文心4 5 Turbo总分并列国内第一;文心X1 1在中文精确指令遵循测评中两类划分均为国内第一 [4] - ERNIE-4 5的衍生模型如PaddleOCR-VL、ERNIE-4 5-21B-A3B-Thinking等多次登上Hugging Face全球模型总趋势榜第一 [4] 产业智能化应用案例 - 在智能制造领域,中车集团基于飞桨将高铁外形仿真设计周期由天级缩短至秒级 [5] - 在智慧能源领域,基于文心和飞桨打造的电网智能体实现对600+厂站、90+断面的监控,完成全流程智能决策 [5] - 在智慧医疗领域,AI应用于病情收集、病历整理等环节,优化患者体验并提升医生效率 [5] 数字人技术的商业价值 - 百度自研的数字人技术包含五项创新,实现了数字人神、形、音、容、话的高度统一 [6] - 公司已助力打造超过10万数字人主播,直播转化率提升31%,开播成本下降80% [6] - 数字人直播展现显著商业价值,例如罗永浩数字人直播首秀GMV突破行业纪录,部分品类带货量超过真人直播 [6] 开发者生态与产业影响 - 飞桨文心开发者数量已超过2333万,服务企业超过76万家 [6] - 人工智能基础技术底座正助力千行百业提效降本、增强企业经营与决策能力 [4][6] - 技术革新驱动应用创新,进而转化为实际商业价值,推动产业向更高级形态转型升级 [6]