端侧芯片
搜索文档
当千亿参数撞上5毫米芯片
钛媒体APP· 2025-12-10 03:19
文章核心观点 - 全球AI技术发展重点正从追求云端大模型的参数规模,转向解决端侧AI的工程化难题,以实现高智商、低延迟、低功耗的智能应用[4][16] - 端侧AI面临“不可能三角”的物理极限挑战,行业通过“云-边-端”三级分层架构、算法模型压缩、芯片架构创新以及从通用走向专用等路径寻求突破[7][8][11][15] - 中国AI产业出现集体觉醒,不再盲目追求参数之“大”,而是转向追求应用落地之“实”,致力于将AI嵌入万物,实现真正的万物智能[16][18] 技术风向与行业共识 - 2025年技术风向逆转,工程界开始重点攻克“端侧AI”命题,目标是将大模型能力塞进面积数平方毫米、功耗仅几瓦的端侧芯片中[4] - 行业普遍共识是未来AI架构必须是“人格分裂”的“云-边-端”三级分层架构:云端处理复杂长尾问题,端侧负责高频、实时、隐私敏感任务[7] - 端侧AI面临“不可能三角”挑战:高智商、低延迟、低功耗三者难以兼得[7] - 端侧物理条件严苛,主流车载芯片、智能家居SoC或旗舰手机的NPU专用内存仅几GB甚至几百MB,而运行一个700亿参数模型仅加载权重就需约140GB显存[6] 算法层面的优化路径 - 行业主要通过三把“手术刀”对模型进行压缩与优化:知识蒸馏、极致量化、结构剪枝[8][10] - **知识蒸馏**:让云端超大模型(Teacher)将核心逻辑“传授”给端侧小模型(Student),使0.5B参数的小模型在特定垂直场景表现能逼近百亿参数通用模型[8] - **极致量化**:通过训练后量化或量化感知训练,将模型权重从FP16压缩至INT8甚至INT4,使模型体积压缩4倍以上,推理速度成倍提升[10] - **结构剪枝**:剔除神经网络中对输出影响微乎其微的冗余参数,从物理层面减少计算量[10] 芯片架构的创新突破 - 端侧大模型推理的主要瓶颈在于“访存”,传统冯·诺依曼架构下,超过80%的功耗消耗在数据搬运上,即“内存墙”危机[11] - 行业通过DSA领域专用架构来突破瓶颈,核心思路包括存算一体化、异构计算调度和算子硬化[13][14] - **存算一体化**:拉近存储与计算单元的物理距离,甚至在SRAM中直接计算,减少数据搬运开销[13] - **异构计算调度**:在SoC内精细分工,CPU负责流程控制,DSP负责信号处理,定制NPU负责繁重的矩阵乘法运算[14] - **算子硬化**:针对Transformer核心的Attention机制,在硅片上直接“刻死”加速电路,牺牲通用性以换取极高效率,实现毫秒级响应[14] - 云知声、地平线等硬科技企业通过上述架构创新,已将芯片出货量做到上亿颗[13] 应用策略的务实转变 - 行业路径从追求“通用”走向深耕“专用”,承认AI局限性,打造专精的垂直智能体[15] - 商汤医疗采用“平台化”策略,搭建模型生产平台,让医院基于自身高质量数据训练针对特定病种的专用模型,将AI变为“熟练技工”[15] - 云知声的产业路径是避开通用大模型红海,通过在医疗、家居等垂直领域深耕来打磨端侧技术与芯片,赚取数据反馈反哺基础研究[15] - 这种转变旨在让AI更务实,需要的算力更少,但在专业领域给出的建议更靠谱[15] 产业影响与未来展望 - 中国AI产业集体觉醒,转向追求应用落地的“实”[16] - 成千上万的工程师致力于将AI的价格打下来,体积缩下去,使其嵌入生活的每一块玻璃、每一颗芯片[17] - 真正的“万物智能”是让万物拥有一颗微小、聪明且独立的“芯”,不再依赖脆弱的网络连接[18] - 当一颗几十块钱的芯片能跑通拥有逻辑推理能力的大模型且不依赖网络时,智能时代的奇点才算真正到来[18]
2025全球开发者先锋大会暨国际具身智能技能大赛将于12月在沪举办
新华财经· 2025-11-29 05:44
大会概况 - 2025全球开发者先锋大会暨国际具身智能技能大赛将于12月12日至14日在上海张江举办 [1] - 大会旨在验证"硅基生命"融入人类生产生活的潜力 [1] - 大会设置"竞技场""实验工坊""思辨广场""节日"等板块 [1] 大赛内容与赛制 - 竞技项目覆盖工业生产、社会服务、家庭助理、应急救援等多个领域 [1] - 大赛设置6大主题赛道、8大场景赛项,涵盖19个细分赛项 [1] - 裁判机制创新,引入人类技能大师与具身智能专家、人工智能专家组成"三元评审"阵容 [1] - 另设表演大赏,展示机器人在文化演出和体育竞技中的潜力,涉及书法绘画、体育比赛、乐器演奏等 [1] 行业战略与定位 - 具身智能被视为推动人工智能由虚拟世界走向真实场景的关键载体 [2] - 上海将系统构建覆盖研发攻关、迭代验证到产业转化的全链条创新体系,强化人形机器人产业发展 [2] 技术进展与产业生态 - 今年以来上海已有十余款人形机器人新品发布,一批关键技术取得突破 [2] - 国地共建人形机器人创新中心、智元、傅利叶、开普勒等一批头部本体厂商加速应用落地 [2] - 上海建成国内首个超5000平方米的虚实融合具身智能训练场,首期部署超过100台异构人形机器人 [2] - 国地中心打造全球首个百万级异构真机数据集"白虎" [2] 区域发展与产业集聚 - 上海浦东推动机器人在多元场景落地应用,张江人工智能创新小镇标志人工智能创新进入新阶段 [3] - 模力社区汇聚百余人工智能企业,构建数据-算法-算力服务底座 [3]
泰凌微:端侧芯片可自学习对接大模型
巨潮资讯· 2025-11-25 12:48
港股上市进展 - 公司在香港联交所上市的事项仍在筹措过程中,相关进展将按监管要求通过公告方式披露 [1] - 港股上市事项仍在有序推进中,将严格按照信息披露规则及时向市场通报重大进展 [4] 端侧AI芯片技术布局 - 公司端侧芯片及其平台使低功耗无线物联网芯片具备本地计算与自学习能力,脱离了传统芯片仅负责传输的单一功能 [3] - 芯片可参与对接云端大模型和应用小模型,并支持在终端侧执行部分推理任务,实现从通信芯片向智能节点的升级 [3] - 端侧智能的核心优势在于降低时延、增强隐私保护、节省带宽资源,尤其适用于对实时性和可靠性要求高的物联网应用 [3] 市场合作与生态建设 - 公司已与多家国际国内一线客户达成合作,并与业界领先的大模型平台建立对接机制 [3] - 正推动多款芯片和开发套件适配相关大模型平台,方便下游客户在熟悉生态中快速完成接入与开发 [3] - 开发者可在智能家居、可穿戴设备、工业物联网等场景便捷部署具备感知、学习和决策能力的终端设备 [3] 整体AI战略方向 - 公司核心战略方向之一是让人工智能从云端下沉到终端设备 [3] - 通过在芯片侧预置机器学习能力,再结合云端大模型协同,有望形成云—边—端一体化的AI服务体系 [3] - 未来公司将继续围绕低功耗无线物联网芯片与端侧AI的协同发力,在多元化应用场景中推动产品落地 [4]
关于端侧大模型芯片化的若干趋势思考......
自动驾驶之心· 2025-10-23 00:04
文章核心观点 - 算法、框架和部署技术的演进正深刻影响未来端侧芯片的设计,当前端侧芯片在支持大模型时面临效率未达上限的挑战 [1][2] - 视觉与语言大模型带来的性能飞跃使Transformer架构支持势在必行,但其计算复杂度对端侧设备的算力和带宽提出巨大需求 [4] - 线性注意力、动态稀疏MoE、低比特量化和Token压缩是未来端侧芯片设计需重点关注的四大确定性技术趋势 [5][7][11][14] 注意力机制演进对芯片设计的影响 - Transformer自注意力机制的计算复杂度与序列长度呈平方关系,对prefill阶段算力和decode阶段带宽构成挑战 [4] - 线性注意力机制通过核函数近似将计算复杂度降至线性水平,RWKV、Mamba、DeltaNet等属此路线 [5] - 稀疏注意力通过将序列长度n变小来突破瓶颈,DSA、MoBA等技术是典型代表,今年ACL最佳论文DSA即属此类 [5] - 对端侧芯片而言,注意力机制变体影响有限,只要算子可融合则计算效率依然高,通道数、head数及SRAM容量是更关键瓶颈 [5] 动态稀疏与MoE技术的影响 - MoE技术在推理阶段只激活部分专家,14B稠密模型与30B-A3B稀疏模型相比,后者性能更好且推理时省算力、省带宽 [8] - 单batch场景下MoE优势明显,但多batch decode阶段带宽需求几乎等同于30B稠密模型,此时反而不如稠密模型 [8] - 蚂蚁集团MoE模型(100B-A6.1B及端侧16B-A1.4B)展现出稀疏性加大趋势,未来MoE技术将驱动芯片向大内存、中带宽、中算力方向发展 [9] - MoE模型压缩是工业界需关注的重点,例如MoNE等工作致力于降低内存需求 [9] 低比特量化技术趋势 - Deepseek采用FP8训练开启低比特量化新时代,端侧大模型对4bit及以下量化有更激进需求 [11] - 技术呈现四大特性:权重专用量化(如GPTQ、AWQ)以解决decode带宽瓶颈;低精度浮点与定点数两条技术路线;细粒度量化提升精度;动态与静态量化的权衡 [11][12] - 混合量化是未来趋势,尤其适合处理大模型层内层间数值不平衡问题,在MoE模型上有更大应用潜力 [12] Token压缩技术的影响 - Token维度压缩极大降低端侧大模型应用门槛,视觉Token数量远超文本Token且冗余度高,是压缩重点 [14] - FastV、PyramidDrop、Holov、LightVLM、SpecPrune-VLA等工作近期呈现井喷式发展 [14] - 对芯片设计而言,Token压缩技术是纯收益,能够直接降低计算量 [14]
上海:支持人形机器人产品研发和量产制造,推进端侧芯片、灵巧手、电池等核心零部件加快产业化突破
证券时报网· 2025-10-14 09:49
行业政策方向 - 上海市印发《上海市智能终端产业高质量发展行动方案(2026-2027年)》以推动产业高质量发展 [1] - 方案提出强化机器人终端能力,打造能听会道、有情商、有智商、有技能的人形机器人产品 [1] - 支持人形机器人产品研发和量产制造,推进端侧芯片、灵巧手、电池等核心零部件加快产业化突破 [1] 产业链发展重点 - 推动工业机器人整零协同,聚焦关键零部件、高端整机等薄弱环节,补全产业链短板 [1] - 加速机器人终端产品向消费级市场渗透,打造陪伴机器人、家庭机器人等消费级产品 [1]
好上好:AI方面已与摩尔线程、星宸科技等厂商合作并取得初步成效
巨潮资讯· 2025-09-05 08:00
AI产业链布局 - 公司自去年起开始布局AI产业链 目前已在GPU领域取得进展 与国产厂商摩尔线程合作推广应用于AIoT及小型数据中心等场景的GPU产品 [2] - 部分原有ASIC原厂如星宸科技已在端侧芯片中集成小算力AI功能 公司协助原厂在客户端推广并取得初步成果 [2] - 未来将继续依托技术团队应用方案设计经验和市场理解 与原厂紧密合作推动生态协同建设 积极挖掘AI市场潜力 [2] 国产原厂合作进展 - 已与多家国产原厂展开合作 工业汽车领域川土微电子隔离产品表现突出 成功推广进入多个行业头部客户 [2] - 格见DSP产品在国内具有显著特色 接口类产品如基石创新在多个应用场景实现客户导入并进入批量生产阶段 [2] - 相关产品已在工业汽车领域实现规模化应用 [2] 财务表现 - 上半年实现营业收入38.84亿元 同比增长16.13% [2] - 归属于上市公司股东的净利润3361.14万元 同比增长71.05% [2]
上海启动“人工智能+”行动,端侧芯片等获重点支持
选股宝· 2025-09-02 23:35
上海市人工智能+行动政策 - 上海市经济信息化委发布2025年度人工智能+行动项目申报通知 支持人工智能高性能训练 推理芯片及端侧芯片研发应用 支持建设人工智能基础软硬件系统 支持适配异构芯片训练 推理协同优化和加速技术 加快超大规模智算集群技术突破和组网应用 [1] 端侧AI行业市场规模 - 头豹研究院预测2028年中国端侧AI行业市场规模将突破1.9万亿元 [1] - AI大模型破圈及AI智能眼镜 AI手机等设备市占率提升带动端侧AI算力需求上行 [1] 端侧AI芯片技术需求 - 端侧AI核心诉求是在本地完成复杂模型推理 要求芯片在性能和功耗上取舍 需要具备高能效比的专用算力 [1] - 以NPU为代表的AI芯片成为关键 [1] - 端侧AI SoC芯片公司受益于端侧AI硬件渗透率释放 一二季度业绩体现高增长 [1] - 2季度末3季度初AI眼镜密集发布 后续展望乐观 [1] 相关公司动态 - 星宸科技拟收购蓝牙芯片设计公司富芮坤53.31%股权 打造领先业内的完整SoC自研IP平台 [2] - 恒玄科技BES2700 BES2800等芯片已在客户智能眼镜 无线麦克风 录音笔等项目中量产落地 [2]
【国信电子胡剑团队】晶晨股份:二季度出货量创历史新高,在手及预期订单充裕积极备货
剑道电子· 2025-08-22 02:59
核心财务表现 - 二季度营收18.01亿元 同比增长9.94% 环比增长17.72% [4] - 二季度归母净利润3.08亿元 同比增长31.46% 环比增长63.90% [4] - 上半年营收33.30亿元 同比增长10.42% 归母净利润4.97亿元 同比增长37.12% [4] - 剔除股份支付费用影响后上半年归母净利润为5.20亿元 [4] 盈利能力与成本控制 - 二季度综合毛利率37.29% 环比提升1.06个百分点 [5] - 管理费用环比下降14.16% 销售费用环比下降75.67% [5] - 研发费用保持平稳约3.76亿元 [5] 运营与订单状况 - 存货环比增加4.66亿元至18.53亿元 预付款项环比增加6.02亿元至6.21亿元 [5] - 增加备货主要因在手及预期订单充裕 [5] - 预计2025年第三季度及全年经营业绩将同比进一步增长 [5] 产品出货表现 - 单二季度出货量接近5千万颗创历史新高 [6] - 智能家居类产品销量同比增长均超过50% [6] - 19款携带算力的端侧芯片上半年出货超900万颗 超过2024年全年销量总额 [6] - Wi-Fi芯片上半年销量超800万颗 其中二季度突破500万颗 [6] - Wi-Fi6芯片二季度销量超150万颗 环比增长120%+ 占W系列比例上升至近30% [6] - 6nm芯片二季度销量突破250万颗 上半年累计出货超400万颗 [6] 技术进展与新品布局 - Wi-Fi AP芯片已顺利完成流片 [6] - 积极开发高精度电子图像校正、匹配及稳像等产品 [6]
我国算力总规模位居全球第二!寒武纪涨超11%,再创新高!科创50指数ETF(588870)涨超1%!机构:坚定看好自主可控与端侧AI
新浪财经· 2025-08-14 06:16
科创50指数ETF表现 - 科创50指数ETF(588870)盘中涨幅超2% 收盘仍涨1.18% 成交额达5130.90万元 换手率17.93% [1] - 该ETF年内份额增长率超18% 持续领先同类产品 当前流通盘2.55亿份 流通值2.8亿元 [1] - 标的指数成分股中寒武纪涨11.45% 市值首破4000亿元 海光信息涨9.58% 中芯国际涨1.43% [2][3] 半导体行业动态 - 国产AI算力芯片加速迭代 寒武纪拟定增39.85亿元投资大模型芯片 沐曦发布国产旗舰GPU [3] - 模拟IC呈现"量增价稳"趋势 中芯国际和华虹Q2业绩说明会均强调车规模拟IC的国产替代机遇 [4] - 2025年全球半导体增长保持乐观 AI驱动下游需求 存储/功率/代工/ASIC/SoC领域业绩弹性显著 [5] 数字基础设施发展 - 中国5G基站总数达455万个 千兆宽带用户2.26亿户 算力总规模全球第二 [1] - 国产算力厂商聚焦互连技术创新与系统方案输出 通过算力集群构建支撑AI大模型训练需求 [6] 投资产品特征 - 科创50指数ETF(588870)管理费率0.15% 托管费率0.05% 为全市场最低档 [7] - 该ETF覆盖芯片/医药/电力设备/计算机等新质生产力板块 跟踪科创板50只龙头股 [7]
中欧基金科技战队:制造「工业化」星舰,穿越AI光变纪元
凤凰网财经· 2025-03-22 10:16
核心观点 - 中欧基金科技研究小组预判国产大模型能力将逐步追赶并超越GPT-4水平,并在2025年达到GPT-o1水平,这一预判在DeepSeek问世后得到验证[3] - AI行业变化速度极快,对投研的全球性和时效性提出前所未有的挑战,传统景气度跟踪方法难以适应[3] - 中欧科技战队通过工业化组织样本应对AI快节奏:更早更广的行业覆盖、专业化分工和流程化协作、平等沟通机制[4] 投研团队建设 - 中欧科技战队建立了对AI行业更早更广覆盖的投研平台,称为"曲速引擎",包括人工智能、机器人、通信等专门研究员配置[5] - 科技领域在中欧指数产品布局占比较大,第一只指数产品是机器人、第二只是芯片、第三只是软件,覆盖上下游全产业链[5] - 投研团队采用"勾稽关系"工作方法,通过产业链各环节研究员相互验证,如光模块研究涉及上游光器件、大模型发展、半导体代工数据三个研究员交叉验证[7] 前瞻性判断案例 - 2023年中欧内部对机器人机会达成共识,提出三个投资关键要素:先发优势、端到端大模型能力、应用场景[6] - 杜厚良在2023年下半年就预判算力国产化将是未来科技领域最大变化,提出先进制造竞争格局集中和国产算力芯片市场空间新增两条逻辑[6] - 周蔚文2013年开始关注工业机器人,2014年重仓机器人股票,2023年提出人形机器人机会,预测2030年可能达到1亿台,再过五年可能10亿台[6] 投研协作机制 - 团队成员各有所长:冯炉丹擅长AI,钟鸣擅长智驾和机器人,刘伟伟和代云锋擅长算力,刘金辉擅长计算机,王颖擅长互联网,邵洁擅长端侧芯片[7] - 采用平等透明的沟通机制消除层级边界,鼓励分歧交锋,如冯炉丹与周蔚文就持仓展开讨论,刘伟伟在算力回调时基于不同观点做出投资决策[8] - 通过历史数据统计发现行业连续两年大幅跑赢市场后第三年超额收益概率降低的规律,作为投资参考[8] 投资理念 - 周蔚文强调洞见的重要性,认为知道大家都知道的信息无法赚钱,必须依靠团队产生超越市场的洞见[10] - 投资既要抓住产业趋势也要关注长期价值,不轻易判断泡沫,而是先预期基本面变化[8] - 受《第五项修炼》、《惠普之道》影响,中欧基金倡导平等自由的组织文化,让洞见在团队中涌现[11]