Workflow
大语言模型
icon
搜索文档
公司问答丨云天励飞:公司开发了自研AI驱动产品噜咔博士AI毛绒玩具 预计将于2025年第三季度推出
格隆汇APP· 2025-08-26 09:35
公司产品与技术 - 公司依托大模型IFMind和自主研发的嵌入式声纹模型开发了自研AI驱动产品噜咔博士AI毛绒玩具 该产品是一款数码赋能儿童陪伴产品 [1] - 产品通过多模态视觉识别技术模拟真实喂养场景 旨在培养儿童责任感 [1] - 公司未来将持续利用IFMind大模型推理能力改进消费电子产品与AI耳机 AI手表等可穿戴设备作为AI赋能产品 [1] 产品上市计划 - 噜咔博士AI毛绒玩具预计将于2025年第三季度推出 [1] - 目前该AI毛绒玩具产品正在积极推进中 做上市前的准备工作 [1] 行业市场动态 - AI玩具是融合大语言模型技术的新一代玩具 今年以来AI玩具市场火热 销量大幅度上涨 [1] - 据《央视财经》报道 AI玩具销量暴增600% 市场被描述为又一千亿级大市场 [1]
ChatGPT到底学了多少「污言秽语」?清华团队首提大语言模型中文语料污染治理技术
机器之心· 2025-08-25 23:38
中文词表污染问题研究 - 清华大学、南洋理工大学和蚂蚁集团的研究团队发现GPT-4o/o1/o3/4.5/4.1/o4-mini的中文词表污染率高达46.6%,包含大量色情和赌博相关词元如「波*野结衣」和「大发时时彩」[3][6] - 研究团队对OpenAI近期发布的GPT-5和GPT-oss的词表进行分析,发现其中文token没有变化[4] - 中文污染词定义为存在于LLM词表中、从主流中文语言学角度编译不合法、不常见、不常用内容的中文词(多于2个字)[12] 污染词分类与危害 - 中文污染词分为五类:成人内容(如「波*野结衣」)、在线赌博(如「大发彩票网」)、在线游戏(如「传奇私服」)、在线视频(如「在线观看」)和奇怪内容(如「给主人留下些什么吧」)[13][14] - 专家标注团队对ChatGPT模型的中文长词(1659个)进行标注,发现污染词有773个(46.6%),其中成人内容污染词最多(219个,13.2%)[13] - 输入中文污染词会显著降低ChatGPT的回答质量,在解释和重复任务上有约50%的性能损失(例如GPT-4o在解释任务上性能下降44.3%,在重复任务上下降41.8%)[17][18] 污染检测与自动化识别 - 研究团队微调GLM-4-32B构建自动化中文污染词识别模型,通过设计网络检索机制(返回10条Google检索信息)达到97.3%的识别正确率[23] - 识别模型对23个主流LLM的9个词表进行检测,发现中文污染词普遍存在,其中成人内容、在线赌博和奇怪内容占大多数[23] - 上一代ChatGPT模型(GPT-4/4-turbo/3.5)包含很少表征多个中文字的token,但不包括中文污染词[24] 污染追踪与数据治理 - 研究团队通过LLM词表反向估计训练数据污染情况,结合Zipf分布和上下确界理论拟合词ID-词频的经验估计,为海量数据治理提供轻量化方案[29][30][31] - 估计结果显示「波*野结衣」相关页面在GPT-4o中文训练语料占比高达0.5%,是中文常用词「您好」的2.6倍[35] - 在无污染开源数据集上按0.5%比例混合「波*野结衣」相关页面,能准确复现4个相关词在GPT-4o词表中的词ID[35][40] 污染数据的潜在价值 - 哈佛大学ICML 2025文章指出预训练中适量的污染数据可作为对齐模型的催化剂,当有害数据适量时(10%),有害表征更容易被区分[37][39] - 实验显示按0-25%不同有害数据比例预训练Olmo-1B模型,适量(10%)有害数据预训练的模型在应用抑制方法后有害性最低,甚至低于不包含有害数据的预训练模型[39] 研究影响与应用 - 研究团队于2025年5月29日在清华大学基础模型学术年会上首次分享,并提出针对10T级大语言模型训练语料库的污染数据治理技术[8] - 央视于2025年8月17日新闻中指出AI数据被污染存在风险[9] - 该研究为LLM海量训练语料治理提供轻量化解决方案,项目网站为https://pollutedtokens.site/[6][7][41]
运动控制行业深度:人形机器人“小脑”有望成为主赛道
2025-08-25 14:36
行业与公司 * 运动控制行业 特别是人形机器人领域的运动控制(小脑)环节[1] * 工业机器人行业[5] * 涉及的公司包括第三方运动控制平台公司(如顾高、雷赛、华中)[22][23] 以及一体化布局的机器人公司(如拓斯达、埃斯顿、埃夫特)[19][24][25] 核心观点与论据 * 人形机器人发展重心从硬件转向软件 软件是通用人形机器人的核心痛点[1][2] * 人形机器人控制系统分为大脑(算力平台)和小脑(运动控制) 大脑技术快速迭代对小脑的响应速度和控制精度提出更高要求 从而提升小脑价值量[1][3] * 现代化人形机器人运动控制采用分散式多级结构 通过整体运动控制器下接多个MCU以均衡计算负担并降低延迟[6] * 未来人形机器人将更注重极致性能 推动独立小脑(运动控制平台)的出现 其价值量预计持续提升[7][8] * 人形机器人控制方式从工业机器人的预编程指令转向结合大语言模型(如VLA模型)和视觉模块 将任务指令映射为动作要求 以此降低算力需求和能耗 提高响应速度与效率[1][11] * 未来通用人形机器人将采用结合VLA模型和传统工业运控系统的混合架构 降低对GPU算力及电耗需求 提升响应速度与精度[3][13][14] * 小脑商业模式主要有三种:第三方运动控制平台(如西门子模式)、一体化布局(如拓斯达、埃斯顿)、深度合作定制化开发运控系统[19] * AI大模型主要用于优化运动控制系统中的数学计算过程 而非直接实现最终结果[21] * 随着大脑性能提升(如Figure发布的双系统大模型 其中小模型参数量为8000万 推理速度从每秒生成几个控制信号提高到每秒上百个信号) 对小脑性能要求更高 未来趋势是采用更多参数量小但架构优化、推理速度快(如100赫兹到200赫兹 甚至可能达到1000赫兹)的小模型[16] 其他重要内容 * 工业机器人的运动控制系统包括运动控制器、伺服驱动、电机和传感器 其基本工作原理是控制器接受输入信号 通过计算解码后转化为每个执行器的控制量 并通过伺服驱动传递电信号至电机 完成末端驱动[5] * 工业机器人多关节联动控制面临摩擦、惯性干扰等复杂变量 需要通过编码器进行位置检测 实现闭环回路来减少误差[10] * 人形机器人的上肢与下肢分别采用独立系统(上肢称为manipulation 下肢称为local motion)以简化建模过程[12] * 运动控制模块在工业应用中主要提供通用平台 企业可根据自身需求进行二次开发 运动控制企业与主机厂之间是合作关系[20] * 具备竞争优势的公司展示了强大的多轴联动控制、高精度误差补偿和低延迟能力 例如雷赛实现了灵巧手驱控一体化及人形机器人运动控制器开发[22][23] * 工业机器人企业通过自研或收购技术向上游延伸以增强运动控制技术储备 例如拓斯达与华为合作微调大模型来实现类人形结构[24]
大模型能否为不同硬件平台生成高性能内核?南大、浙大提出跨平台内核生成评测框架MultiKernelBench
机器之心· 2025-08-25 02:48
深度学习内核生成技术现状 - 深度学习模型的计算依赖底层计算内核执行矩阵乘法、卷积等核心算子运算 这些内核通常需开发者使用CUDA、AscendC等硬件专用语言手工编写 要求极高的性能调优技巧和硬件架构理解[2] - 大语言模型在代码生成领域的突破使"自动生成高性能深度学习内核"成为研究热点 KernelBench、TritonBench等评测基准聚焦评估LLM在NVIDIA GPU内核生成表现[2] - 研究表明现有LLM已具备一定GPU内核生成能力 例如英伟达工程师基于DeepSeek-R1的工作流程在简单CUDA内核生成任务中达到100%通过率[2] 多平台内核生成挑战与解决方案 - AI加速器架构日趋多样(NVIDIA GPU、华为昇腾NPU、Google TPU、Intel GPU等) 底层内核语言差异显著 现有评测基准存在平台覆盖单一、评估维度粗糙、可扩展性不足等局限[3] - 南京大学与浙江大学联合推出开源评测框架MultiKernelBench 打破平台、维度与扩展性限制 为LLM驱动的高性能内核生成提供新测评标准[3] - MultiKernelBench设计充分考虑算子多后端可扩展性 Intel工程师基于该框架高效实现了Intel GPU适配 仅需少量代码修改即可支持SYCL后端[7][8] MultiKernelBench框架架构 - 采用模块化评测体系包含四大核心特性:跨硬件平台支持、细粒度任务体系、端到端自动化评测、类别感知One-shot提示策略[9][11][14][16] - 首批覆盖三大主流架构:NVIDIA GPU(CUDA/Triton)、华为昇腾NPU(AscendC)、Google TPU(Pallas) 通过统一Backend接口与装饰器机制实现快速接入新平台[9][13] - 任务体系覆盖14类核心深度学习算子(卷积、归一化、优化器等) 继承250个经典任务并新增35个关键算子 总计285个任务[11][12] - 构建标准化流程:内核生成→编译→硬件执行→性能分析 确保在真实硬件环境完成全流程验证[14] - 针对不同算子类别动态选取典型样例作为上下文提示 显著提升生成代码语义相关性与功能正确性 尤其在AscendC、Pallas等训练语料稀缺平台效果显著[16] 多模型性能评估结果 - 评估7个主流大模型(GPT-4o、Claude、DeepSeek-V3、Qwen等) 参数规模涵盖32B~681B 评估指标包括编译通过率(Comp@1)、功能正确率(Pass@1)和性能优化率(SpeedUp@1)[19][21] - Claude-Sonnet-4在整体评测中表现最佳:CUDA平台Pass@1达47% SpeedUp@1达20.4%;Pallas平台Pass@1达8.4% SpeedUp@1达7.7%;总通过数164个[20] - DeepSeek-R1在CUDA平台表现突出:Pass@1达52.6% SpeedUp@1达26.0%[20] - 平台对比显示:CUDA平台通过率显著高于Pallas与AscendC 反映LLM对CUDA更具适应性;类别感知式Prompting明显优于通用模板 尤其在低资源平台显著提升生成效果[27] 技术局限与未来方向 - 当前最先进LLM在多平台高性能内核生成任务中存在明显短板:非CUDA平台成功率显著下降 生成代码性能普遍落后于手工优化版本[23] - 未来重点探索方向:开发反馈式、文档增强等新型提示方法提升低资源平台生成质量;实现多平台版本同步生成与优化思路共享;与社区合作接入更多新平台覆盖异构计算全景[24][27] - 框架已全面开源 包含全量数据集、框架代码与评测流程 邀请研究者与工程师贡献平台支持共同推动多平台高性能内核自动生成发展[24]
中信证券:短期建议关注具身模型行业的资本布局者及数据采集卖铲人
第一财经· 2025-08-25 00:58
模型架构发展 - 大语言模型、大型视觉模型与动作模型融合是当前架构主旋律 [1] - 基于扩散模型的流匹配算法在短期逐渐占据主导地位 [1] 数据战略竞争 - 强资本开支企业以真实数据采集为突破口构建竞争壁垒 [1] - 合成数据及互联网数据因规模化与泛化属性成为重要价值底色 [1] - 数据样方理念持续兴起 预训练及后训练需与数据属性有机结合 [1] 技术赋能方向 - 世界模型对合成数据和策略评判具备规模化赋能潜力 [1] 投资关注重点 - 短期建议关注具身模型行业资本布局者及数据采集卖铲人 [1] - 长期维度建议关注云计算及算力提供者 [1]
国泰海通:scale up带动交换芯片新需求 国内厂商市场份额有望逐步提升
智通财经网· 2025-08-24 23:35
行业技术趋势 - 大模型参数规模从千亿向十万亿级别演进 推动数据并行 张量并行 流水并行 专家并行等多种策略发展[2] - Scale up网络因带宽显著高于跨服务器Scale out网络 成为构建高带宽低延迟网络的主流技术方案[2] - 海外GPU互联规模从几十卡向数百卡演进 AI定制芯片互联规模达几十卡到上千卡[3] 市场规模预测 - 中国交换芯片总规模预计2025年达257亿元 2026年356亿元 2027年475亿元[1] - 交换芯片市场规模同比增速预计2025年61% 2026年39% 2027年33%[1] 国产化进程 - 当前交换芯片整体国产化率较低 高端芯片市场由博通 迈威尔 英伟达等海外厂商主导[1] - 华为昇腾实现384颗芯片互联 百度昆仑芯支持32卡/64卡互联[3] - 中兴超节点服务器内置16计算节点和8交换节点 GPU通信带宽达400GB/s至1.6T/s[3] - 新华三UniPod系列支持以太网和PCIe互联 可适配不同AI芯片构建系统[3] 技术路线格局 - Scale up交换领域将以太网 PCIe 私有协议(包括NVLink和UB协议)并存[3] - Scale out领域以太网凭借开放生态和成本优势占据主导 InfiniBand保持部分份额[3]
从零开始!自动驾驶端到端与VLA学习路线图~
自动驾驶之心· 2025-08-24 23:32
端到端与VLA自动驾驶技术发展 - 端到端自动驾驶技术涉及多模态大模型、BEV感知、强化学习、视觉Transformer、扩散模型等多个领域技术栈 [32] - 技术发展从模块化方法演进至端到端范式 包括一段式、二段式和VLA范式 [36] - VLA(视觉语言动作)成为当前端到端自动驾驶的皇冠技术 上限高且业内招聘需求旺盛 [46] Transformer与大语言模型基础 - Transformer架构核心是注意力机制和多头注意力 通过基础模块堆叠形成Encoder和Decoder [11][13] - Token化采用BPE、Word-Piece等方法 通过合并高频字符实现压缩 [9][13] - 位置编码使用正弦和余弦函数 使模型记住词序且位置偏移量与当前位置呈线性关系 [9][13] 视觉与语言模型对齐技术 - CLIP是视觉与大模型对齐的广为认知的技术 为多模态大模型奠定基础 [18] - 视觉Transformer扩展了Transformer的基本概念 成为多模态模型重要组成部分 [43] - LLAVA等模型进一步推进了视觉语言模型的发展 [43] 课程内容体系设计 - 第一章介绍端到端算法发展历史、范式优缺点及学术界工业界动态 [36] - 第二章重点讲解大语言模型、BEV感知、扩散模型、强化学习等背景知识 [37][43] - 第三章分析二段式端到端 涵盖经典算法PLUTO、CVPR'25的CarPlanner和最新Plan-R1 [38] - 第四章深入一段式端到端子领域:基于感知的UniAD、基于世界模型的Drive-OccWorld、基于扩散模型的DiffusionDrive及基于VLA的ORION [39][41][44][46] - 第五章设置RLHF微调大作业 实现从理论到实践的完整闭环 [48] 技术人才市场需求 - VLA/VLM大模型算法专家岗位薪资达40-70K-15薪 要求3-5年经验硕士学历 [29] - VLA/VLM/LLM算法工程师薪资40-70K-15薪 不限经验但要求深度学习机器学习背景 [29] - VIA模型量化部署工程师薪资40-60K-15薪 要求1-3年经验及模型加速技能 [29] 课程特色与优势 - 采用Just-in-Time Learning理念 通过通俗语言和案例快速掌握核心技术栈 [33] - 帮助学员梳理研究发展脉络 形成自己的研究体系和工作经验 [34] - 配备实战环节包括Diffusion Planner和ORION开源推理评测模块 [44][46] - 学员结课后可达1年左右端到端自动驾驶算法工程师水平 [53] 讲师资质与课程安排 - 讲师Jason为C9本科+QS50 PHD 发表CCF-A论文2篇 现任TOP主机厂算法专家 [24][49] - 课程8月15日开课 预计三个月结课 采用离线视频教学+vip群答疑模式 [52] - 章节解锁时间安排:第一章8月01日、第二章8月15日、第三章8月30日、第四章9月15日、第五章10月30日 [53]
开普云: 开普云信息科技股份有限公司重大资产购买暨关联交易预案
证券之星· 2025-08-24 18:20
交易方案概述 - 公司拟通过支付现金方式收购深圳市金泰克半导体有限公司持有的南宁泰克半导体有限公司70%股权 [1][7][10] - 交易对方金泰克需将其存储产品业务的经营性资产转移至南宁泰克 [7][10] - 标的资产交易价格将以符合证券法规定的评估机构出具的评估结果为基础协商确定 [10][13] - 本次交易支付方式为现金支付 资金来源为公司自有资金或合法自筹资金 [13][45] 交易标的与交易对方 - 交易标的为南宁泰克半导体有限公司70%股权 标的公司主要从事存储器的研发、生产和销售 [10][13] - 标的公司所属行业为计算机零部件制造(C3912) 符合科创板行业领域 [10][40] - 交易对方为深圳市金泰克半导体有限公司 为专业从事存储产品及解决方案的企业 [10][13] 交易性质认定 - 根据标的公司2024年度营业收入占上市公司比例高于50%的初步判断 本次交易预计构成重大资产重组 [14][45] - 因控股股东股份协议转让安排 交易对方关联方将持有公司5%以上股份 本次交易构成关联交易 [15][46] - 交易完成后公司实际控制人仍为汪敏先生 不导致控制权变更 不构成重组上市 [15][46] 标的公司业务特点 - 标的公司金泰克主营产品包括内存、固态硬盘、嵌入式产品等 涵盖消费类、工业控制级和企业级应用领域 [38][40] - 标的公司在内存颗粒芯片级和系统级筛选检测、修复等技术方面具备核心技术积累 产品性能达到国际先进水平 [38][39] - 标的公司客户集中度较高 前五大客户销售额占主营业务收入比例较高 [30] 协同效应分析 - 技术研发协同:开普云AI产品需要高性能存储支持 双方可联合研发优化存储架构与软件技术融合 [36][41] - 产品整合协同:金泰克存储产品可集成到开普云整体解决方案中 实现垂直整合降低采购成本 [36][42] - 市场协同:开普云政府及大企业客户基础与金泰克企业级存储客户群可形成销售渠道互补 [37][42] - 供应链协同:金泰克制造能力可为开普云AI算力基础设施提供稳定供应 减少外部供应链波动 [36][42] 交易对公司影响 - 交易完成后公司将新增存储产品相关业务 业务范围拓展 综合竞争力提升 [15][48] - 标的公司注入将提升公司合并营业收入与净利润 打造新盈利增长点 [38][48] - 交易为现金支付 不涉及发行股份 不会导致公司股权结构变化及每股收益摊薄 [17][23] 审批程序进展 - 已履行程序:董事会及监事会原则性同意并通过相关议案 [18][49] - 尚需履行程序:需再次召开董事会、股东大会审议正式方案 可能需有关审批机关批准或许可 [18][49]
再论寒武纪20250822
2025-08-24 14:47
涉及的行业或公司 * 行业涉及人工智能AI芯片、大语言模型和深度推理模型[1][3] * 公司包括寒武纪、字节跳动、英伟达、华为、阿里巴巴、百度、腾讯、岁元、沐曦、浪潮[2][7][13][15] 核心观点和论据 * Deepseek V3.1版本整合大语言模型和深度推理模型 提高回答质量 降低换句率 在某些方面超越GPT-5[3] * FP8数据格式使用8位浮点数 相比FP16降低算力消耗 Deepseek早期采用并开源 成为全球通行标准[4][5] * UE8M0 FP8去掉正负号位 简化为7位实数 进一步减少算力消耗 针对华为920和寒武纪690等下一代国产芯片优化[6][16] * 字节跳动为国内最大AI芯片采购商 2025年投入600亿元 2026年可能达到800亿元[2][8][17] * 英伟达2026年主要提供B30和B40芯片 存在互联能力和HBM等问题 难以满足字节跳动需求 市场份额可能下降[2][9][10] * 寒武纪与字节跳动完成大规模适配 优先于其他厂商 在字节跳动2026年采购中占据有利地位[2][11][13] * 寒武纪向大客户提供690芯片样品 测试结果良好 正式流片后开始大规模采购[2][12][18] * 寒武纪2024年收入约10亿元 2025年预计达到100亿元 2026年收入可能增长至300-500亿元[12][14][17] * 寒武纪费用固定 利润弹性高 若2026年收入300-500亿元 利润可能达到200多亿元[12][14][18] * 国内AI芯片市场竞争格局集中 华为和寒武纪稳居第一梯队 其他厂商进入取决于自身努力和大厂采购测试[7][13][16] 其他重要内容 * 字节跳动几千个模型只适配寒武纪的卡 国产卡在推理应用中表现出色[10][17] * 寒武纪使用斯米克n加2工艺 供给无虞[18] * 浪潮等合作伙伴预期提升 寒武纪出产芯片带动服务器利润率和浪潮股价上涨[15] * 英伟达估值中枢约45倍PE 国内AI芯片增速更快 寒武纪合理估值60倍PE 当前4000亿元市值仍有增长空间[14][18]
Chain-of-Agents: OPPO推出通用智能体模型新范式,多榜单SOTA,模型代码数据全开源
机器之心· 2025-08-23 04:42
文章核心观点 - 提出全新智能体推理范式Chain-of-Agents(CoA)以解决传统多智能体系统通信效率低、泛化能力有限及缺乏数据驱动学习能力的问题 [2][3] - CoA框架通过层次化智能体架构实现端到端多智能体协作 显著降低推理成本并提升性能 [6][8] - 基于CoA训练的Agent Foundation Model(AFM)在近20项复杂任务基准测试中刷新性能记录 包括多跳问答、代码生成和数学推理等领域 [6][18][24][25][27] 技术架构 - CoA采用角色型智能体(思考/计划/反思/验证)与工具型智能体(搜索/爬取/代码)的层次化架构 支持动态激活机制 [10][13] - 通过多智能体能力蒸馏将OAgents成功轨迹转换为CoA兼容格式 生成约87k条SFT轨迹数据用于监督微调 [11][14][15] - 强化学习阶段采用约85k条高质量任务数据 通过策略抽样优化高难度任务表现 [16] 性能表现 多跳问答任务 - AFM-RL在7个数据集上达成平均性能新高 以Qwen-2.5-7B-instruct为基准时平均准确率达45.5% 较ZeroSearch提升6.4% [19] - 多跳问答任务提升显著 表明其在任务分解与工具使用方面具有更强能力 [19] 复杂网页搜索任务 - AFM(Qwen-2.5-32B-Instruct)在GAIA基准实现55.4%通过率 领先WebSailor 2.2%和WebDancer 3.9% [24] - 在BrowseComp任务以11.1%成功率居32B模型首位 WebWalker任务准确率达63.0% 超过WebThinker-RL 16.5% [24] 数学推理能力 - AFM-RL-7B在五个数学基准平均准确率64.3% 较次优模型SimpleTIR-7B-Multi提升3.6% [26] - AFM-RL-32B平均准确率78.0% 领先ReTool-32B达3.6% 在AIME25和OlympiadBench分别实现10.5%和5.7%绝对提升 [26] 代码生成能力 - AFM-RL-32B在LiveCodeBench v5准确率47.9% CodeContests成绩32.7% 显著超越TIR方法 [6][27][28] - 与基础模型相比 AFM通过RL优化后在7B与32B模型上平均准确率分别提升8.5%和13.2% [27] 效率优势 - AFM将推理成本(token消耗)减少高达85.5% 在工具调用效率和token消耗维度均表现最优 [6][33] - 在GAIA数据集测试中 AFM工具调用次数最少 且提示工程token消耗最低 [33] 技术局限与展望 - 当前角色型智能体类型需预先定义 未来需探索动态角色生成机制以增强未知任务适应性 [39] - 现有工具以文本为主 需融合图像/语音等模态工具扩展应用场景 [39] - 针对长周期任务需设计更高效的智能体状态记忆与历史轨迹复用策略 [39]