频谱到信号原理(SSP)
搜索文档
啊?微博7800美元训的大模型,数学能力超了DeepSeek-R1
量子位· 2025-11-18 05:02
文章核心观点 - 微博发布的自研开源大模型VibeThinker以15亿参数的小规模,在关键性能测试中击败了参数量大数百倍的巨型模型,实现了技术突破 [1][7] - 该模型的单次后训练成本仅为7800美元,成本效益比达到30到60倍,有望重塑行业成本结构并推动AI技术普惠化 [2][9][13] - 此次突破标志着行业可能从“参数竞赛”转向“效率革命”,为AI产业发展开辟了新路径 [3][7] 技术突破与性能表现 - VibeThinker模型参数量为15亿,通过优化模型结构和训练范式,创新性地采用“频谱到信号原理”(SSP)方法进行训练 [7] - 在AIME24、AIME25、HMMT25等高难度数学测试集上,其表现超越了参数量达6710亿的DeepSeek-R1模型,并与4560亿参数的MiniMax-M1效果接近或相当 [7] - 在LiveCodeBench v6编程算法题测试集中,VibeThinker成功追平参数量超其数十倍的模型,如Minstral.AI的Magistral-Medium-2506版本 [8] - 该模型目前专注于数学和代码等高智能应用场景,其研发重点集中于强化小模型的复杂推理能力,尚未对日常聊天能力进行优化 [8] 成本效益与行业影响 - 行业主流大模型单次后训练成本普遍在数十万美元级别,例如MiniMax M1模型成本约53.5万美元,DeepSeek R1后训练成本为29.4万美元 [10] - VibeThinker整个后训练过程仅消耗3900个GPU小时,总计算成本为7800美元,成本效益比达到惊人的30到60倍 [10][11][13] - 极低的成本门槛使强大的AI推理能力不再是大公司的专利,有望让更多中小型公司、研究机构和大学参与前沿AI创新,促进技术普惠化 [13] 微博AI战略与应用前景 - 微博已构建基于自研“知微”大模型的AI应用生态,并推出了微博智搜(月活跃用户突破5000万)和评论罗伯特(全网粉丝近200万)两大顶流AI产品 [15][16][21] - 公司计划深度融合其在心理等垂直领域积累的独特数据资产,旨在打造更洞悉公众情绪、服务社会化需求的专属模型 [17][18] - VibeThinker的技术突破有望大幅降低微博AI应用成本,优化智能搜索和实时互动场景的算力损耗,进一步释放生态创新能力 [19][20]
新浪微博发布其首个开源大模型 VibeThinker-1.5B
搜狐财经· 2025-11-13 21:18
新闻核心观点 - 新浪微博发布首个开源大模型VibeThinker-1 5B,提出“小模型也可以有大智慧”的理念,挑战了业界依赖巨量参数实现高性能的传统观念 [1][2] 模型性能表现 - 模型参数量为1 5B(15亿),远低于业界主流超过1T(万亿)参数的模型规模 [2] - 在AIME24、AIME25、HMMT25三个高难度数学测试集上,其表现超越了参数量超其400倍的DeepSeek-R1-0120版本(671B),并与456B的MiniMax-M1效果接近或相当 [2][5] - 在LiveCodeBench v6编程算法题测试集中,成绩追平了参数量数十倍于己的模型,如Mistral AI的Magistral-Medium-2506版本 [2] - 具体数学测试成绩为:AIME 2024得分80 3,AIME 2025得分74 4,HMMT得分5 [5] 技术创新与训练方法 - 性能提升源于创新的“频谱到信号原理”(SSP)训练方法 [2] - SSP方法在学习阶段鼓励模型发散探索所有可能的解题路径,而非仅关注正确率;随后通过强化学习进行高效策略优化,精准锁定正确路径 [5] - 该理念证明了实现高性能不再主要依赖推高参数量,而可通过巧妙的算法设计达成 [2] 成本与效率优势 - 模型的单次“后训练”成本不足8000美元 [6] - 对比DeepSeek-R1和MiniMax-M1的后训练成本分别为29万美元及53万美元,成本降低了几十倍 [6] 行业影响与开源意义 - 模型开源旨在为全球计算资源有限的中型企业及高校研究团队提供高性价比的研发新路径 [6] - 此举使得更多机构可以训练最前沿的大模型,降低了技术门槛,对业界技术进步至关重要 [6]