Scaling Law
搜索文档
晚点播客丨MiniMax 闫俊杰聊大模型 2024:一个非共识判断引起的回声
晚点LatePost· 2025-01-22 13:56
模型能力与用户规模关系 - 更好的模型可以导向更好的应用,但更好的应用和更多用户并不会导向更好的模型 [5] - 字节跳动发布 Doubao-1.5-pro 模型技术报告,提到通过用户数据飞轮持续提升模型实际使用体验 [5] - 行业误区认为更好的智能水平依赖更多用户,但实际并非如此 [7] MiniMax 公司概况 - MiniMax 的 AI 社区产品 Talkie 最新月活用户数已超 Character.ai,成为同类产品全球第一 [6] - 中国 AI 社区产品 "星野" 用户数、使用时长和留存率均为第一,高于字节旗下同类产品 [6] - 视频生成平台海螺 AI 是全球访问量最高的视频生成网站 [6] 技术驱动与开源策略 - MiniMax 开源新模型系列以加速技术迭代和加强技术品牌 [7] - 明确公司为技术驱动,追求模型能力上限提升而非依赖用户规模 [7] - 模型架构改进:将传统 Transformer 的非线性注意机制改为线性注意力机制,提升 long-context 处理能力 [29] Agent 与多模态发展 - Agent 需在专业领域达到专业人士水平,处理复杂任务 [25] - 多模态能力在 OpenAI AGI 路线图中占据重要位置 [39] - AI 编程助手 Cursor 的成功并非基于特定方向模型 [41] 市场竞争与公司定位 - 大模型竞争与移动互联网逻辑不同,更多人意识到这一差异 [01:11:19] - 未考虑被字节收购,公司目标非出售而是技术突破 [01:12:29] - 大厂投入和竞争激烈程度在预料之中 [01:16:28] 团队管理与 CEO 反思 - 公司需要两种人才:技术能力强和认知能力突出 [01:23:24] - CEO 决策关键在于组织有共同标准,而非个人决策 [01:26:56] - 去年反思最多的问题是认知能力提升速度不足 [01:32:08] 产品与用户洞察 - Talkie 和星野的领先优势源于更懂用户需求 [01:06:48] - 海螺文本的失利因未坚持技术驱动策略 [01:04:44] - 市场可同时容纳模型和应用公司,无需非此即彼 [01:01:38]
她为何被雷军挖角
投资界· 2025-01-21 07:35
公司背景与起源 - 公司DeepSeek(深度求索)为杭州AI企业 由幻方量化创始人梁文锋于2023年创立 团队源自浙江大学电子工程系人工智能方向[4][5][11] - 幻方量化成立于2015年 为中国头部量化私募机构 管理规模曾超千亿 被称为"量化四大天王"之一[6][11] - 公司拥有万张英伟达显卡集群 2020年投入10亿元建设"萤火二号"超算 为芯片禁令前稀缺资源储备[11] 技术突破与性能表现 - 2024年末发布开源大模型DeepSeek-V3 在多项基准测试中超越LLaMa 3.1 媲美GPT-4o和Claude 3.5[5] - 数学推理能力突出:MATH-500测试准确率达90.2% 超过LLaMa 3.1的73.8%和Claude 3.5的74.6%[15] - 代码生成优势显著:HumanEval-Mul测试通过率82.6% 高于LLaMa 3.1的77.2%和Claude 3.5的80.5%[15] - 创新"深度思考"功能 展示AI推理过程 增强答案可信度[13][14] 成本效率革命 - 训练成本仅557.6万美元 使用2048张H100 GPU 耗时53天 相当同行1/10资源消耗[6] - 预训练仅需266.4万GPU小时 为LLaMa 3.1的1/11(3080万GPU小时)[18] - API定价极具竞争力:输入每百万tokens收费1元 输出2元 仅为GPT-4 Turbo价格的1.4%-0.9%[9][10] 技术创新路径 - 采用MLA(多头潜在注意力)架构 压缩数据提升计算效率 减少算力需求[9][16] - 首创FP8混合精度训练框架 降低数据精度至8位 大幅节省存储和计算资源[16][17] - 应用DualPipe跨节点通信优化 减少GPU流水线并行中的"计算气泡" 提升资源利用率至行业5倍以上[18][20] 行业影响与定位 - 被海外专家称为"AI界拼多多" 迫使国内外巨头降价 重塑行业定价体系[8][10][20] - 打破Scaling Law依赖 证明小团队通过工程优化可实现超大规模模型效能[6][20] - 开源策略推动技术透明化 每次发布附带详细技术报告 促进生态发展[6][21] 团队与文化特质 - 团队规模约90人 以清华北大应届生为主 平均年龄轻 无海归背景[11][21] - 管理扁平化 无公关团队和融资需求 专注技术原始创新[11][20] - 坚持"不贴钱不暴利"原则 目标参与全球创新浪潮而非短期商业化[11][20]
AI正在诞生一个万亿级公司
投资界· 2024-12-25 08:24
人工智能行业投资趋势 - 人工智能已从概念阶段发展为全面赋能各行业的工具,投资方向从基础层向应用层转移[6][8][9] - 2023年全球推出87个知名AI模型(产业界51个+学术界15个+合作21个),技术突破持续加速[12] - 广州基金管理的14家独角兽企业涉及商汤科技、小马智行等AI项目,累计管理规模超1100亿元[7] 投资机构布局策略 - 真格基金坚持"投人逻辑",80%被投项目创始人为90后,40%为连续创业者[8][10][19] - 啟赋资本聚焦AI应用层,重点布局具身智能产业链(触觉传感器/陪伴硬件/健康管理设备)[9][12] - 广州基金采取"基础层-技术层-应用层"全覆盖策略,关注智能网联/人形机器人/垂直行业大模型[9][12] 细分赛道机会 - 具身智能处于类似GPT2.0前的早期阶段,传感器等技术临近产业化拐点[12][14] - 垂直行业大模型因高质量数据集优势,成为AI与高端制造结合的关键切入点[9][12] - AI+硬件(机械臂/陪伴机器人)和老龄化相关应用(护理机器人)呈现明确付费意愿[9][13][16] 投资方法论 - 保持"牌桌参与":持续接触项目+深度独立思考+融入核心圈层[15] - 系统化赛道研究:完整扫描产业链环节,识别技术成熟度与商业化临界点[18] - 年轻创始人红利:1997年前后出生的创业者正成为新一代AI领军力量[10][19] 行业长期展望 - AI将如同互联网般融入各行业基础盘,催生万亿级企业的速度可能快于互联网时代[14] - 技术迭代呈现Scaling Law边际效应递减,预训练模型资产快速贬值倒逼应用创新[8][10] - 国有资本强调耐心资本属性,需陪伴企业度过AI技术商业化落地周期[16][17]
晚点播客丨OpenAI o1 如何延续 Scaling Law,与硅基流动袁进辉聊 o1 新范式
晚点LatePost· 2024-09-20 15:22
OpenAI新模型o1的技术突破 - o1通过强化学习、思维链(CoT)和推理阶段算力分配(test-time compute)三大技术方法显著提升逻辑推理能力,尤其在科学、数学和编程任务上表现突出[3][8][9] - 模型在推理阶段采用"系统2"式多步反思机制,平均需调用10次单模型推理,算力消耗增至10倍[19][24] - 技术组合验证了推理端算力投入的边际收益,开辟新优化方向,可能推动行业从单纯追求训练规模转向训练-推理协同优化[20][22] 行业应用与开发者生态 - AI应用开发呈现"草根化"趋势,个人开发者和小微企业占比提升,典型场景包括教育玩具、编程辅助、遗嘱撰写等垂直领域[40][41][42] - 开源模型加速应用创新,国内开发者主要调用通义千问(Qwen)、DeepSeek和GLM-4,其中Qwen因版本齐全受青睐,DeepSeek以编程能力见长[45] - 应用爆发呈现"巷战"特征,大量小型AI功能嵌入钉钉等工作流,日调用量达数亿tokens,但尚未形成超级应用[46][47][48] 算力市场与公司战略调整 - 国内GPU算力价格下降,主因基础模型训练需求减少和电力成本优势,但超大规模训练集群仍稀缺[38][39] - Meta等开源策略改变行业格局,多数公司转向基于开源模型开发,仅资源充沛或AGI目标明确的公司继续自研基础模型[36][37] - o1推动推理优化基础设施需求,硅基流动等公司探索并行推理、依赖关系优化等技术降低计算延迟[34] 技术演进与竞争格局 - 模型架构可能出现"小推理核心+大知识库"的分化设计,专业化场景采用参数更少的推理模块[26][29] - 苹果Siri、微信等现有入口产品在整合AI能力上具优势,但尚未出现原生AI超级应用[49][51] - 技术扩散速度加快导致先发优势窗口期缩短,企业需在效果优化与商业化节奏间寻找平衡[37][52]
C.AI 被收购的宿命论与万恶的 Scaling Law | 42章经
42章经· 2024-08-18 13:52
C.AI被收购的核心逻辑 - 交易本质是以授权协议变相收购 旨在规避反垄断监管[1] - 30名底层模型开发人员加入Google 100余名产品团队保留在C.AI[1] - 公司结局由创始人Noam Shazeer的决策路径决定 其作为Transformer论文核心作者选择AGI赛道[1] 公司定位与战略失误 - 2022年12月明确"全栈AGI公司"定位 导致资源分散在模型研发与产品两端[1] - 2023年产品团队仅0.5人 模型团队数十人 反映资源错配[3] - 创始人提出"AGI公司+产品优先公司"并列定位 引发投资人质疑商业模式闭环[3] 行业竞争格局演变 - 2023年三大2C产品形态:ChatGPT类、Perplexity类搜索、C.AI类陪聊[1] - 开源模型崛起加速推理成本下降 自研模型必要性降低[3] - 底层模型战争结束 形成Google/Anthropic/OpenAI三足鼎立[4] 大厂战略布局对比 | 厂商 | 模型战略 | 关键动作 | |--------|--------------|---------------------------------| | Google | 全链路自研 | 收购C.AI团队 巩固Gemini生态[6] | | 微软 | 混合策略 | 收购Inflection对冲OpenAI风险[8] | | Meta | 开源主导 | 推动Llama生态 放弃商业变现[9] | 资本市场的决定性作用 - Scaling Law导致资源向头部集中 第二梯队难获融资[4] - 2021年SaaS公司PS达60-70倍 2023年暴跌至6-7倍 凸显融资时机重要性[10] - 出行行业"大黄蜂案例"显示资本站队决定竞争结局[4] 行业趋势判断 - 模型商品化成为共识 工程落地能力取代底层研发壁垒[4] - 端到端全栈模式被证伪 开源方案成为产品公司首选[3] - 大厂战略摇摆直接影响创业公司退出路径[10]
C.AI 被收购的宿命论与万恶的 Scaling Law | 42章经
42章经· 2024-08-18 13:52
C.AI被收购的核心逻辑 - 交易本质是以授权协议变相进行的收购 主要目的是规避反垄断监管[1] - 公司定位为底层模型研发企业而非应用公司 30名核心模型开发人员加入Google 100余人产品团队独立运营[1] - 创始人Noam Shazeer作为Transformer论文核心作者 创业初期选择"全栈AGI公司"定位埋下后续发展路径依赖[1][3] 公司战略定位问题 - 2023年A轮融资时以"0收入 10亿美元估值"获得资本青睐 依赖模型研发叙事支撑高估值[1] - 同时宣称"AGI公司"与"产品优先公司"造成定位混淆 产品团队仅0.5人全职 模型研发人员占比超80%[3] - 开源模型崛起加速推理成本下降 自研模型失去性价比优势 被迫转向Meta的Llama等第三方解决方案[3] 行业竞争格局演变 - 底层模型战争进入终局阶段 OpenAI/Anthropic/Google形成第一梯队 创业公司需依附大厂生存[4] - 模型商品化趋势明显 类似云计算成为基础设施 产品公司可专注工程落地与开源方案结合[4] - Scaling Law导致资源向头部集中 资本仅支持少数代理人 类似出行市场滴滴快的的垄断格局重现[4] 科技巨头战略对比 | 公司 | 技术栈特征 | 典型案例 | |---------|---------------------------|-------------------------| | Google | 全链路自研 TPU芯片至Gemini模型 | 收购C.AI团队补充模型能力[6] | | 微软 | 模块化合作 Azure绑定OpenAI | 收购Inflection作为备选[8] | | Meta | 全面开源策略 聚焦Llama生态 | 不依赖模型商业化[9] | 创始人决策启示 - 2023年市场狂热期应更激进融资 维持大模型第一梯队地位[4] - 战略定位需避免"既要也要"矛盾 国内某公司"模型即产品"叙事更具逻辑一致性[3] - 退出时机选择关键 25亿美元收购价在行业下行周期仍属成功[10]