AI演进与生物进化的类比 - AI技术演进与生物进化遵循相似的底层逻辑，即通过尝试不同变体并筛选出更优方案的过程[1][7] - AI发展呈现“长期停滞+突然跃迁”的非线性模式，类似于生物学中的“间断平衡”理论[3][7] - AI进化与外部环境（如硬件、数据）相互影响，类似生物进化与环境（如大气成分）的相互作用[15][16] AI研发中的试错与迭代机制 - AI“配方”的设计本质上是不断试错的过程，最终能落地的通常只是“配方”本身，而非99%缺乏可操作价值的理论论文[10][11] - 设计流程为尝试不同变体，筛选有效方案发布，他人再进行复现和跟进[12] - “世代间隔”类比于复制一个新想法所需的时间，该周期已从过去的约两年缩短至现在的六个月[18][20] - 实验速度对迭代至关重要，更快的实验能加速进化过程[33] 开源对AI发展的核心加速作用 - 开源是AI进化的核心加速器，若没有开源，行业进化速度可能慢上一千倍[3][13][35] - PyTorch等工具使研究者能近乎完美地复现他人发布的“配方”，极大缩短了代际周期[21] - 当前许多公司（如小米）积极拥抱开源，这与过去大公司对开源不感冒的情况形成对比[37][38][56] 跨领域探索与架构多样性策略 - 不同AI任务间存在相互作用，例如视觉领域的方法可能应用于语音或语言任务[27] - Transformers最初为语言模型设计，后来在各种任务中广泛应用，体现了跨领域迁移的价值[29] - 公司应在不同任务上探索新思路，因为为特定限制研发的解决方案可能具有极高的通用价值[30][42] - 需要维持模型架构的多样性，保留多种技术路线，以增加孕育重大突破的机会[13][45] 大公司的双轨发展策略 - 大公司应采取“两条腿走路”的策略：一方面利用当前领先技术（如Transformer）赋能现有产品，另一方面投入资源进行探索性研究，寻找下一个颠覆性机会[5][13][45] - 在Transformer和大型语言模型主导的当下，公司不可能完全押注其他路线，但需为技术范式转变做好准备[46][47][48] - 例如，小米在大型语言模型上的研究主线是利用最先进的AI技术赋能“人车家全生态”，同时有团队负责探索性研究，尝试大量不同方向[49] 探索性研究的具体实践与案例 - 探索性研究成功率极低，但旨在寻找能产生巨大影响的成果[49] - 研究人员有责任判断并推广有价值的想法，未能妥善推广是自身的失误[52] - 团队正在研发名为Zapformer的新型通用声音基座架构，专注于语音领域[53] - Zapformer相较于前代Zipformer实现了三大跨越：从人声建模到通用声音理解、通过梯度流理论指导设计将语音识别精度提升10%-15%、为海量数据训练移除Dropout并升级优化器以提升通用性与稳定性[57]