公司估值与团队背景 - 公司尚未有具体产品但估值已达120亿美元[1][51] - 公司完成20亿美元种子轮融资由a16z领投英伟达等知名机构跟投[51] - 团队核心成员包括OpenAI前CTO Mira Murati、PPO算法开发者John Schulman等三分之二成员来自OpenAI[38][40][47] 研究核心发现 - 大语言模型推理结果难以复现的根源在于批次不变性缺失[4][12] - 浮点数非结合性导致计算顺序差异在Transformer多层迭代中被放大[13][16] - 解决方案需使RMSNorm、矩阵乘法和注意力机制具备批次不变性[16] 技术实现方法 - RMSNorm通过固定归约顺序分配核心处理批次元素确保一致性[18] - 矩阵乘法采用拆分2D块策略并编译统一内核配置牺牲20%性能换取确定性[19][21][22] - 注意力机制固定KV缓存分块大小（如256）自适应拆分数量保持归约顺序[23][24] 实验验证结果 - 使用批次不变性内核后1000次推理结果完全一致未使用时出现80次分化[26][27][28] - 确定性推理存在性能损失但处于可接受范围（如注意力内核优化后时间从55秒降至42秒）[30][31] - 在线强化学习中确定性推理使KL散度始终为0无需离线校正[34][35] 产品与战略方向 - 首代旗舰产品命名为Connection Machine致敬连接主义理念[7][52] - 公司承诺持续分享研究成果并与研究社区保持开放联系[6]