Workflow
Universe Compression
icon
搜索文档
BigBang-Proton: 自回归基座模型统一语言、科学和物质世界
36氪· 2025-11-06 10:58
文章核心观点 - 超对称公司发布的新版基座模型 BigBang-Proton 挑战了以 OpenAI 为代表的主流 AGI 技术路线,其成果表明大语言模型(LLM)可以通过统一预训练和推理直接执行如 Alphafold 等横跨微观到宏观的专业科学任务 [1] - 公司提出物质结构学习是实现 AGI 的必备要素,并基于 BigBang-Proton 的实验结果,提出了“宇宙尺度压缩”的构想,认为 LLM 的预训练边界将扩展至全宇宙 [4][5][80] 技术路线与行业观点 - 当前主流 AGI 技术路线(如 GPT-5 和 DeepSeek R1 的长程思维链)在理解真实物质结构上遭遇完全失败,说明仅依赖长程思维链不可能实现 AGI [2] - 与主流通用 LLM 依赖互联网自然语言数据或世界模型从图像入手的路线不同,超对称公司提出了第三种路线:从物质结构学习入手,让 LLM 的预训练进入物质世界,构建超长上下文的世界模型 [4] - 公司认为 LLM 预训练会一直扩展到全宇宙,其终极目标是将全宇宙的信息转为超长序列压缩到一个单一基座上,成为所有 AI 分支任务的基座 [5] BigBang-Proton 的根本性创新 - **创新一:二进制块编码**:彻底抛弃传统的分词器(如 BPE),将所有输入(文本、代码、科学数据)统一视为最原始的二进制序列进行处理,解决了主流 LLM 因 BPE 导致的数值分析缺陷 [7][9][11] - **创新二:理论-实验学习范式**:建立混合表示,将数值型实验数据直接与文本描述对齐,类似于为科学实验数据配“理论描述标题”,覆盖90%以上的实验科研任务 [12][15][17] - **创新三:蒙特卡罗注意力机制**:替代传统 Transformer 注意力机制,通过分块代表交流机制,使模型的有效上下文长度随注意力层数指数级增长,20层即可实现 10^30 字节的上下文容量 [16][19][20] 模型性能表现 - **算术运算**:在50位数加法、减法和乘法上,BigBang-Proton 准确率分别为100%、98%和90%,远高于 DeepSeek-R1(19.23%、11.63%、9.68%)和 ChatGPT-o1(3.85%、6.98%、3.23%)[31][35] - **粒子喷注分类**:在11类分类任务中达到51.29%的准确率,与专用SOTA模型(Particle Transformer 的56.69%)差距仅4-5%,而主流通用LLMs(如GPT-5为16.4%)表现接近随机猜测水平 [40][42][44] - **材料原子间势能模拟**:在形成能预测任务中平均绝对误差为0.043 eV/atom,在Matbench榜单排名第11位,优于部分专用机器学习方法,而主流LLMs(如GPT-5 MAE为29.279 eV)误差巨大不可用 [46][52][55] - **湖泊水质预测**:在叶绿素-a浓度预测中实现0.58 μg/L的MAE和0.098的MAPE,达到与行业领先机器学习时序预测模型竞争的水平 [56][57][59] - **DNA/RNA/蛋白质联合建模**:以1.5B参数和Evo模型三分之一的训练数据量,在基因序列预测困惑度(PPL=2.8)和多个下游任务(如预测突变对蛋白质功能影响,斯皮尔曼相关系数0.785)上全面超过SOTA生物基座模型Evo [61][67][72] 行业影响与应用前景 - 公司正与中国高能物理所、合肥科学岛强磁场中心、南京大学、上海交大等机构合作,将BigBang-Proton应用于粒子对撞、核聚变装置诊断、高温超导原理攻关、高熵材料开发等前沿科学领域 [84] - 模型在虚拟细胞建模、地球系统压缩以及复现飞机、汽车等复杂人造物质结构方面展现出潜力,为具身智能和生产制造快速迭代提供了全新的技术基础 [85]