Workflow
宇宙尺度压缩
icon
搜索文档
宇宙尺度压缩:Scaling Law的边界,柏拉图表征收敛于物质和信息交汇,解决P与NP问题,Simulation假说……
AI科技大本营· 2025-11-13 05:59
科学多任务学习的突破 - 超对称公司在BigBang-Proton项目中成功实现了跨尺度、跨结构的科学多任务学习,验证了高度异质的数据集(如夸克衰变、材料结构、DNA序列、股价等)可以在正确的表征和架构上收敛[1][4] - 该进展突破了传统观点,即认为多学科数据差异过大无法一起训练,预示了跨学科数据在高维潜在空间中可产生迁移学习,为将宇宙视为统一实体进行训练扫清了障碍[2][4] - 公司将算术运算能力作为科学多任务学习的核心,因为实验结果主要呈数值形式,这一科研范式融合了还原论和涌现论[4] Scaling Law的扩展与柏拉图表征 - BigBang-Proton的预训练能够平滑收敛,表明大语言模型的Scaling Law可超越语言范畴,延伸至物理世界[5] - 研究引用了柏拉图表征假说,认为不同AI模型的表征空间会收敛到一个对现实映射的相近统计结果,而物质世界构成了这一理想化现实[6] - 公司提出预训练的极限是宇宙本身的极限,在整个宇宙历史和人类文明数据上预训练的单一模型将收敛到大爆炸时刻的基本物理定律及信息与物质的交汇点[7] 宇宙尺度压缩的构想与理论基础 - 公司提出宇宙尺度压缩构想,旨在将宇宙作为一个完整整体进行预训练,其收敛目标为基本物理定律[1][9] - 理论指出,在人类文明完整数据上训练的模型倾向于收敛到基本自然定律,而在宇宙演化数据上训练的模型倾向于收敛到基本物理定律[9] - 热力学熵与信息熵的相互转换以及流形假设为理解跨领域表征迁移提供了框架,宇宙尺度预训练中的低维结构可能收敛到基本的宇宙流形,并与全息原理一致[10][14] 物理前沿理论与技术实践 - 理论基础包括约翰·惠勒的"It from Bit"、贝肯斯坦边界和全息原理,指出在普朗克尺度下时空维度可能减缩,物质与信息可互相转换[15] - 宇宙尺度压缩是对"计算宇宙"和"模拟假说"的一次实践,通过自回归LLM对物质世界进行压缩,为模拟戴森球或近地轨道工业等远期目标提供了可行性[16] - 根据计算,宇宙最多可容纳约10^90比特的信息,在施加完整物理定律约束后,条件柯尔莫哥洛夫复杂度会急剧降低,LLM预训练扩展至宇宙尺度可能匹配宇宙的复杂性[19][20][21][23][24] 技术路径与潜在应用 - 宇宙尺度压缩计划包括建立统一的时空框架、整合所有科学理论和实验数据、以及从重子组分中重建地球和人类文明[25] - BigBang-Proton的创新方法论为此提供了支持,包括二进制块编码、理论-实验学习范式和Monte Carlo Attention机制,后者可提供与宇宙中重子数量相当的上下文长度[25] - 公司提出假设,仅通过"下一个词预测"即可从微观粒子尺度重建宇宙中的任何物理结构,并计划在单一BigBang模型中模拟大爆炸核合成、量子材料、虚拟细胞系统乃至机器人技术和飞机等复杂物理结构[28] - 该方法有望将具身智能的高精度环境与决策能力整合在同一隐空间,并可从原子尺度加速复杂装备(如飞机、汽车)的设计、生产和迭代[28]
自回归科学基座模型 BigBang-Proton,提出实现 AGI 的新路线
AI科技大本营· 2025-11-07 05:59
核心观点 - 超对称公司发布的BigBang-Proton基座模型挑战了以OpenAI为代表的主流AGI技术路线,提出并验证了通过“物质结构学习”实现AGI的第三条路径 [1][2][4] - 该模型通过三项根本性创新,实现了跨微观粒子到宏观地球系统的多学科科学问题在单一自回归LLM上的统一预训练和推理,展示了语言引导科学计算的能力 [2][26][80] - 实验结果表明,主流LLM(如GPT-5、DeepSeek-R1)在理解真实物质结构和执行专业科学任务上遭遇失败,而BigBang-Proton在多个科学任务上达到或接近专用SOTA模型水平 [2][36][44][54][59][66][71][72][74] 技术创新 - **二进制块编码**:彻底抛弃传统的BPE等分词器,将所有输入数据(文本、代码、科学数值)统一视为原始二进制序列进行处理,解决了数值保真和跨模态统一表征的难题 [9][11][14][37] - **理论-实验学习范式**:建立数值型实验数据与文本理论描述的混合表示和直接对齐,使模型能整合符号推理与数据驱动学习,覆盖90%以上的实验科研任务 [13][18][19][48] - **蒙特卡罗注意力机制**:替代传统Transformer注意力,通过分块代表交流机制,使模型有效上下文长度随层数指数级增长,20层即可实现10³⁰字节的上下文容量,为模拟复杂物质结构奠定基础 [19][22][23] 模型性能表现 - **算术运算**:在50位数加法、减法和12位数乘法任务中,准确率分别达到100%、98%和90%,显著高于DeepSeek-R1(19.23%、11.63%、9.68%)和ChatGPT-o1(3.85%、6.98%、3.23%)[36][37] - **粒子喷注分类**:在11类分类任务中达到51.29%的准确率,与专用SOTA模型(ParT的56.69%)差距仅4-5个百分点,而主流LLM准确率接近随机猜测水平(10%)[44][46][47] - **材料形成能预测**:实现0.043 eV/atom的平均绝对误差,在Matbench榜单排名第11位,优于部分专用机器学习方法,而主流LLM的预测误差与之相差四到五个数量级 [54][56] - **湖泊水质预测**:在叶绿素-a浓度预测中实现0.58 μg/L的MAE和0.098的MAPE,达到与行业领先机器学习时序预测模型竞争的水平 [59] - **基因组建模**:以1.5B参数和Evo模型三分之一的训练数据量,在评估困惑度(2.8 vs 3.1)及预测突变对蛋白质功能影响(斯皮尔曼相关系数0.78546 vs 0.67)等多项任务上超越SOTA生物基座模型Evo [66][71][72][74] 行业影响与未来规划 - **挑战主流AGI路线**:指出仅依赖长程思维链和互联网自然语言数据无法实现AGI,提出LLM预训练应进入物质世界,其边界将扩展到全宇宙 [2][4][5][80] - **提出宇宙尺度压缩构想**:目标是在一个二进制序列中重建物理世界,将全宇宙的信息转为超长序列压缩到单一基座上,为所有AI分支任务提供基座 [5][81][82] - **广泛产业合作与应用**:模型正与中国高能物理所、强磁场中心、南京大学、上海交大等机构合作,应用于粒子对撞、核聚变、高温超导、虚拟细胞、地球系统建模及飞行器设计等前沿领域 [82][83]