联合嵌入预测架构(JEPA)

搜索文档
图灵奖得主LeCun:人类智能不是通用智能,下一代AI可能基于非生成式
量子位· 2025-04-14 09:09
核心观点 - 人类智能并非通用智能,而是高度专业化的进化产物 [1][2] - 下一代AI突破可能基于非生成式模型而非当前热门的生成式AI [3][6][14] - 实现人类级AI需解决物理世界建模、推理规划、持久记忆等关键技术 [17][22][23] - AGI概念具有误导性,建议使用"高级机器智能(AMI)"替代 [18] - 开源策略是推动AI生态发展的关键,Meta的LLaMA开源案例已验证其价值 [25][27][33] AI技术发展方向 - 当前AI局限:无法解决新问题、缺乏真实推理能力、依赖语言而非物理理解 [20][21] - 未来突破方向:JEPA架构(联合嵌入预测)可避免像素级生成,转向抽象表征空间推理 [13] - 智能眼镜被视为AI技术落地的重要载体,需整合多感官交互与环境感知能力 [29][32] 行业生态与商业模式 - Meta开源LLaMA系列的战略逻辑:通过开放基础模型扩大广告业务生态而非直接技术变现 [25][27] - 开源模式推动学术研究,使大学等资源有限机构能参与前沿AI开发 [26] - 创新分布全球化,DeepSeek等开源项目崛起证明技术突破可来自任何地区 [27][31] 时间框架预测 - AGI(或AMI)在未来两年内不可能实现,但十年内可能取得重大进展 [18][24] - 历史表明AI突破周期长于预期,如深度学习从理论提出到爆发间隔30年 [20] 技术应用场景 - 未来AI助手特征:全天候响应、多模态交互、专业化分工的虚拟团队 [32][34] - 当前AI优势领域:通过律师考试(信息检索)、代码生成(严格语法)、文本摘要等结构化任务 [20]
杨立昆“砸场”英伟达:不太认同黄仁勋,目前大模型的推理方式根本是错的,token 不是表示物理世界的正确方式|GTC 2025
AI科技大本营· 2025-03-21 06:35
英伟达GTC 2025大会核心观点 - 杨立昆从视觉派角度否定当前主流语言派AI技术路线 认为token不是表示物理世界的正确方式 [8][9] - 杨立昆提出联合嵌入预测架构(JEPA)作为替代方案 强调需要在抽象表示空间而非像素层面进行预测 [14][15] - 杨立昆预测高级机器智能(AMI)可能在十年内实现 但当前大模型扩展路线是错误的 [19][20] AI技术发展方向 - 当前大语言模型已进入产业优化阶段 未来重点应转向机器理解物理世界、持久记忆、推理规划四大方向 [10][11][12] - 世界模型概念被提出 认为人类通过内部物理世界模型处理现实 未来AI需要完全不同架构 [13] - 系统1(快思考)与系统2(慢思考)的区别被强调 当前大模型仅实现系统1水平 [36][37] 硬件与计算技术 - 神经形态硬件和光学计算近期难有突破 量子计算应用前景受质疑 [39][43] - 内存计算技术在边缘设备如智能眼镜上有应用潜力 [40][41] - 视网膜处理机制被作为高效感知系统的生物参考 [43] 开源与创新生态 - Llama系列模型下载量超10亿次 开源模式推动行业创新 [30] - 全球分布式训练开源基础模型被认为是未来趋势 [32] - 中国科学家贡献被肯定 DeepSeek和ResNet案例显示创新可来自任何地方 [8][27] AI应用前景 - AI在医疗影像、自动驾驶等感知领域已产生实际价值 [20] - 科学研究和药物设计是AI最具潜力的应用方向 [20] - AI助手多样化发展需要开源平台支持 未来人机关系将转向管理者-虚拟员工模式 [32][58] 技术挑战与突破 - 残差连接等工程技巧对深度学习发展至关重要 [51] - 为JEPA架构寻找有效"配方"是当前主要挑战 [56] - 视频预测任务显示联合嵌入架构相比重建方法更具优势 [45]