反向传播算法

搜索文档
你聪明,它就聪明——大语言模型的“厄里斯魔镜”假说
36氪· 2025-09-12 01:54
1983年,特伦斯·谢诺夫斯基(Terrence J. Sejnowski)在约翰·霍普金斯大学任教。这一年,他每周末都要在巴尔的摩和匹兹堡之间开车往返——为 了和当时在卡内基梅隆大学任教的杰弗里·辛顿(Geoffrey Hinton)讨论一项合作研究的进展。 20世纪80年代,神经网络研究碰上了"硬骨头",多层神经网络的学习算法成了这一领域寻求突破的关键瓶颈。传统算法难以解决多层神经网络的训 练问题,使神经网络发展受限——特伦斯和辛顿敏锐地意识到这一问题,决定寻找一种有效的学习算法,能够让多层神经网络像人类大脑一样,从 数据中自动学习规律和模式,实现更强大的智能。 特伦斯和辛顿决定,将物理学中的玻尔兹曼分布和统计物理概念引入神经网络研究。这项合作历时三年,最终在1986年获得了突破成果。某天,特 伦斯接到了辛顿打来的电话,宣布他发现了"大脑的工作原理"——这背后的洞见最终促成了一种用于训练玻尔兹曼机权重的学习算法,打破了神经 网络研究一直以来的僵局,并很快催生了效率更高的反向传播算法。 20世纪80年代后期,玻尔兹曼机、反向传播算法、卷积神经网络雏形等成果,逐渐累起现代神经网络技术的基座,并随后在计算机视觉 ...
成就GPU奇迹的AlexNet,开源了
半导体行业观察· 2025-03-22 03:17
AlexNet的历史意义与技术突破 - AlexNet是2012年由Geoffrey Hinton团队开发的革命性图像识别神经网络,开启了深度学习时代[2][3][4] - 该模型首次将深度神经网络、大数据集(ImageNet)和GPU计算三大要素结合,取得突破性成果[7][9][12] - 在ImageNet竞赛中,AlexNet以显著优势超越传统算法,使神经网络成为计算机视觉领域主流方法[8][12][13] 深度学习发展历程 - 神经网络起源于1957年Frank Rosenblatt的感知器,但70年代被AI界放弃[5] - 80年代Hinton团队重新发现反向传播算法,奠定深度学习基础[6] - 2000年代GPU和大型数据集(如ImageNet)的出现解决了神经网络训练瓶颈[7][9] 关键技术要素 - ImageNet数据集包含数百万分类图像,规模远超此前数据集[8] - NVIDIA的CUDA平台使GPU能够高效进行神经网络矩阵运算[9][12] - 模型训练在配备两张NVIDIA显卡的家用电脑上完成,耗时一年[12] 行业影响 - AlexNet之后几乎所有计算机视觉研究都转向神经网络方法[13] - 该技术路线直接催生了后续ChatGPT等突破性AI应用[13] - 原始代码已由计算机历史博物馆开源发布,具有重要历史价值[14] 核心团队 - Geoffrey Hinton作为导师提供学术指导,被誉为深度学习之父[3][6] - Alex Krizhevsky负责GPU代码优化和模型训练实现[11][12] - Ilya Sutskever提出关键创意并参与开发,后共同创立OpenAI[11][13]