深度学习

搜索文档
等待13年,AlexNet重磅开源:Hinton团队亲手写的原版代码,甚至还带注释
36氪· 2025-03-24 11:38
等待13年,AlexNet重磅开源:Hinton团队亲手写的原版代码,甚至还带注释 如果你是一名 AI 开发者或深度学习爱好者,那么你一定听说过 AlexNet——这个在 2012 年凭借 ImageNet 竞赛一战成名、直接把计算机视觉能力拔高了 一个量级的深度卷积神经网络模型。 而就在最近,计算机历史博物馆(CHM)与谷歌合作,终于正式开源了 AlexNet 的源代码!更令人惊喜的是,这次公开的版本是 2012 年 Hinton 团队亲手 编写的原版代码,甚至还保留了当年的注释! | Code 1.53 KB | 修改造新 | <> 源码 | | --- | --- | --- | | آ | # This is a layer configuration file that contains all the | | | 2 | # layer types supported by this code. It's not actually good for anything | | | 3 | # other than demonstrating how layers are specified and ...
重磅!AlexNet源代码已开源
半导体芯闻· 2025-03-24 10:20
AlexNet的发布与意义 - 计算机历史博物馆(CHM)与Google合作发布了AlexNet的源代码 该神经网络是2012年开启当今AI浪潮的关键技术 [1] - AlexNet由多伦多大学团队(Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton)开发 主要用于图像识别 [2][15] - 其2012年论文被引用超过172,000次 标志着计算机视觉领域从传统算法转向神经网络的转折点 [16][17] 深度学习的发展历程 - Geoffrey Hinton团队在1986年重新发现反向传播算法 成为现代深度学习的基础 [5] - 20世纪80年代神经网络以"联结主义"名称复兴 Yann LeCun证明卷积神经网络在手写识别中的优势 [5][6] - 2000年代后期GPU加速的神经网络训练取得突破 语音识别率先验证技术可行性 [13] 关键基础设施突破 - ImageNet项目(2009年完成)提供比传统数据集大几个数量级的训练样本 但前两年算法进步有限 [8][9] - NVIDIA的CUDA系统(2007年)使GPU能用于通用计算 黄仁勋推动的H100芯片现支撑ChatGPT等AI训练 [9][12] - AlexNet首次将深度神经网络、大数据集和GPU计算结合 训练在家庭电脑搭载的两块NVIDIA显卡上完成 [13][15] 技术实现细节 - Alex Krizhevsky开发"cuda-convnet"代码库 通过多GPU支持实现ImageNet训练性能突破 [15] - 原始代码经过5年协商才获谷歌授权发布 2012版源代码现可在CHM的GitHub获取 [18] - 技术路线从专用图像识别扩展至语音合成、围棋、自然语言处理等领域 最终催生ChatGPT [17]
成就GPU奇迹的AlexNet,开源了
半导体行业观察· 2025-03-22 03:17
AlexNet的历史意义与技术突破 - AlexNet是2012年由Geoffrey Hinton团队开发的革命性图像识别神经网络,开启了深度学习时代[2][3][4] - 该模型首次将深度神经网络、大数据集(ImageNet)和GPU计算三大要素结合,取得突破性成果[7][9][12] - 在ImageNet竞赛中,AlexNet以显著优势超越传统算法,使神经网络成为计算机视觉领域主流方法[8][12][13] 深度学习发展历程 - 神经网络起源于1957年Frank Rosenblatt的感知器,但70年代被AI界放弃[5] - 80年代Hinton团队重新发现反向传播算法,奠定深度学习基础[6] - 2000年代GPU和大型数据集(如ImageNet)的出现解决了神经网络训练瓶颈[7][9] 关键技术要素 - ImageNet数据集包含数百万分类图像,规模远超此前数据集[8] - NVIDIA的CUDA平台使GPU能够高效进行神经网络矩阵运算[9][12] - 模型训练在配备两张NVIDIA显卡的家用电脑上完成,耗时一年[12] 行业影响 - AlexNet之后几乎所有计算机视觉研究都转向神经网络方法[13] - 该技术路线直接催生了后续ChatGPT等突破性AI应用[13] - 原始代码已由计算机历史博物馆开源发布,具有重要历史价值[14] 核心团队 - Geoffrey Hinton作为导师提供学术指导,被誉为深度学习之父[3][6] - Alex Krizhevsky负责GPU代码优化和模型训练实现[11][12] - Ilya Sutskever提出关键创意并参与开发,后共同创立OpenAI[11][13]
诺奖采访深度学习教父辛顿:最快五年内 AI 有 50% 概率超越人类,任何说“一切都会好起来”的人都是疯子
AI科技大本营· 2025-03-18 03:29
作者 | 诺贝尔奖官方 采访中,辛顿表达了对人工智能未来发展的担忧。他认为, 人工智能可能在短短五年内超越人类智慧 ,并就此可能引发的社会风险,例如大规模失业 和虚假信息等问题,提出了警告。更令人深思的是,辛顿暗示,人工智能的潜在风险可能远超我们目前的认知。 编译 | 王启隆 出品丨AI 科技大本营(ID:rgznai100) 杰弗里·辛顿(Geoffrey Hinton),这位被誉为"人工智能教父"的科学家,于去年获得了诺贝尔物理学奖,引起了全网一阵讨论。 最近辛顿接受了诺贝尔奖官方的专访,他回忆起接到诺奖电话时的趣事时,第一反应竟然是疑惑,因为自己研究的并非物理学(这点和全网的疑惑倒是 一样)。 作为深度学习领域的先驱,辛顿最广为人知的成就是神经网络。但很多人其实不知道, 他曾说过自己这辈子"最自豪"也是"最失败"的成就,其实是与 特里·塞诺夫斯基(Terry Sejnowski)共同提出了玻尔兹曼机理论。 详见: 《 深度学习之父 Hinton 万字访谈录:中美 AI 竞赛没有退路可言 》 他们的工作,以及另一位诺奖物理学奖得主约翰·霍普菲尔德(John Hopfield)等神经网络先驱的早期研究,共同 ...
AI大家说 | 从“搜一搜”到“问一问”,搜索引擎正被重新定义
红杉汇· 2025-03-16 07:44
文章核心观点 AI搜索凭借技术优势提升用户体验,改变搜索行业格局,未来发展趋势多样且充满机会,传统搜索引擎面临挑战需创新[1][3][5] AI搜索特点及格局变化 - AI搜索能精准捕捉用户查询意图,提供定制化结果,打破传统线性检索模式,提升用户体验 [1] - AI重新定义信息获取范式,搜索与AI融合,AI搜索朝着一站式平台发展 [3] - 封闭式AI存在内容幻觉和过程失控短板,“LLM +搜索”模式完成搜索到创作闭环,改变搜索行业竞争格局,预计到2026年传统搜索引擎访问量下降26%,新玩家入场打破“寡头效应” [4][5] AI搜索未来趋势与机会 产品力是竞争力 - 简约化产品设计和一站式服务满足用户需求,是AI搜索发展重要趋势 [7] 信息一体化处理产品形态 - AI搜索与其他AI工具跨界融合,提供实用个性化功能,升级用户体验 [8] - AI搜索突破传统文字搜索束缚,提供跨模态搜索体验,演化为全能型智能助手 [8] - AI搜索呈现多端协同趋势,突破设备边界,走进全新应用场景 [8] 场景垂直“专、精、深” - 用户需求推动AI搜索场景垂直化,垂直搜索满足细分需求,构建企业“护城河” [9] 新商业模式的探索 - 商业化能力创新是AI搜索待解决问题,用户通过AI搜索形成入口导购商业化已有先例 [10] - AI搜索与企业级市场结合,为企业提供定制化搜索解决方案,提供新盈利渠道 [10] 传统搜索引擎的挑战 - 传统搜索引擎需创新,加入AI模型插件提升用户体验,稳固行业心智地位 [12] - AI助手是传统搜索引擎最强挑战者,具备深度思考和联网搜索功能,承载泛搜索需求 [12] - AI搜索新势力提供全新搜索体验,理解自然语言,提供实时准确答案 [12] - 平台型互联网企业扩张搜索市场心智,接入大模型发挥内容潜力 [13] - AI搜索发展关键在于通过RAG解决问题,但依赖传统搜索引擎信息,数据处理难度大 [13]
全球前沿创新专题报告(三):AI医药行业报告
财通证券· 2025-03-12 06:28
报告行业投资评级 - 看好(维持)[1] 报告的核心观点 - AI组成的三大要素为数据、算力和算法;AI制药与传统制药流程基本一致,AI主要在药物发现和临床前研究阶段发挥作用;AI生成模型在全新药物设计领域有巨大优势,结合强化学习可为新药设计提供新途径 [5] - AI技术与生物制药开发结合可加速新药发现和开发,建议关注AI医药行业,给予“看好”评级 [5] 根据相关目录分别进行总结 1 AI制药行业介绍 1.1 AI制药的发展历程 - 药物发现昂贵、耗时且成功率低,AI技术引入为制药行业带来新可能 [8] - AI制药发展分为3个时期:1956 - 1980年是雏形期;1981 - 2011年计算机辅助药物设计蓬勃发展;2012年至今AI制药快速成长 [8][9] 1.2 市场规模 - 2015年以来人工智能驱动的制药公司投资率显著增长,截至2023年8月,对800家公司的年度投资总额增长27倍达603亿美元,2021年增长最快,2022年投资总额下降 [12] - 2023年美国在AI药物研发初创公司占比55.10%领先,欧洲和英国分别占19.90%和9.95%,亚洲正快速崛起 [13] - 2010 - 2021年AI制药公司管线年均增长率36%,2018年后增长明显,虽规模仅为前20大制药公司的50%,但增长趋势和专注早期研发凸显其潜力 [16] 2 AI制药的产业链构成与政策 2.1 AI制药的产业链构成 - 产业链上游涉及算力、算法和数据,分提供AI技术和生物技术的企业 [17] - 中游主体分为AI+biotech、AI+CRO、AI+SaaS以及IT头部企业布局 [18] - 下游分为传统药企和CRO企业,分别通过不同方式进入AI制药赛道 [19] 2.2 AI制药相关政策 - 国外近年推出初版监管政策,如美国FDA和欧洲EMA发布相关文件 [22][23] - 国内陆续发布相关政策,各省市也出台特色政策,如上海发布多项政策支持AI制药发展 [24][27] 3 AI制药技术原理 3.1 算力 - 算力是AI驱动药物研发的重要支撑,常用算力有CPU、GPU、TPU,还有分布式计算和云计算 [30][33] 3.2 数据 - 大数据为AI在医药研究应用奠定基础,但医药数据数量和质量制约其发展,公开数据库分6类,非公开数据难获取 [35][37] 3.3 算法 - 机器学习和深度学习可从输入数据学习潜在模式,模型分回归和分类模型,按学习算法类型分监督、无监督和强化学习 [38] - AI生成模型在全新药物设计有优势,结合强化学习为新药设计提供新途径 [39] 4 AI在制药行业中的应用 4.1 AI技术在药物发现中的应用 4.1.1 靶点发现与验证 - 药物靶点决定药物创新性与可治愈疾病范围,AI通过学习多源数据找出潜在靶点,发现策略包括实验、多组学分析和AI计算方法 [45] 4.1.2 药物分子的设计和优化 - 利用深度生成模型和强化学习算法进行新药设计是有效方法,简单生成模型如基于RNN的生成模型可优化先导化合物,进阶AI生成模型如VAE、GAN、AAE在药物设计中各有作用 [48][49][51] 4.1.3 AI辅助药物分子筛选 - 基于配体的虚拟筛选通过已知活性配体筛选潜在活性化合物,基于结构的虚拟筛选基于目标蛋白三维结构筛选,多种AI技术被引入以提高准确性 [56][57] 4.2 AI技术在临床前研究中的应用 4.2.1 ADMET预测 - ADMET是衡量药物有效性和安全性的重要指标,机器学习和深度学习模型可提升ADMET性质预测准确性 [58] 4.2.2 晶型预测 - AI结合物理模型和机器学习算法可更准确预测晶体结构,应用场景包括晶体结构比对、转晶风险评估等 [61] 5 AI制药公司介绍 5.1 薛定谔(Schrödinger) - 成立于1990年,提供高精度分子模拟和预测工具,主要项目涵盖肿瘤学、免疫学和神经学等领域,多个项目进入临床或临床前研究阶段 [63] - 与大型制药公司合作巩固行业地位,2019 - 2023年总收入和软件业务收入增长,软件业务是核心驱动 [66] 5.2 BenevolentAI - 致力于将AI技术与生物制药开发结合,核心技术平台整合多种数据类型和AI模型,研发管线覆盖多个治疗领域,与多家大型制药公司建立合作关系 [68][69] 5.3 英矽智能(Insilico Medicine) - 核心技术平台PHARMA.AI由三部分组成,覆盖药物研发关键阶段,拥有31个研发项目,多条管线获IND批准,在多个治疗领域有研发成果 [71][74] 5.4 晶泰科技(XtalPi) - 推动全流程创新,小分子药物研发有ID4系统,抗体药物开发有XupremAb™平台,固体药物晶型研究有XtalGazer™平台 [76][79][80]
【广发金工】神经常微分方程与液态神经网络
广发金融工程研究· 2025-03-06 00:16
神经常微分方程与液态神经网络 - 神经常微分方程(Neural ODE)通过将离散残差结构连续化,提出用同一常微分方程求解无限堆叠残差结构的参数,显著降低计算复杂度 [1][5][6] - 液态神经网络(LTC/NCP/CFC)基于Neural ODE思想,将循环神经网络离散时间步连续化,提升表征能力并增强抗噪声鲁棒性 [2][13][28] - LTC网络通过生物神经元启发的微分方程设计,在时间序列预测任务中相比传统RNN提升5%-70%性能 [14][15][20] - NCP网络模仿线虫神经系统结构,采用稀疏连接和分层设计,参数量仅为LSTM的4.3%(1,065 vs 24,897)但保持相当性能 [26][31][32] - CFC网络通过推导LTC微分方程的闭式解,避免数值求解过程,训练速度比ODE-RNN快97倍(0.084 vs 7.71分钟/epoch) [33][36][37] 量化选股实证结果 - 液态神经网络显存需求仅为GRU的5%-67%(CFC 6Gb vs GRU 120Gb),实现同等选股效果下大幅降低计算资源消耗 [40][41] - 不同液态网络因子与GRU的相关系数0.69-0.82,显示模型能从相同数据中提取差异化价量特征 [42][43] - NCP结构在2020-2024年回测中表现最优,多头年化收益率24.38%超过GRU的24.21%,夏普比率0.95优于GRU的0.88 [44][50][54] - CFC网络在2024年极端市场中保持稳健,多空年化收益率42.64%显著高于GRU的39.36% [45][58] - 液态神经网络整体多空夏普比率5.22-5.66,优于传统GRU的5.22,显示更强的风险调整后收益能力 [45][50] 技术优势比较 - 参数量:NCP(19神经元)仅253个突触连接,全连接LSTM(64神经元)需24,640个连接 [25][26][32] - 计算效率:CFC训练速度达ODE-RNN的92倍(0.097 vs 8.49分钟/epoch),LTC采用半隐式欧拉法平衡精度与速度 [17][36][37] - 鲁棒性:NCP在噪声环境下碰撞次数比LSTM低63%,异常数据识别准确率保持85%以上 [28][30] - 可解释性:NCP神经元分工明确,可通过微分方程分析单个神经元对决策贡献 [32][38] - 内存占用:CFC前向传播内存复杂度O(1),传统BPTT方法为O(L×T) [19][33]
英伟达(纪要):对中国的出货比例不变
海豚投研· 2025-02-28 11:07
英伟达2025财年第四季度财报核心信息 财务表现 - 2025财年第四季度营收达393亿美元,环比增长12%,同比增长78%,高于375亿美元的预期 [1] - 2025财年全年营收1305亿美元,同比增长114% [1] - 第四季度GAAP毛利率73%,non-GAAP毛利率73.5% [6] - 数据中心部门Q4收入356亿美元,环比增长16%,同比增长93%,全年收入1152亿美元,同比增长超一倍 [3] - 游戏部门Q4收入25亿美元,环比下降22%,同比下降11%,全年收入114亿美元,同比增长9% [3][4] 数据中心业务亮点 - Blackwell产品Q4销售额110亿美元,创公司最快产品爬坡记录,供应快速增加 [3] - 计算收入环比增长18%,同比增长超两倍,推理需求加速,大型集群常以10万颗以上GPU起步 [3] - 大型云服务提供商(CSP)贡献数据中心收入50%,销售额同比增长近2倍 [3] - 消费互联网收入同比增长3倍,受生成式AI和深度学习用例推动 [3] - 企业收入同比增长近2倍,因模型微调、RAG和代理AI工作流程需求增长 [3] 其他业务部门表现 - 专业可视化业务Q4收入5.11亿美元,环比增长5%,同比增长10%,全年收入19亿美元,同比增长21% [5] - 汽车业务Q4收入5.7亿美元(创纪录),环比增长27%,同比增长103%,全年收入17亿美元,同比增长5% [5] - 网络业务Q4收入环比下降3%,因产品过渡至Spectrum X,预计下季度恢复增长 [5] 运营指标 - 库存环比下降11.1%,应收账款/收入比例降至47% [2] - 预付款同比增长116.1%,反映供应链预付需求增加 [2]