ResNet

搜索文档
任少卿加入中科大......
自动驾驶之心· 2025-09-20 05:35
参考 | 量子位 点击下方 卡片 ,关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 本文只做学术分享,如有侵权,联系删文 任少卿去中科大了! AI大神任少卿开始在母校中国科学技术大学,开班招生了。 任少卿,曾任Momenta联合创始人、蔚来汽车副总裁,07级中科大本硕博(微软亚洲研究院联合培养),ResNet和Faster R-CNN作者。学术高被引超44 万,是全球中国籍学者高被引第一。ResNet也是21世纪全球最高被引论文。获未来科学大奖-数学与计算机科学奖。 招生方向为AGI、世界模型、具身智能、AI4S等。 硕士、博士生都在招。有推免资格的学生,下周一(22日)开启紧急面试。 更多内容 自动驾驶产业和学术最新咨询,欢迎加入自动驾驶之心知识星球,国内最大的自驾社区平台。 ...
任少卿在中科大招生了!硕博都可,推免学生下周一紧急面试
量子位· 2025-09-20 05:12
明敏 发自 凹非寺 量子位 | 公众号 QbitAI 一则招生消息不胫而走,A I大神任少卿 开始在母校 中国科学技术大学 ,开班招生了。 任少卿,曾任Momenta联合创始人、蔚来汽车副总裁,07级中科大本硕博(微软亚洲研究院联合培养),ResNet和Faster R-CNN作者。学 术高被引超44万,是全球中国籍学者高被引第一。ResNet也是21世纪全球最高被引论文。获未来科学大奖-数学与计算机科学奖。 招生方向为AGI、世界模型、具身智能、AI4S等。 硕士、博士生都在招。有推免资格的学生,下周一(22日)开启紧急面试。 任少卿简介 任少卿,计算机视觉、自动驾驶领域专家。 2007年毕业于蚌埠二中,考入中国科学技术大学信息安全专业,2016年获得中国科学技术大学与微软亚洲研究院的联合培养博士学位。 核心作者为何恺明、张祥雨、任少卿、孙剑。 2022年入选人工智能全球最具影响力学者榜单——AI 2000,排名第十。2023年获得未来科学大奖数学与计算机科学奖。 他是ResNet的作者之一。 ResNet是深度学习领域里程碑式工作,其成就在于从根本上解决了深度神经网络训练中的梯度消失难题。它使得构建高性能 ...
科学界论文高引第一人易主,Hinton、何恺明进总榜前五!
机器人圈· 2025-08-27 09:41
学术引用排名分析 - Yoshua Bengio总被引用量达973,655次 近五年引用量698,008次 位列全球科学家首位[1] - 其2014年发表的生成对抗网络论文引用量突破100,904次 2015年深度学习论文引用量达100,061次[1][2] - Geoffrey Hinton总被引用量超95万次 近五年引用量57万次 排名第二[3] - Hinton参与的AlexNet论文引用量达181,968次 为计算机视觉领域突破性研究[3][5] 跨学科引用表现 - 医学领域研究者Ahmedin Jemal总引用量924,788次 近五年引用量520,211次 排名第三[7] - 数学与生物学交叉领域研究者Eric Lander总引用量737,656次 近五年引用量247,907次 排名第四[7] - 何恺明总引用量735,881次 其2016年ResNet论文引用量达290,239次 排名第五[9] - ResNet被Nature评为21世纪被引量最多论文 引用范围在103,756-254,074次之间[9][10] 高影响力论文特征 - AlexNet论文引用量181,968次 推动深度学习在计算机视觉应用[3][5] - 生成对抗网络与深度学习论文引用量均超10万次 形成持续学术影响[1][2] - 全球科学家排名涵盖2,626,749名研究者 涉及221个学科领域[1] - Ilya Sutskever总引用量超67万次 单篇最高引用18万次 排名第七[10]
超97万:Yoshua Bengio成历史被引用最高学者,何恺明进总榜前五
机器之心· 2025-08-25 06:08
全球顶尖科学家学术影响力排名 - Yoshua Bengio成为全球被引用次数最多的科学家 总被引用量达973,655次 近五年引用量698,008次[1][3] - 排名基于AD Scientific Index平台 涵盖全球2,626,749名科学家 涉及221个国家地区24,576家机构[3] - Bengio的生成对抗网络论文引用量突破100,904次 深度学习论文引用量达100,061次[3] 人工智能领域核心研究者表现 - Geoffrey Hinton排名第二 总被引量952,643次 近五年引用577,970次 占比60.7%[4][6] - Hinton参与的AlexNet论文引用量高达182,853次 标志着深度学习在计算机视觉领域的突破[4][5] - 何恺明排名第五 总被引量735,881次 近五年引用619,578次 ResNet论文引用量达290,239次[8][10] - ResNet被Nature评为21世纪被引量最多论文 引用范围在103,756-254,074次之间[10][11] 跨学科高影响力研究者 - 医学领域Ahmedin Jemal排名第三 总被引量924,788次 近五年引用520,211次 占比56.3%[8] - 数学与生物学交叉领域Eric Lander排名第四 总被引量737,656次 近五年引用247,907次 占比33.6%[8] - Ilya Sutskever排名第七 总被引量671,834次 近五年引用504,890次 ImageNet论文引用量182,853次[11][14][15] 高影响力论文特征分析 - 顶级论文持续产生深远影响 如AlexNet(2012年)和ResNet(2016年)至今仍被广泛引用[5][10] - 计算机视觉领域论文占据主导地位 前10名中包括多篇图像识别和神经网络相关研究[10][11] - 生成对抗网络和注意力机制等基础架构论文引用量显著 如Attention Is All You Need引用范围56,201-150,832次[11][15]
性能暴涨4%!CBDES MoE:MoE焕发BEV第二春,性能直接SOTA(清华&帝国理工)
自动驾驶之心· 2025-08-18 23:32
核心观点 - 提出CBDES MoE框架 在功能模块层面实现分层解耦的专家混合结构 集成四种异构视觉backbone 通过自注意力路由器实现动态专家选择 提升自动驾驶BEV感知性能[2][5][12] - 在nuScenes 3D目标检测任务中 mAP提升1.6个百分点至65.6% NDS提升4.1个百分点至69.8% 超越所有单专家基线模型[3][37] - 采用稀疏激活推理机制 仅激活top-1专家 显著降低计算成本 支持实时应用[25][26] 技术架构 - 集成四种结构异构专家网络:Swin Transformer(擅长全局空间结构) ResNet(强于局部结构编码) ConvNeXt(平衡局部性与可扩展性) PVT(多尺度目标建模)[17][18] - 设计自注意力路由器SAR 包含分层特征提取 自注意力编码和MLP专家评分三阶段 生成图像级路由概率[19][20][21] - 采用软加权特征融合机制 根据路由概率动态加权专家输出 保持训练稳定性[24] - 引入负载均衡正则化 防止专家坍塌 使mAP从63.4%提升至65.6% NDS从65.8%提升至69.8%[42][43][46] 性能表现 - 在nuScenes数据集上全面超越单专家基线:BEVFusion-Swin Transformer(mAP 64.0% NDS 65.6%) BEVFusion-ResNet(mAP 63.3% NDS 65.2%) BEVFusion-ConvNeXt(mAP 61.6% NDS 65.2%) BEVFusion-PVT(mAP 62.4% NDS 65.7%)[37] - 在恶劣条件(雨雾 夜间)下保持检测鲁棒性 显著减少误检和漏检[40] - 训练过程收敛更快 损失更低 显示优化稳定性和学习效率优势[39] 应用前景 - 可无缝集成至BEVFusion等标准框架 保持相机到BEV投影逻辑和下游任务头兼容性[29][30] - 当前支持图像级路由 未来可扩展至图像块级或区域感知路由 实现更细粒度适应[48] - 潜在扩展方向包括多任务学习(分割 跟踪) 跨模态路由(激光雷达信号) 以及自动化架构搜索[48]
刚刚,何恺明官宣新动向~
自动驾驶之心· 2025-06-26 10:41
何恺明职业动态 - AI领域顶尖学者何恺明正式入职谷歌DeepMind担任杰出科学家,同时保留MIT终身副教授身份[1][3][4] - 此次跨界标志着何恺明实现"学界+业界"双轨并行发展模式[5][12] - DeepMind联合创始人Demis Hassabis曾预测AGI将在5-10年内实现,何恺明的加入将加速该目标[7][8] 学术成就与技术贡献 - 提出深度残差网络(ResNet)成为现代AI模型基石,相关论文在2016-2021年连续三年位居谷歌学术全领域被引榜首[18][19] - 开发的Faster R-CNN和Mask R-CNN是物体检测领域被引量最高的论文之一,分别被引用91993次和45582次[19][21][24] - 论文总被引量达713370次,h-index指数71,近五年被引量597873次[18][19] 近期研究成果 - 2024年与Yann LeCun合作提出无归一化层Transformer,仅用9行代码实现,成果被CVPR 2025收录[33][34] - 2024年2月提出分形生成模型,将像素级图像生成计算效率提升4000倍[36][37] - 2024年5月联合CMU团队开发MeanFlow框架,实现无需预训练的一步生成建模[38][39] 职业经历与教育背景 - 曾任职微软亚洲研究院(2011-2016)和Meta FAIR实验室(2016-2023)[12][32] - 2007年获清华大学学士学位,2011年获香港中文大学博士学位[29][30] - 2009年成为首位获得CVPR最佳论文奖的中国学者,累计获得4次国际顶会最佳论文奖[24][27]
刚刚,何恺明官宣入职谷歌DeepMind!
猿大侠· 2025-06-26 03:20
何恺明职业动态 - AI领域顶尖专家何恺明正式加入谷歌DeepMind担任杰出科学家,同时保留MIT终身副教授职位[2][3][4][5] - 此次跨界加盟将显著增强DeepMind在AGI领域的技术实力,其学术影响力(论文总引用71万次)与业界经验(Meta/微软亚研院)形成双重优势[5][7][11][17] - DeepMind CEO Demis Hassabis曾预测AGI将在5-10年内实现,何恺明的加入将加速这一进程[8][9] 技术成就与行业影响 - 提出的ResNet成为深度学习基石,相关论文在2016-2021年连续位居谷歌学术全领域引用榜首(28万次)[5][18][20] - 开发的Faster R-CNN(引用9.2万次)和Mask R-CNN(引用4.6万次)持续引领计算机视觉发展[18][20][23] - 2024年最新研究成果包括:无归一化Transformer(9行代码实现)、分形生成模型(计算效率提升4000倍)、MeanFlow一步生图框架[31][34][35][36] 学术地位与职业轨迹 - 首位获得CVPR最佳论文奖的中国学者,累计斩获4项国际顶会最佳论文荣誉[23][26] - 职业经历覆盖微软亚研院(2011-2016)、Meta FAIR(2016-2023)、MIT(2023至今)三大顶尖机构[11][30][5] - 保持高频科研产出,2024年已有3篇突破性论文被CVPR/ICCV等顶会收录[32][34][36]
何恺明新身份:谷歌DeepMind杰出科学家
机器之心· 2025-06-26 00:30
何恺明加入谷歌DeepMind - 何恺明以兼职形式加入谷歌DeepMind,职位为杰出科学家(Distinguished Scientist)[4] - 具体研究方向尚未公开,但近期团队发表了单步图像生成论文MeanFlow,性能提升达50%[6] - 在CVPR workshop上提出生成模型可能走向端到端训练的历史性思考[6] 学术成就与行业影响 - 论文总被引量超71万次,其中ResNet单篇被引28万次,为21世纪被引最多论文之一[12][15] - 三获CVPR最佳论文奖(2009/2016/2021候选),并获ICCV 2017 Marr Prize[10][11][16] - ResNet建立的残差连接已成为Transformer、AlphaGo Zero等现代模型的核心组件[18][19] - 2021年提出的MAE模型(Masked Autoencoders)迅速成为计算机视觉领域热点[20] 职业轨迹与行业地位 - 职业经历覆盖微软亚研院(2011-2016)、Facebook AI Lab(2016-2024)、MIT(2024年起)[9] - 业界公认的科研标杆,每年仅产出少量一作论文但均为重量级成果[22] - 论文以简明易读著称,擅长用直观方式解释复杂概念[23] - 行业专家评价"使用卷积神经网络时50%概率涉及ResNet或其变种"[17]
专访张祥雨:多模态推理和自主学习是未来的 2 个 「GPT-4」 时刻
海外独角兽· 2025-06-08 04:51
多模态大模型发展现状 - 阶跃星辰发布中国首个千亿参数原生多模态大模型Step-1V 基于业内最早的图文生成理解一体化框架DreamLLM [3] - 多模态领域预计未来2-3年将迎来两个GPT-4时刻:多模态推理和自主学习 [3] - 当前多模态生成理解一体化面临四大挑战:语言对视觉控制能力弱 图文对齐不精确 数据质量有限 生成模块无法反向影响理解模块 [3] 计算机视觉领域瓶颈 - CV领域长期缺乏类似NLP的GPT时刻 主要受限于数据标注依赖和自监督方法局限性 [13][15] - 对比学习和MIM等方法在小模型有效 但缺乏scale up特性 因其学习的不变性来自人工设计而非数据驱动 [16][18][19] - 静态图像数据存在本质缺陷:生成 理解与人类对齐三者割裂 难以实现智能质变 [24][25][26] 多模态技术突破方向 - 短期解决方案是利用图文对齐数据 通过文字的自闭环特性赋予模型智能能力 [27] - 长期需探索视频和具身系统 视频数据蕴含更丰富信息但利用难度更高 [27] - 生成理解一体化需先解决视觉空间CoT问题 当前action space过于受限 [55][56] 大模型训练范式演进 - Next Token Prediction存在本质缺陷:更大模型在数学等推理任务上表现反降 因倾向跳步且优化目标与任务目标存在gap [38][40][42] - Rule-based RL通过直接优化任务目标 可抑制跳步并强化稳定思维路径 [44] - o1范式突破在于激发Meta CoT 允许模型在关键节点反悔重试 使推理从单线变为图状结构 [44][53] 多模态数据影响 - 图文混排训练中生成模块产生的gradient噪声大且信息量低 可能破坏语义理解 [62] - 高质量多模态数据应确保图文强相关 避免无关数据导致模型confuse [63][64] - 视频数据蕴含丰富思维过程但清洗难度大 是扩展action space的重要方向 [65][66] 未来技术趋势 - 多模态GPT时刻预计1年内到来 需解决生成可控性和视觉空间推理问题 [68][69] - 当前long context方案存在注意力涣散问题 未来可能采用multi-agent分层记忆架构 [69][73][74] - 模型自主学习是ASI关键路径 需解决环境scaling和自然语言反馈利用问题 [78][80][82]
亚裔 AI 人才的硅谷晋升之路,被一张绿卡阻断了?
36氪· 2025-04-28 11:23
核心观点 - 美国移民政策收紧对科技行业华裔高端人才造成重大冲击 典型案例为OpenAI研究员Kai Chen因绿卡被拒被迫离美 反映政治不确定性对技术人才流动的深刻影响 [1][2][4][12] - AI行业技术密集型特征曾打破华裔职场天花板 但当前政策环境可能逆转这一趋势 数据显示谷歌亚裔员工占比达45.7% 已超过白人 Meta等企业同样呈现此趋势 [7][9][10] - 全球AI人才争夺战加剧 欧洲和中国企业正积极吸纳受政策影响的顶尖研究者 华为"天才少年"计划提供500万/年研发预算 阿里字节等大厂推出专项人才引进项目 [19][20][21] 行业格局 - 美国AI企业亚裔技术贡献显著 OpenAI的GPT-4研发团队至少有33位华人 谷歌BERT模型、ResNet等里程碑成果均由华裔主导 [11] - 华裔在AI领域晋升通道改善 谷歌DeepMind副总裁Ya Xu、Scale AI联合创始人Lucy Guo等案例显示技术实力正成为职业发展核心驱动力 [11] - 印度裔仍占据高管优势 微软谷歌CEO均为印度裔 反映办公室政治能力差异带来的职场天花板尚未完全消除 [9] 人才流动 - 签证政策直接影响企业人才储备 全美超1000名国际学生签证被撤销 波及130所高校 达特茅斯等院校已出现研究助理被迫中断项目的案例 [16][17] - 远程工作成为过渡方案 Kai Chen计划在温哥华通过Airbnb维持工作 但欧洲和中国企业的主动挖角显示人才可能永久性流失 [13][19] - 马斯克等科技领袖公开反对H1B限制 警告政策将削弱美国AI竞争力 但特朗普政府内部存在废除H1B的激进主张 短期政策转向可能性低 [18] 企业应对 - OpenAI等公司面临人才体系风险 尽管公司对Kai Chen提供支持 但移民流程仍导致关键研究员流失 [5] - 中国科技企业加速海外引才 字节跳动通过组织架构调整吸纳Google Fellow级人才 华为为95后研究员开放6G项目主导权 [20][21] - 薪酬竞争力显著提升 阿里云A Star项目、字节Top Seed计划等针对顶尖研究者提供定制化发展路径 形成与美国企业的人才争夺战 [21]