Workflow
深度学习
icon
搜索文档
理想VLA实质是强化学习占主导的持续预测下一个action token
理想TOP2· 2025-08-11 09:35
核心观点 - 对predict the next token的不同理解反映了对LLM或AI潜力与实质的认知差异 [1] - 认为predict the next token超越统计学的人更倾向于认可LLM潜力大、推理过程是意识雏形、超级对齐重要 [1] - 理想VLA架构通过连续预测action token实现物理世界理解,类比OpenAI的O1O3 [1][10] - 辅助驾驶比chatbot更适合强化学习,因奖励函数更明确且仿真环境更简单 [12][13] Ilya的观点与背景 - Ilya是OpenAI前首席科学家,推动AlexNet、AlphaGo、TensorFlow等多项AI领域突破 [3] - 他认为predict the next token能超越人类表现,因足够聪明的神经网络可推断"理想人物"行为 [4][8] - 预测token的本质是理解其背后的现实世界逻辑,而非单纯统计学 [6][7] - Ilya的论证风格严谨,常以"误差范围对数刻度"等表述体现审慎态度 [9] 理想VLA的技术逻辑 - VLA架构通过传感器输入实时输出action token,结合diffusion优化轨迹,实现物理世界理解 [10] - VLA在NOA开启期间连续预测action token,其推理过程被视为一种动态意识 [11] - 理想将AI软件(神经网络权重)与硬件平台高效结合,技术整合含金量被低估 [13] 辅助驾驶与AI软件的差异 - 辅助驾驶的强化学习优势在于明确奖励函数(安全/舒适/效率)和可仿真性 [12][13] - AI软件内核是神经网络权重,与传统代码式开发范式存在根本差异 [13] - 硬件迭代速度慢于软件,AI软件需AB测试快速迭代,与硬件开发逻辑冲突 [13]
高频选股因子周报:高频因子上周有所分化,深度学习因子持续强势。 AI 增强组合均录得正超额。-20250810
国泰海通证券· 2025-08-10 07:58
量化因子与构建方式 1. **因子名称:日内高频偏度因子** - 构建思路:通过捕捉股票日内收益分布的偏度特征来预测未来收益[13] - 具体构建过程:计算日内收益率的三阶矩标准化后的偏度值,公式为: $$Skew = \frac{E[(r-\mu)^3]}{\sigma^3}$$ 其中$r$为日内收益率,$\mu$为均值,$\sigma$为标准差[13] 2. **因子名称:日内下行波动占比因子** - 构建思路:衡量下行波动在总波动中的占比,反映风险不对称性[19] - 具体构建过程:计算下行收益率的标准差与整体标准差的比值: $$DownVolRatio = \frac{\sqrt{\sum_{r<0}(r-\mu_-)^2/N_-}}{\sigma}$$ $\mu_-$为下行收益均值,$N_-$为下行观测数[19] 3. **因子名称:开盘后买入意愿占比因子** - 构建思路:通过开盘后特定时段的大单买入占比捕捉资金流向[23] - 具体构建过程:统计开盘后30分钟内大单买入金额占总成交金额比例[23] 4. **因子名称:改进GRU(50,2)+NN(10)因子** - 构建思路:结合门控循环单元(GRU)和神经网络(NN)的深度学习模型[14] - 具体构建过程: - 第一层GRU网络处理50个时间步长的输入特征 - 第二层GRU输出2维隐藏状态 - 10层全连接神经网络进行最终预测[14] 5. **因子名称:多颗粒度模型-5日标签因子** - 构建思路:基于双向AGRU网络处理不同时间尺度的价格特征[70] - 具体构建过程: - 输入层接收5日累计收益率作为训练标签 - 双向AGRU网络提取多时间尺度特征 - 注意力机制动态加权特征重要性[70] 因子回测效果 1. **日内高频偏度因子** - 上周多空收益:-0.66% - 8月多空收益:-0.37% - 2025年多空收益:16.9% - 历史IC:0.026 - 2025年IC:0.037[10] 2. **改进GRU(50,2)+NN(10)因子** - 上周多空收益:1.36% - 8月多空收益:2.42% - 2025年多空收益:28.86% - 历史IC:0.066 - 2025年IC:0.045[12] 3. **多颗粒度模型-5日标签因子** - 上周多空收益:1.65% - 8月多空收益:2.68% - 2025年多空收益:44.62% - 历史IC:0.081 - 2025年IC:0.070[12] AI增强组合表现 1. **中证500 AI增强宽约束组合** - 上周超额收益:0.47% - 8月超额收益:0.85% - 2025年超额收益:11.56%[13] 2. **中证1000 AI增强严约束组合** - 上周超额收益:0.39% - 8月超额收益:0.91% - 2025年超额收益:15.66%[92] 模型构建细节 - **优化目标函数**: $$max\sum\mu_{i}w_{i}$$ 其中$w_i$为股票权重,$\mu_i$为预期超额收益[74] - **交易成本假设**:双边3‰的交易成本[75]
昔日高考状元,今日AI顶尖科学家:何恺明的“开挂”人生
21世纪经济报道· 2025-08-09 03:27
AI人才竞争格局 - Meta首席执行官扎克伯格积极争夺AI科学家 尤其针对华人AI人才 提供1亿至2亿美元薪酬包 [1][5] - 科技行业顶尖企业如Meta和OpenAI对顶级AI科学家的竞争趋于白热化 [5] 关键学术贡献 - 2015年由何恺明等人发表的深度残差网络(ResNets)论文成为AI领域被引用次数最多的研究 [2][3] - 该论文《Deep Residual Learning for Image Recognition》位列21世纪引用量最高论文Top 25首位 [3] - ResNets研究突破性证明数百层深度网络的训练可行性 对深度学习发展具有开创性意义 [4] 顶尖AI科学家背景 - 何恺明为论文主要作者 拥有清华大学背景 曾获广东省高考满分状元 [4] - 其职业轨迹涵盖微软亚洲研究院、Facebook AI研究院(FAIR) 现同时任职MIT终身教授与Google DeepMind兼职科学家 [4] - 被业界认定为"双轨天才" 学术研究成果均获得实践验证 与斯坦福李飞飞等华人科学家齐名 [4]
最前线|RoboMaster 2025机甲大师超级对抗赛收官,从高校开始以赛促学
36氪· 2025-08-05 07:54
文|张子怡 算法研发要求同步升级。因此,上海交通大学交龙战队的步兵机器人搭载边缘计算模块,通过神经网络 实现敌方装甲板、能量机关扇叶识别,同步完成运动预测与弹道解算,支持远距离精准打击动态目标。 相关技术既提升实战性能,更推动深度学习等前沿视觉算法在复杂动态环境中的应用探索。 东北大学TDT战队的工程机器人采用关节式串联机械臂与逆运动学解算技术,结合自定义控制器这种符 合直觉的人机交互形式,高效完成三维特殊角度的矿石兑换,在比赛中持续积累经济优势,为高强度对 抗提供支撑。 中国科学技术大学RoboWalker战队基于激光雷达与先进算法,实现规划导航、避障及多机通讯,进行 自主追击、进攻、基地保护等智能决策,在赛场复杂环境下灵活应对"攻防"需求。相关技术能够引导学 生关注前沿AI决策算法,对接自动化工业生产、辅助驾驶、安防巡检等智能产业需求。 机甲大师赛初期引入空中机器人,以轻量化、高负载为目标,持续提升载重率要求,推动参赛队在轻量 化与动力载荷平衡上创新。25赛季中,中国石油大学(华东)RPS战队的空中机器人表现突出,整机重 量仅为12.4kg,可负载5kg官方物资,在7分钟的比赛时间中进行高效输出,紧贴应急 ...
CVPR 2025中稿新高的背后,录用率却仅22.1%。。。
自动驾驶之心· 2025-08-04 03:23
AI顶会投稿现状与痛点 - 2025年AI顶会投稿量爆炸式增长 CVPR投稿量达1 3万篇但录用率仅22 1% 反映学术竞争白热化 [1] - 审稿质量出现显著滑坡 NeurIPS出现将Adam优化器误认为"陌生人名"的离谱审稿意见 该算法被引量超22万次 [1] - 19篇CVPR论文因审稿人滥用AI生成意见遭"连坐拒稿" 暴露审稿机制漏洞 [1] 论文被拒核心原因 - 60%的Desk Reject源于期刊方向匹配错误 显示学者对期刊定位理解不足 [3] - 65%拒稿因方法学漏洞和实验不可复现 反映科研严谨性缺失 [1][3] - 78%论文因写作问题被拒 包括逻辑混乱和"不会讲故事"等表达缺陷 [1][3] - 23%初审淘汰源于格式错误等流程性失误 凸显投稿规范意识薄弱 [2] 学术辅导服务优势 - 公司拥有300+专职导师团队 均来自QS前100高校 发表过顶会/子刊论文 覆盖自动驾驶等前沿领域 [4] - 近3年辅导400+学员 中稿率高达96% 提供从选题到投稿的全流程服务 [4][11] - 采用精准匹配系统 根据研究方向/目标期刊筛选3-5位导师 支持不满意更换 [18] - 优秀学员可获清北/MIT推荐信 并内推至阿里达摩院等企业研发岗 [19] 服务内容与形式 - 提供科研思维训练 经典算法体系构建 代码实践结合等系统化培养 [9][12] - 课程形式包括1v1在线教学 微信群答疑 录播回看等 配备班主任全程督学 [15][17] - 零基础学员可通过6个月系统训练产出小论文 包含文献带读等基础课程 [18]
秋招面经!大疆卓驭感知算法工程师面试~
自动驾驶之心· 2025-08-03 23:32
自动驾驶行业求职分析 - 自动驾驶算法岗位需求集中在动态目标感知、多传感器融合、BEV感知等方向,核心技能包括深度学习、计算机视觉、优化算法等 [5][7][10] - 岗位职责涉及车道线识别、障碍物追踪、轨迹预测、4D场景重建等实际应用场景,技术落地性强 [10] - 头部企业如小米汽车、理想汽车、华为等均在招聘相关算法人才,行业处于快速发展期 [28] 岗位技术要求 - 硬性条件包括计算机/自动化硕士学历、C++/Python编程能力、多视图几何/深度学习/滤波算法等专业知识 [7] - 加分项涵盖传感器融合经验、顶级会议论文发表、ACM/机器人竞赛经历等 [9] - 工程能力要求突出,需熟悉模型部署工具(TensorRT/ncnn)、量化原理、知识蒸馏等产业化技术 [3][16] 面试流程与内容 - 技术面试深度考察项目细节,如SLAM系统设计、噪声分析、精度评估方法等 [2][3] - 算法原理类问题涉及Transformer有效性、多头注意力机制、Occupancy Network等前沿技术 [2] - 编程基础测试包括C++智能指针、动态库链接、CMake管理等系统级知识 [2] 行业资源与培训 - AutoRobo知识星球提供面试题库(BEV感知、多传感器标定等12个专项百问)、行业研报(人形机器人蓝皮书等)、面经复盘等实用资源 [16][23][24] - 社区覆盖近1000名从业者,包含智元机器人、地平线等企业员工及应届求职者,形成行业生态网络 [13] - 付费星球服务(20元优惠券)整合内推渠道、谈薪技巧、简历优化等求职全流程支持 [32][33] 职业发展建议 - 需明确技术路线选择(如SLAM转动态感知的适应性),平衡学术研究与工程落地需求 [2][3] - 行业研报建议关注具身智能、4D重建等新兴方向,把握技术演进趋势 [21][23] - 面试复盘显示头部企业重视解决方案设计能力(如前/后融合策略)及跨领域知识迁移能力 [2][24]
RoboMaster 2025机甲大师超级对抗赛全国赛收官
环球网资讯· 2025-08-03 13:44
赛事结果 - 上海交通大学交龙战队获得全国总冠军 [1] - 中国科学技术大学RoboWalker战队获得亚军 [1] - 华南理工大学华南虎战队获得季军 [1] - 东北大学TDT战队获得殿军 [1] 技术亮点 - 赛事通过升级赛场地形(增设二级台阶、狭窄隧道等)引导参赛队研发轮腿平衡底盘及运动控制算法 [3] - 平衡反关节轮腿技术在赛场上广泛应用,各队聚焦结构与算法优化提升机器人负载、机动及地形适应能力 [3] - 相关技术突破契合安防巡检、灾害救援等需求,推动技术向实用化延伸 [3] 冠军技术 - 上海交通大学交龙战队的步兵机器人搭载边缘计算模块,通过神经网络实现敌方装甲板、能量机关扇叶识别 [5] - 支持远距离精准打击动态目标,推动深度学习等前沿视觉算法在复杂动态环境中的应用探索 [5] 亚军技术 - 中国科学技术大学RoboWalker战队基于激光雷达与先进算法实现规划导航、避障及多机通讯 [5] - 在赛场复杂环境下灵活应对"攻防"需求,引导学生关注前沿AI决策算法 [5] - 相关技术对接自动化工业生产、辅助驾驶、安防巡检等智能产业需求 [5] 备赛过程 - 参赛队员经历从"课堂理论"到"产品落地"的完整工程实践 [5] - 需要协调机械、电控、算法、视觉等多学科团队解决跨领域技术协同难题 [5] - 需要平衡性能、成本与可靠性,在有限资源下实现最优解 [5] 实践意义 - "全流程实战"模式让学生提前体验真实科研与产业开发的全周期挑战 [7] - 为学生未来投身智能安防、灾害救援、低空经济等领域奠定实践基础 [7]
AI教父Hinton,重新能坐下了
虎嗅· 2025-08-03 04:53
行业与公司发展 - 2012年Hinton团队在ImageNet竞赛中以15.3%错误率夺冠,标志深度学习在图像分类领域的重大突破 [30][31] - 深度学习复兴的两大前提:2010年前后计算能力与大数据成熟 [34] - Hinton团队开发的神经网络技术使机器识别常见物体的准确度达到前所未有的水平 [33] 关键技术突破 - Hinton与搭档提出玻尔兹曼机和反向传播算法,解决机器"从数据中自动提炼内部表征"的核心难题 [20] - ChatGPT底层架构采用Transformer,属于神经网络的一种特殊形式 [13] - 2012年深度学习从纯学术研究转向产业应用,成为科技巨头战略核心 [42][43] 重大商业事件 - 2013年谷歌以4400万美元收购Hinton创立的DNNResearch公司 [40][41] - 谷歌随后以6.5亿美元收购DeepMind,该交易被视为谷歌最值得的投资之一 [54] - DeepMind被收购后开发出AlphaGo、AlphaFold、Gemini等里程碑式AI产品 [55][57] 行业影响与趋势 - 2019年Hinton与LeCun、Bengio共获图灵奖,表彰其推动神经网络成为科技产业核心 [59][60] - 2023年Hinton预警AI风险,提出"AI30年内导致人类灭绝概率10%-20%"的观点 [76] - AI发展速度超预期,Hinton修正预测认为"AI5年内可能比人类更聪明" [76] 行业应用前景 - Hinton认为AI将颠覆所有行业,仅水管工等需要高度创造力的职业暂时安全 [76] - 谷歌通过整合DeepMind与谷歌大脑部门,持续产出尖端AI产品 [57] - 全球科技巨头围绕深度学习重构业务,涵盖搜索、语音、图像识别、自动驾驶等领域 [43]
DeepTiming:日内信息与相似度学习驱动择时
民生证券· 2025-07-31 09:02
量化模型与构建方式 1. **模型名称:民生金工深度学习股票收益预测模型** - **模型构建思路**:基于民生金工历史研究框架,结合日频和分钟频输入数据,通过深度学习预测股票收益,并利用滚动阈值生成交易信号[1][10]。 - **模型具体构建过程**: 1. **输入端**: - 日频特征:51个技术面/情绪面日频特征 + 7个日频基础量价指标 + 10个强化风格因子(通过PPO强化学习生成)[12][22]。 - 分钟频特征:52个分钟频特征(合成至日频)[22]。 2. **基分类器**: - 使用2个GRU分别对日频和分钟频特征解码[22]。 3. **市场信息嵌入**: - 指数量价数据 + 强化风格偏好生成权重嵌入[22]。 4. **损失函数**: - 多期股票收益作为预测目标,多期MSE均值作为损失函数: $$ \text{MSE} = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$ 其中,\( y_i \)为实际收益,\( \hat{y}_i \)为预测收益[22][26]。 5. **信号生成**: - 预测值滚动阈值:过去一年预测值的70%分位数作为买入信号,30%分位数作为卖出信号,至少持有10个交易日[30]。 - **模型评价**:模型信号分布集中于0轴附近,右偏且尾部极窄,适合波段择时[27][29]。 2. **模型名称:SimStock股票相似度模型** - **模型构建思路**:通过自监督学习预测股票相似度,结合静态(行业/风格)和动态(量价规律)相关性,生成股票属性向量[47][52]。 - **模型具体构建过程**: 1. **输入数据**: - 个股过去40日量价数据 + Barra风格因子 + 资金流指标(形状为\( N \times 40 \times 20 \))[52]。 2. **样本构建**: - 正样本:\( X_{\text{正}} = 0.75X + 0.25X_{\text{随机}} \) - 负样本:随机抽取不相关特征[52]。 3. **训练目标**: - 最大化正样本相似度,最小化负样本相似度,使用余弦相似度衡量: $$ \text{相似度} = \frac{\mathbf{v}_i \cdot \mathbf{v}_j}{\|\mathbf{v}_i\| \|\mathbf{v}_j\|} $$ 其中,\( \mathbf{v}_i \)为股票属性向量[52][53]。 4. **输出**:个股属性向量用于初始化GRU隐状态,提升收益预测稳定性[57][59]。 - **模型评价**:相似度预测更关注行业而非市值,动态性更强[56]。 3. **复合模型:改进后的收益预测模型** - **构建思路**:将SimStock输出的股票属性向量初始化GRU隐状态,结合原有日频和分钟频输入[57][59]。 - **评价**:改进后模型显著提升预测稳定性,尤其在高波行业中效果突出[60][64]。 --- 模型的回测效果 1. **民生金工深度学习模型**: - 全A股平均年化收益:27%,累积超额收益77%(2019-2025)[33]。 - 沪深300成分股:年化收益17.2%,夏普比率1.24,最大回撤8%[38][41]。 - 中证500成分股:年化收益18.8%,夏普比率1.58,最大回撤10.3%[41][43]。 - 中证1000成分股:年化收益18.1%,夏普比率1.24,最大回撤21.3%[43][46]。 2. **改进后模型(加入SimStock)**: - 全A股平均年化收益:30%,累积超额收益109%[60]。 - 沪深300成分股:年化收益20.7%,夏普比率1.88,最大回撤8.5%[64][67]。 - 中证500成分股:年化收益23.4%,夏普比率1.97,最大回撤10.8%[68][71]。 - 中证1000成分股:年化收益22.5%,夏普比率1.56,最大回撤20.5%[71][73]。 3. **指数择时效果**: - 沪深300:年化收益5.1%,超额收益5.6%[79]。 - 中证500:年化收益12.4%,超额收益12.2%[82]。 - 中证1000:年化收益15.1%,超额收益14.9%[84]。 - 电力设备及新能源行业:年化收益36%,超额收益31.1%[101][103]。 --- 量化因子与构建方式 1. **因子名称:分钟频因子** - **构建思路**:从日内分钟级数据中提取量价相关性、波动率、动量等特征[109]。 - **具体因子示例**: - 分钟收益率与成交量相关系数 - 尾盘半小时动量 - 下行波动率占比 - 开盘成交占比[109]。 --- 因子的回测效果 1. **择时因子RankIC**:周度平均RankIC 4.5%,双周调仓多头年化收益23.2%(费后)[36]。 2. **改进后因子RankIC**:周度平均RankIC 4.2%,年化收益21.7%[74][75]。
机器学习因子选股月报(2025年8月)-20250730
西南证券· 2025-07-30 05:43
量化模型与构建方式 1. **模型名称:GAN_GRU模型** - **模型构建思路**:结合生成式对抗网络(GAN)和门控循环单元(GRU)的深度学习模型,用于挖掘量价时序特征并生成选股因子[4][13] - **模型具体构建过程**: 1. **数据输入**:使用18个量价特征(如收盘价、成交量、换手率等),采样形状为40*18(过去40天的特征)[17][18] 2. **GAN部分**: - 生成器(G):采用LSTM结构,输入原始量价时序特征(40×18),输出生成的特征(40×18)[33][37] - 判别器(D):采用CNN结构,通过卷积层处理二维量价时序特征,输出真假概率[33][35] - 损失函数: - 生成器损失:$$L_{G}\,=\,-\mathbb{E}_{z\sim P_{z}(z)}[\log(D(G(z)))]$$[24] - 判别器损失:$$L_{D}=-\mathbb{E}_{x\sim P_{d a t a}(x)}[\log\!D(x)]-\mathbb{E}_{z\sim P_{z}(z)}[\log(1-D(G(z)))]$$[27] 3. **GRU部分**:两层GRU(128,128)提取时序特征,后接MLP(256,64,64)输出预测收益pRet作为因子[22] 4. **训练方式**:半年滚动训练,每半年更新模型参数,训练集与验证集比例80%:20%[18] - **模型评价**:通过对抗训练提升特征生成能力,保留时序特性,适配金融数据的高噪声和非线性特点[33][37] 2. **因子名称:GAN_GRU因子** - **因子构建思路**:利用GAN_GRU模型输出的预测收益pRet作为选股因子,经行业市值中性化+标准化处理[22][41] - **因子具体构建过程**: 1. 模型输出的pRet截面排序,取前10%股票构成多头组合[46] 2. 因子值计算:$$Factor_{GAN\_GRU} = pRet_{标准化} + 行业市值中性化残差$$[22] --- 模型的回测效果 1. **GAN_GRU模型** - IC均值:11.43% | ICIR:0.89 | 年化超额收益率:24.86%[41][42] - 年化收益率:38.52% | 最大回撤率:27.29% | 信息比率(IR):1.62[42] 2. **GAN_GRU因子(行业表现)** - 当期IC最高行业:家用电器(27.00%)、非银金融(23.08%)[42] - 近一年IC均值最高行业:公用事业(14.43%)、商贸零售(13.33%)[42] - 多头组合超额收益:纺织服饰(5.19%)、公用事业(3.62%)[2][43] --- 量化因子与构建方式 1. **因子名称:GAN_GRU衍生行业因子** - **构建思路**:在申万一级行业内部分层测试GAN_GRU因子表现,生成行业特异性选股信号[42][43] - **具体构建过程**: 1. 按行业分组计算因子IC和多头组合超额收益[42] 2. 行业中性化处理:$$Factor_{行业} = Factor_{原始} - \beta_{行业} \times Industry_{哑变量}$$[22] --- 因子的回测效果 1. **GAN_GRU衍生行业因子** - 全A股多头组合年化超额收益:24.86% | 换手率:0.82[42] - 近一年IC均值:10.97% | 最新一期IC:9.27%[41][42] 2. **行业多头组合** - 近一年月均超额收益:家用电器(5.44%)、建筑材料(4.70%)[2][43] - 全行业跑赢基准比例:30个行业中21个跑赢(70%)[43] --- 其他关键点 - **数据预处理**:量价特征在时序上去极值+标准化,个股截面标准化[18] - **超参数**:batch_size=截面股票数,优化器Adam,学习率1e-4,损失函数IC[18] - **最新多头组合**:裕同科技、青山纸业等(2025年8月前十个股)[5][48]