Artificial Intelligence - 财报，业绩电话会，研报，新闻

Artificial Intelligence

搜索文档

机器之心· 2025-12-23 04:15

文章核心观点 - 文章通过分析2025年腾讯广告算法大赛冠亚军的解决方案，探讨了广告推荐系统从传统判别式方法向全模态生成式方法演进的技术趋势，并展示了年轻技术人才如何解决工业界真实存在的复杂难题 [1][4][5][51] 广告推荐的技术演进与挑战 - 广告推荐的核心目标是在合适的时间将广告推送给真正可能需要的人，以减少无效曝光和对用户的打扰 [7] - 业界目前主要有两种方法：传统判别式方法和新兴的生成式方法 [8] - 传统判别式方法通过级联架构和手工特征匹配用户与广告，但已遇到效果提升有限、冷启动困难等瓶颈 [11][14] - 生成式方法通过分析用户长时间跨度的行为序列，预测用户“下一步最可能发生什么”，能更好地理解用户意图和利用世界知识 [14][15] - 腾讯广告算法大赛的赛题定为“全模态生成式推荐”，要求基于用户的多模态历史行为数据预测下一次交互 [16] - 工业界已出现相关探索，如Google TIGER、Meta HSTU、快手的OneRec和腾讯的GPR，其中HSTU首次在推荐中观察到了Scaling Law [17] - 该领域仍面临工业级动态词表带来的训练/推理爆炸、毫秒级延迟与巨量算力的矛盾等挑战 [19] 大赛赛题的难点与要求 - 赛题对应超大规模数据场景：涉及千万级广告、千万级用户及同等规模的交互序列，但训练计算资源有限 [21] - 数据结构复杂：包含经过脱敏处理的文本、图像及协同行为等多模态数据，且存在特征缺失、行为序列时间跨度大等问题 [21] - 任务目标复杂：复赛需同时优化曝光、点击与转化等多个隐式目标，且存在近半数的冷启动广告项目 [22] 冠军团队Echoch的解决方案 - 团队来自华中科技大学、北京大学、中国科学技术大学 [25] - **特征工程**：提出三级会话体系、周期编码和时间差分桶，让模型理解用户“此时此刻”的状态，具备时间感和节奏感 [28][29][32] - **模型设计**：针对需同时预测点击与转化的问题，让同一模型能根据目标自动切换推荐策略 [35] - **基座模型优化**：将基座模型从HSTU换为LLM，利用其RoPE位置编码自带“时间感”，使线上得分提升，显存占用减少约5G [36] - **语义ID改进**：在编码最后一层引入随机性，使码表使用更均匀，长尾物品训练关注度提升190倍，码表利用率从81.2%提升至100%，衡量曝光不平等度的Gini系数从0.53降至近0 [37] - **训练加速**：引入Muon优化器，与AdamW相比，显存占用实测锐减45%，收敛速度提升40% [38] 亚军团队leejt的解决方案 - 团队来自中山大学 [40] - **数据处理**：通过将低频广告映射到共享词表及ID哈希编码，压缩千万级广告词表规模，解决显存瓶颈 [42] - **特征处理**：对高维多模态特征使用SVD降维去噪，再通过RQ-KMeans离散为语义ID，对缺失率高、效果不佳的模态特征选择舍弃 [43] - **序列建模**：通过session划分明确行为边界，并引入异构时序图，利用用户、广告及语义节点之间的关系网络来弥补个体数据的稀疏性 [44] - **工程优化**：采用混合精度训练、梯度检查点、torch.compile图编译等技术，将每步训练时间从3.5秒压缩到0.8秒，GPU利用率拉满至100%，成功将模型从4层512维扩展到8层2048维，验证了Scaling is all you need的核心信念 [45][48] 行业趋势与未来展望 - 从判别式到生成式的演进正在平稳推进，腾讯内部已在召回和粗排阶段用生成式模型替代传统模型，并取得了不错的效果，相关收益已在财报营收数据上有所体现 [51] - 生成式推荐是能落地并创造商业价值的技术方向 [51] - 为适应趋势，腾讯广告的数据将全面多模态化，内部广告系统也将全面Agent化，并将本次大赛数据开源以支持社区发展 [52] - 未来广告推荐可能走向即时生成，根据用户当下的兴趣、场景、情绪实时生成个性化广告内容，实现真正的“千人千面” [52]