大模型在推荐广告场景的应用 - 大模型在推荐和广告场景面临两大核心难点：缺乏电商领域专业知识以及文本交互方式导致信息密度低[2] - 阿里妈妈提出世界知识大模型URM，通过知识注入和信息对齐解决上述问题，实现基于推理认知能力的用户兴趣推荐[2] - URM已在阿里妈妈展示广告场景上线，显著提升商家投放效果和消费者购物体验[4] URM模型技术架构 - URM以预训练LLM为基座，通过多任务Prompt设计和ID表征知识注入实现用户兴趣理解和推荐[10] - 模型保留LLM的Transformer结构，修改输入输出层以支持商品ID和特殊查询符处理[17] - 采用商品多模态融合表征方式，结合ID表征和语义表征提升电商信号理解能力[21] - 设计Sequence-In-Set-Out生成方式，通过多用户表征并行生成提升推荐多样性[26][27] 模型训练与效果 - 训练损失包含商品推荐任务(NCE损失)和文本生成任务(负对数似然)两部分[33][35] - 采用完整参数有监督微调，仅冻结商品原始表征[38] - 离线实验显示URM在6/9子任务中超越传统模型，平均Recall提升11%[39] - 消融实验验证了表征融合模块和UM token数量的有效性[40] 工业落地实现 - 设计异步推理链路解决LLM高时延问题，实现用户行为触发和结果持久化[42] - 在LLM推理中增加HashTable支持，提升向量检索能力[46] - 通过多instance容器部署将推理并发QPS提升200%[47] 应用场景与案例 - 支持多场景推荐、多目标推荐、发现性推荐等多种任务类型[16] - 通过文字引导实现情境化推荐，如新年场景下优先推荐儿童新年服装[6][7] - 案例显示能准确推断用户装修阶段和生活品质需求，推荐全屋定制类产品[4]