大模型微调技术 数据工作 - 直接继承现有数据而不检查质量是最基础的做法 [7] - 开源数据构建需形成"system+query+answer"结构化集合 [8] - 利用GPT4生成数据时需注重prompt多样性和抗噪性设计 包括人工校验标注标准 [8] - 用户交互日志驱动数据构造 结合规则或GPT4分析feedback提升answer质量 [9] - 通过任务拆解解决复杂问题 如将长篇小说写作分解为大纲生成和分段创作 [9] 训练代码 - 直接复用现有代码仅修改路径参数属于初级操作 [11] - 深入研究训练参数如offload/sequence_parallel机制 分析dataloader数据处理逻辑 [11] - 提出参数优化建议 包括epoch数量(3次可能过多)、学习率调整(7B模型适用性)、warmup步数设置 [11] - 框架优化方向涉及deepspeed与megatron结合 以及rope计算耗时等性能瓶颈突破 [12] 实验分析 - 基础评估仅依赖预设测试集 负收益时简单归因数据质量问题 [14] - 深度分析需结合pretrain模型对比 识别bad case类型(幻觉/过拟合/能力不足等) [14] - 训练过程监控需综合tensorboard日志 关注loss曲线形态(如阶梯形变化)、channel_loss异常等 [15] - benchmark测试揭示通用能力下降现象 研究任务训练与能力跷跷板效应关系 [15] - 诊断技术包括token概率观测、错误发生位置定位 以及pattern过拟合根因分析 [17] 自动驾驶技术生态 行业社区 - 已建立近百个技术交流群 覆盖大模型/VLA/端到端等30+技术方向 [18] - 社区规模近4000人 吸引300余家企业和科研机构参与 [18] - 重点技术领域包括BEV感知、多模态融合、3DGS、世界模型等前沿方向 [19]