核心技术创新 - 提出名为Context-Aware Kernel Evolution (CAKE)的新方法，利用大语言模型的推理与生成能力，在贝叶斯优化过程中自动、动态地设计最优的高斯过程核函数[5][6] - 该方法将核函数设计问题重新构想为一个"进化过程"，LLM作为生成新核函数的引擎，执行交叉和变异两类遗传操作，并根据贝叶斯信息准则评估性能[15][17][19] - 提出BIC-Acquisition Kernel Ranking (BAKER)方法，通过加权平衡模型拟合度和采样潜力两个指标对核函数进行排序，在优化代理模型与实际推进最优解之间取得稳健平衡[21][22] 技术性能优势 - 在超参数优化任务中，CAKE在60个HPO任务上所有测试的ML模型中均取得最高最终准确率，在优化早期（如前25%预算内）能迅速收敛到高性能区域[27] - 在控制器调优任务中，CAKE显著优于所有基线，能更快收敛至高回报控制策略，在月球着陆任务中是少数能成功达到200分目标分数的BO方法之一[28] - 在光子芯片设计的多目标优化中，CAKE使用预期的超体积改进作为获取函数，求得高质量解的速度提升近十倍，大幅节省设计时间与成本[29][32] 方法比较验证 - 与三大类基线方法比较：固定核（SE或M5）、自适应核（随机选择、按获取函数值选择或按BIC选择）、组合与高级方法（深度高斯过程、高斯过程集成等）[25][26] - 消融研究证实CAKE和BAKER两个组件的必要性，完整模型效果远超CKS + BAKER（证明LLM优于传统搜索）和CAKE + BIC（证明BAKER平衡策略优于单独BIC）[35] - 实验证明LLM作为遗传算子能更迅速引导核函数种群朝更高适应度方向进化，与随机重组或传统遗传算法相比，适应度分布曲线能更快向高分区域移动[31] 计算成本分析 - 使用LLM会增加每次迭代的"墙上时钟时间"至8.3秒，而固定核方法仅需0.6秒，自适应方法需3.7秒[40] - 在贝叶斯优化典型应用场景（如药物研发、芯片设计）中，函数评估成本（数小时或数天）远高于LLM推理成本（秒级），CAKE通过减少函数评估次数总体上极大节约优化总成本[39] - 性能随着LLM能力提升而提升，使用gemini-2.0-flash在LR、SVM、RF、XGB、MLP任务上分别达到0.8253、0.8720、0.9056、0.9310、0.8780准确率，证明框架具有良好的"未来兼容性"[41] 应用前景拓展 - CAKE标志着AI for Science范式下的一次根本性跃迁，将大语言模型角色从文本生成工具提升为参与算法级结构设计的智能协作者[42] - 未来计划扩展CAKE框架，引入更具通用性的核函数语法，并将其核心思想推广至其他基于核方法的机器学习任务，如支持向量机、核主成分分析以及度量学习等[42] - 这项工作为构建更加自主、可解释且持续进化的智能优化系统开辟新路径，有望成为推动自动化实验室与加速科学发现进程的关键技术之一[42]