LLM驱动的核函数进化：CAKE框架如何革新贝叶斯优化

在科学与工程实践中，常会遇到计算成本高、评估耗时的函数优化问题，例如复杂机器学习模型的超参数调整或新型材料的设计。贝叶斯优化（Bayesian Optimization，BO）作为针对这类“黑箱”问题的优化方法，已被证明具备良好效果。然而，该方法的性能很大程度上受限于其内部代理模型的选择，特别是当采用高斯过程（Gaussian Process，GP）作为代理模型时，核函数的设定尤为关键。若核函数与问题特性不匹配，优化进程可能收敛缓慢，甚至无法得到理想的结果。

为解决这一问题，来自香港中文大学（深圳）、伊利诺伊大学厄巴纳-香槟分校和雅典大学的研究人员共同提出了一种名为Context-Aware Kernel Evolution (CAKE)的新方法。该成果已被第39届Conference on Neural Information Processing Systems（NeurIPS 2025）接收，论文题为“Adaptive Kernel Design for Bayesian Optimization Is a Piece of CAKE with LLMs”。该工作提出一个突破性的框架，利用大语言模型（LLMs）的推理与生成能力，在优化过程中自动、动态地设计最优的高斯过程（GP）核函数。这项研究为构建更智能、高效且可解释的贝叶斯优化系统迈出了重要一步。

贝叶斯优化的核心思想是：为未知目标函数构建一个概率代理模型（通常是高斯过程GP），并通过一个“获取函数”智能地选择下一次评估点，从而在exploit（在已知较优区域采样）与explore（探索高不确定性区域）之间取得平衡。GP的核心是核函数，它决定了模型对函数结构的基本假设，比如平滑性、周期性或线性趋势。传统方法往往选用通用核函数（如Matérn或SE核）并保持不变。这种“放之四海皆准”的策略在关于核函数的假设与真实目标函数特征不匹配时，容易导致性能下降。

核函数语法（Kernel Grammar）为了构建更具表达能力的核函数，Duvenaud等人（2013）引入了“核函数语法”。其核心思想是核函数在加法和乘法下是封闭的：如果k1和k2是有效的核函数，那么k1 + k2和k1 × k2也是有效的核函数。

通过一组基础核函数B（例如线性LIN、周期PER、平方指数SE等），我们可以递归地构建一个无限的核函数空间S：S → B（替换核），S → S + B（加法组合），S → S × B（乘法组合）。例如，LIN + PER可以捕捉带线性趋势的周期性数据，而SE × PER可以捕捉局部周期性成分。然而，如何在这个无限空间中高效搜索，特别是在BO要求的“小样本”场景下，一直是业界的难题。LLM卓越的上下文学习（in-context learning）与小样本推理能力，为解决这个问题提供了全新的思路。

核心方法：CAKE与BAKER该论文提出了两个相互协作的核心创新模块，共同构建出强大的自适应贝叶斯优化框架：1. Context-Aware Kernel Evolution (CAKE)

CAKE将核函数的设计问题重新构想为一个“进化过程”，并巧妙地利用大语言模型（LLM）作为生成新核函数的“引擎”。该系统维护着一个由多个核函数组成的“种群”。在每次优化迭代中，LLM根据已有的观测数据执行以下两类“遗传操作”：交叉（Crossover）：LLM接收两个性能较好的“父代”核函数及其对应的性能评分，将其特点进行融合，生成一个新的“子代”核函数；变异（Mutation）：LLM接收一个性能较好的核函数，并对其结构的一部分进行修改，以探索可能更优的新形式。所有新生成的核函数都会被加入到种群中，并根据贝叶斯信息准则（BIC）评估其性能优劣。随后，系统会筛选出表现最好的一批核函数，保留固定数量进入下一代，从而完成种群的更新。

2. BIC-Acquisition Kernel Ranking (BAKER) 研究者发现，最能拟合已有数据的核函数，不一定能提出最具价值的下一采样点。为此，他们提出了BIC-Acquisition Kernel Ranking（BAKER）方法，通过同时考虑两个指标对核函数进行排序：1. 模型拟合度：核函数对现有数据的解释能力；2. 采样潜力：核函数所建议的下一个查询点的潜在价值（acquisition value）。

通过加权平衡这两项指标，BAKER能在优化代理模型与实际推进最优解之间取得稳健的平衡。

实验设置：基线与测试平台为了证明CAKE的有效性，研究者将其与三大类基线方法进行了比较：固定核（Fixed）：使用单一的SE或M5（Matérn-5/2）核，这是BO的默认设置。自适应核（Adaptive）：包括随机选择（Random）、按获取函数值选择（Utility）或按BIC选择核的方法。组合与高级方法（Compositional）：包括深度高斯过程（DGP）、高斯过程集成（EGP）、组合核搜索（CKS）和自动化贝叶斯优化（ABO）。测试平台覆盖了三个具有挑战性的真实领域：1. 超参数优化（HPOBench）：共60个任务，涉及5种ML模型（LR, SVM, RF, XGB, MLP）和12个OpenML数据集。2. 控制器调优（Controller Tuning）：两个高维动态仿真任务：机器人推送（d=14）和月球着陆（d=12）。3. 光子芯片设计（Photonic Chip Design）：一个复杂的多目标（5个目标）物理反向设计问题。

实验结果与深入分析综合性能方面，CAKE在所有测试平台上均展现出显著优势。在HPOBench上，CAKE的平均优化性能比最佳基线方法提升了15-20%，特别是在高维复杂任务中，其优势更为明显。在控制器调优任务中，CAKE能够更快地收敛到最优控制器参数，减少了约30%的仿真评估次数。在光子芯片设计这一多目标优化问题中，CAKE成功找到了帕累托前沿上更优的设计点，证明了其在复杂物理系统优化中的潜力。深入分析显示，CAKE的成功源于LLM的上下文理解能力：LLM能够从少量观测数据中推断出目标函数的结构特征（如周期性、线性趋势或局部变化），并生成与之匹配的核函数组合。与传统基于规则或随机搜索的方法相比，CAKE的进化过程更具方向性和智能性，避免了在无限核函数空间中的盲目搜索。此外，BAKER模块的引入确保了核函数选择不仅基于拟合优度，还考虑了优化进程的推进需求，从而在探索与利用之间实现了更精细的平衡。这项研究的突破性在于，它将LLM的生成式能力与贝叶斯优化的数学框架深度融合，开创了“AI设计AI”的新范式。未来，CAKE框架可扩展至更广泛的优化问题，如神经架构搜索、化学分子设计等，为自动化机器学习（AutoML）和科学发现提供强大工具。

— 图片补充 —