HiFo-Prompt：基于后见之明和先见之明的LLM自动启发式设计
info 简介
HiFo-Prompt是一种创新的框架，通过结合后见之明(Hindsight)和先见之明(Foresight)两种提示策略，显著提升了基于大型语言模型(LLM)的自动启发式设计(AHD)的效果。该框架将短暂发现转化为持久知识库，使LLM能够从自身经验中学习，实现更高质量的启发式生成和更快的收敛速度。
help_outline 问题背景
基于LLM的自动启发式设计(AHD)在进化计算(EC)框架中展现出巨大潜力，但面临以下挑战：
使用静态操作符，无法适应搜索过程中的动态变化
缺乏知识积累机制，无法从历史经验中学习
探索-利用权衡难以有效管理
architecture HiFo-Prompt架构
HiFo-Prompt框架包含两个核心模块，协同工作以提升LLM的启发式设计能力：
后见之明模块
洞察提取与准入
洞察检索与信用分配
自我进化的洞察池
sync
先见之明模块
状态感知引导
进化导航器
自适应搜索控制
history Hindsight机制
后见之明模块通过模拟人类专业知识，将过去几代成功的启发式方法提炼为基本、可重用的设计原则：
洞察提取与准入：从历史成功的解决方案中提取关键洞察，并将其存储在洞察池中
洞察检索与信用分配：根据当前问题状态检索相关洞察，并根据历史表现分配信用权重
自我进化的洞察池：通过持续学习和更新，使洞察池能够适应不同的问题场景
visibility Foresight机制
先见之明模块基于群体动态自适应地引导搜索，有效管理探索-利用的权衡：
状态感知引导：根据当前种群状态和搜索进度，动态调整搜索策略
进化导航器：预测搜索方向，引导种群向有希望的区域移动
自适应搜索控制：根据搜索过程中的反馈，实时调整探索和利用的平衡
analytics 实验结果
在多个组合优化问题上的实验结果表明，HiFo-Prompt显著优于最先进的基于LLM的AHD方法：
+32%
解决方案质量提升
-45%
收敛时间减少
+38%
查询效率提升
测试问题包括旅行商问题(TSP)、在线装箱问题(OBPP)和流水车间调度问题(FSSP)等经典组合优化问题。
lightbulb 结论和未来工作
HiFo-Prompt通过结合后见之明和先见之明两种提示策略，成功解决了基于LLM的自动启发式设计中的关键挑战：
- 建立了有效的知识积累机制，使LLM能够从自身经验中学习
- 实现了动态自适应的搜索引导，有效管理探索-利用权衡
- 显著提升了启发式设计的质量和效率
未来工作：扩展到更多类型的优化问题，进一步改进知识表示和检索机制，探索与其他先进AI技术的融合。