FAMOSE：一种用于自动特征发现的ReAct方法

特征工程仍然是机器学习中的一个关键但具有挑战性的瓶颈，特别是在表格数据中，因为从指数级大的特征空间中识别出最优特征通常需要大量的领域专业知识。为了解决这一挑战，我们引入了FAMOSE（特征增强和最优选择代理），一个新颖的框架，它利用ReAct范式主探索、生成和细化特征，同时在代理架构中整合特征选择和评估工具。据我们所知，FAMOSE是第一个将代理ReAct框架应用于自动化特征工程的实例，特别是针对回归和分类任务。广泛的实验表明，FAMOSE在分类任务上处于或接近最先进水平（特别是具有超过10K个实例的任务，其中ROC-AUC平均提高了0.23%），并通过平均降低RMSE 2.0%实现了回归任务的最先进水平，同时比其他算法更稳健地处理错误。我们假设FAMOSE强大性能的原因是ReAct允许LLM上下文窗口记录（通过迭代特征发现和评估步骤）哪些特征有效或无效。这类似于少量样本提示，并指导LLM发明更好、更具创新性的特征。我们的工作提供了证据，表明AI代理在解决需要高度创新性解决方案的问题（如特征工程）方面非常有效。