DeepMind的研究人员推出了一种名为“FunSearch”的新方法，它利用大型语言模型(LLM)挖掘新的数学和计算机科学解决方案。
这篇发表在《自然》杂志上的论文描述了FunSearch，它结合了一个预先训练的LLM，任务是创造性的基于代码的解决方案，以及一个自动化的评估器，以减少问题解决过程中的不准确性。
它首先使用LLM以计算机代码的形式生成创造性的解决方案。然后，自动化系统检查这些解决方案，以确保它们是正确和有用的。这个过程重复进行，每个周期都进一步完善解决方案，将最初的想法发展成新的、经过验证的知识。
简单地说，FunSearch就像是一个非常有创造力的思想家（LLM）和一个严格的事实检查员之间的头脑风暴会议，共同努力寻找复杂问题的创新答案。
这个迭代过程使最初的想法演变成经过验证的新知识。
在DeepMind目前的实验中，FunSearch成功地为关键的数学问题提供了新的见解，包括上限设置问题和装箱问题。
解决上限设置问题
FunSearch的主要成功之一是它在上限集问题上的表现，这是数学理论中的一个复杂挑战。
以下是对这个问题的更深入的探讨：
- 帽集问题是基于高维空间的，其目标是找到没有三个点在一条直线上对齐的最大可能的点集(帽集)。
- 挑战来自于随着空间维度的增加，可能的组合呈指数增长，这使得传统的计算方法变得无效。
- FunSearch的突破在于生成的程序能够识别出比以前已知的更大的上限集，展示了超越人类驱动的数学知识的前所未有的能力。
FunSearch解决的一个更实际的问题是装箱问题，该问题寻求将不同尺寸的物品包装到容器中的最佳策略，这是一个在物理场景中（如组织运输容器）和计算科学中（如组织计算任务以提高效率）都相关的挑战。
传统方法通常涉及将物品打包到第一个可用空间或剩余空间最少的空间中。
然而，FunSearch推出了有效的方法，从战略上避免留下无法填补的小缺口。
功能搜索的潜在用途
威斯康星大学麦迪逊分校的数学教授、该论文的合著者Jordan Ellenberg强调了FunSearch对计算机科学和数学中人机交互未来的影响。
“我发现真正令人兴奋的，甚至比我们发现的具体结果更令人兴奋的是，它为数学中人机交互的未来所带来的前景，”Ellenberg说。
他说：“FunSearch不是生成一个解决方案，而是生成一个找到解决方案的程序。一个具体问题的解决方案可能让我无法洞察如何解决其他相关问题。”
“但是一个找到解决方案的程序，这是一个人类可以阅读和解释的东西，并希望由此产生下一个问题和下一个问题的想法。”
以下是关于FunSearch如何在机器学习领域开辟新天地的更多细节：
- 通过代码生成创造性地解决问题与许多专注于数据分析或模式识别的人工智能系统不同，FunSearch专注于在计算机代码中生成创造性的解决方案。这使它能够解决的问题不仅仅是解释数据，还包括创造新的方法来解决复杂问题。
- 迭代求精：FunSearch采用不断改进解决方案的迭代过程。它从LLM产生的最初想法开始，然后通过一系列的评估和增强来完善。这个过程模仿了人类通常解决问题的方式——从一个粗略的想法开始，并随着时间的推移加以改进。
- 创造力和严谨：Funearch在创造性解决问题和严格评估之间架起了一座桥梁。LLM带来了创造力和创新，生成了新的和未探索的解决方案，而自动化评估器确保了这些解决方案的准确性和可行性。这种双重方法在科学领域至关重要，因为在这些领域，创新需要与精确度相结合。
- 透明度： FunSearch的一个独特之处是它能够提供透明、可解释的结果。它不会提供最终答案，而是生成一个程序，详细说明如何实现该解决方案。这种透明度对科学研究至关重要，因为了解过程与结果同样重要。
DeepMind人工智能科学负责人Pushmet Kohli解释了FunSearch如何开启一种新形式的机器学习研究：“这实际上将改变人们如何处理计算机科学和算法发现。这是我们第一次看到LLM没有接管，但肯定有助于推动算法中可能的边界。
通过将法学硕士的创造能力与严格的评估相结合，FunSearch展示了一种新的方法来解决复杂的开放性问题。它的实际应用将是迷人的。
