阿联酋技术创新研究所（TII）上周在Hugging Face上发布了Falcon 180B LLM，并在早期测试中表现出色。
该模型对研究人员和商业用户开放，是中东新兴人工智能产业的产物。
Falcon 180 B比Meta的Llama 2大2.5倍，并且训练的计算量多了4倍。TII在3.5万亿个巨大的代币上训练了模型。正是独特的数据集方法在很大程度上导致了模型令人印象深刻的性能。
为了训练模型，您不仅需要大量数据，通常还需要大量精心策划的高质量数据。这需要花费大量的资金来制作，并且没有很多真正大规模的数据集是公开的。TII决定尝试一种新的方法来避免策展的需要。
今年6月，研究人员对公共可用的CommonCrawl数据进行了仔细的过滤和重复数据删除，创建了RefinedWeb数据集。这个数据集不仅更容易生成，而且比简单地使用策展语料库或Web数据提供了更好的性能。
Falcon 180B是在RefinedWeb数据集的3.5万亿个令牌上训练的，远远超过Llama 2的预训练数据集的2万亿个令牌。
猎鹰180B性能
Falcon 180B在开放式存取LLM的拥抱面排行榜上名列前茅。该模型在包括推理、编码、熟练度和知识测试在内的多个基准测试上都优于前一个领导者Llama 2。
与封闭源代码的专有机型相比，猎鹰180B甚至得分很高。它的排名仅次于GPT-4，与谷歌的Palm 2 Large不相上下，后者的大小是猎鹰180B的两倍。
来源：Hugging Face
TII表示，尽管其预训练模型的性能已经令人印象深刻，但它打算“在未来基于改进的数据集和RLHF/RLAIF提供越来越强大的Falcon版本。
你可以尝试聊天版本的模型与这个猎鹰180B演示拥抱脸。
聊天版本是微调和清理，但基本模型尚未有对齐护栏到位。TII表示，由于它还没有经过微调或调整过程，它可能会输出“有问题”的回应。
将其调整到可以自信地在商业上部署的程度需要一些时间。
尽管如此，该模型令人印象深刻的性能突出了超越简单扩展计算资源的改进机会。
Falcon 180B表明，在高质量数据集上训练的较小模型可能是人工智能开发更具成本效益和高效的方向。
这个令人印象深刻的模型的发布突显了中东人工智能发展的迅猛增长，尽管最近对该地区的GPU出口限制。
随着TII和Meta等公司继续在开放获取许可下发布他们强大的模型，谷歌和OpenAI将如何推动其封闭模型的采用将是一件有趣的事情。
开放获取和私有模型之间的性能差距似乎正在缩小。
