Meta宣布发布代码Llama,其新的人工智能编码工具。
Code Llama是Meta的Llama2LLM的一个微调版本,它已经接受了编写和记录代码的培训。新工具采用自然语言描述,并将其转换为代码。它还可以调试、解释和记录作为输入提供的代码。
如果你只是学习编程,这是一个很好的工具,但软件工程师将从Code Llama中受益最多。
该工具支持大多数流行的编程语言,包括Python、C++、Java、PHP、TypeScrip(Java)、C#、Bash等。
使用Code Llama,您可以要求它“用Python语言编写一个函数来计算前100个素数”,它将为您生成代码。
像ChatGPT这样的工具已经可以编写代码了,但Code Llama拥有许多功能,可以说这些功能可能会使它成为更好的编码工具。
ChatGPT有一个4,000到8,000个令牌的上下文窗口,而Code Llama可以处理多达100,000个令牌的上下文。拥有更大的上下文窗口的第一个明显好处是它可以编写更长的代码。
更令人兴奋的前景是能够输入大量代码,然后让Code Llama为您调试它。如果您想使用ChatGPT来完成这一任务,您必须每次调试小部分。
今天,我们将发布Code Llama,这是一个构建在Llama2之上的大型语言模型,针对编码进行了微调,并为公开可用的编码工具提供了最先进的编程工具。
与我们的开放方式保持一致,Code Llama现在公开可供研究和商业使用。
更多信息️
– Meta AI(@ MetaAI)2023年8月24日
Meta发布了3种规格的Code Llama,参数分别为7 B、13 B和34 B。较小的型号运行速度更快,所需的处理能力更低,但功能不如34B型号。
这两个较小的模型也经过了中间填充(MIDI)能力的训练。这允许程序员输入现有代码,并让Code Llama处理代码完成任务。
除了支持多种语言的基线模型外,Meta还发布了两个专门针对Python和Direcct进行训练的版本。
代码Llama有用吗?
Meta进行了自己的基准测试,发现Code Llama “性能优于开源代码专用LLM,并且优于Llama 2″。
下面是一个基准测试表,显示了Code Llama与其他模型的比较。
资料来源:Meta
GPT—4仍然在前面一段距离,但它是一个巨大的模型,它不是免费的。Code Llama是免费的,7B版本可以在本地机器上运行。
使用GPT—4要求您的代码通过OpenAI的服务器发送,对于许多公司来说,这对他们的知识产权构成了巨大的风险。
通过在本地服务器上运行的Code Llama,没有私人公司数据被泄露或用于训练其他模型的风险。
除了已发布的车型外, 代码骆驼研究论文 引用了一种叫做”非自然编码Llama”的模型它在HumanEval基准上的得分为62.2%,非常接近于GPT—4的67%。
目前还没有关于该型号何时发布的消息,但这种性能将谷歌的PaLM Coder从水中吹出,甚至将使GPT—4很难销售。