OpenAI宣布,开发人员现在可以使用自定义数据微调其GPT—3.5 Turbo模型。
微调是使用基础版本的模型,如GPT—3.5 Turbo,它是ChatGPT的基础,并在非常特定的自定义数据集上训练它的过程。
GPT-3.5涡轮增压的基础型号非常擅长做很多不同的事情。一旦开发人员在专注于特定用例的数据集上对其进行了微调,它就变得非常擅长执行一组非常特定的任务。这就像是让一个普通的杂工把他训练成一个真正优秀的水管工。
公司现在可以使用GPT-3.5 Turbo来训练一个版本的ChatGPT,以便它提供为他们的业务量身定做的输出。
例如,企业可能希望ChatGPT的所有响应都使用特定的语言,或者始终提供更短或更长的响应。还可以对答复进行培训,使其始终以特定格式输出,或遵循公司沟通的一致基调。
如果您想使用ChatGPT始终如一地交付特定类型的代码完成,或者只专注于编写API调用,您现在可以使用GPT-3.5Turbo训练它来实现这一点。
到目前为止,开发人员只能微调性能较差的GPT—3遗留变体。使用微调版本的GPT—3.5 Turbo提供更好的性能。
OpenAI在声明中表示:“早期测试表明,经过微调的GPT—3.5 Turbo版本可以在某些狭窄的任务上与基础GPT—4级别的能力相匹配,甚至优于基础的基础。
GPT—3.5 Turbo有一个4k令牌上下文窗口,是以前的微调模型的两倍。该模型的16k版本将在今年晚些时候进行微调。
我们刚刚推出了针对GPT—3.5 Turbo的微调!微调允许您在公司数据上训练模型并大规模运行。早期测试表明,微调的GPT—3.5 Turbo在狭义任务上可以达到或超过GPT—4:www.example.com www.example.com
– OpenAI(@ OpenAI)2023年8月22日
不是免费的,但越来越便宜了
OpenAI仍然对其模型的API调用收费,但能够微调模型可以降低运行模型的总体成本。
使用GPT—3.5的成本为0.008美元/1k令牌用于训练,0.012美元/1k令牌用于输入,0.016美元/1k令牌用于输出。
您发送的提示中的代币数量和您得到的回复将决定往返费用。通过微调模型,您可以训练它对缩短的提示做出响应。OpenAI表示,一些早期的测试人员能够将提示长度缩短多达90%。
这种令牌发送量的减少降低了相关成本,但也使API调用速度更快。通过微调降低成本的机会对OpenAI至关重要,因为它与Llama 2等免费模型竞争。
尽管OpenAI对API调用收费,但效率和性能的提高可以使其运行成本比Llama 2等开源免费模型更低。免费使用的模型仍然需要在某个地方运行,计算成本并不便宜。
让GPT—3.5 Turbo进行微调的举动也是及时的,考虑到微软一直在采取行动,在其Azure平台上推销竞争对手AI模型。
随着企业对ChatGPT数据安全性的担忧持续存在,OpenAI煞费苦心地重申:”与我们所有的API一样,从微调API发送的数据归客户所有,OpenAI或任何其他组织不会用于训练其他模型。”
这是否足以让怀疑者信服,还有待观察。如果涉及到处理成本和性能,那么这一最新举措将使OpenAI的产品成为甚至比领先的免费人工智能模型更具吸引力的前景。