Google宣布Gemma,其可以在本地运行的开放式LLM

AI产品新闻2个月前发布 yundic
465 0 0

谷歌发布了两款来自其轻量级开放式机型Gema的机型。

虽然Google的Gemini模型是专有的,或封闭的模型,但Gemma模型已经作为“开放模型”发布,并免费提供给开发者。

谷歌发布了两种尺寸的Gema型号,2B和7B参数,每种型号都有预先训练和指令调整的变体。谷歌正在发布模型重量以及一套工具,供开发人员根据自己的需求调整模型。

谷歌表示,Gemma模型是使用与其旗舰Gemini模型相同的技术建造的。几家公司已经发布了7B模型,以提供一个LLM,它保留了可用功能,同时可能在本地运行而不是在云中运行。

Llama—2—7B和Mistral—7B是这一领域的显著竞争者,但谷歌表示“Gemma在关键基准上明显超过更大的型号”,并提供了这个基准比较作为证据。

Google宣布Gemma,其可以在本地运行的开放式LLM

Gemma—7B与Llama—2—7B和Llama—2—12B的基准结果。来源:Google

基准测试结果显示,Gemma在所有四个功能上都击败了更大的12B版本的Llama 2。

Gema真正令人兴奋的事情是在当地运营它的前景。谷歌已经与NVIDIA合作,为NVIDIA图形处理器优化Gema。如果您有一台装有NVIDIA RTX图形处理器的PC,您可以在您的设备上运行Gema。

NVIDIA表示,其拥有超过1亿NVIDIA RTX GPU的安装基础。这使得Gemma对于那些试图决定使用哪种轻量级模型作为产品基础的开发人员来说是一个有吸引力的选择。

NVIDIA还将在其Chat with RTX平台上增加对Gemma的支持,从而在RTX PC上轻松运行LLM。

虽然在技术上不是开源的,但只有许可协议中的使用限制阻止Gemma模型拥有该标签。开放模型的批评者指出,保持它们一致的固有风险,但谷歌表示,它执行了广泛的红色团队,以确保Gemma的安全。

谷歌表示,它使用了“广泛的微调和来自人类反馈的强化学习(RLHF),将我们的微调模型与负责任的行为相一致。它还发布了一个Responsible Generative AI Toolkit,以帮助开发人员在微调后保持Gemma对齐。

像Gemma这样的可定制轻量级模型可能会为开发人员提供比像GPT—4或Gemini Pro这样的大型模型更多的实用性。在本地运行LLM而无需云计算或API调用成本的能力每天都变得越来越容易。

随着Gema对开发人员开放,我们将很有兴趣地看到一系列人工智能支持的应用程序很快就会在我们的PC上运行。

© 版权声明

相关文章

暂无评论

暂无评论...