Meta正与高通公司合作，到2024年使基于Llama 2的应用程序能够在其Snapdragon芯片上运行。
目前的个人设备计算能力不足以在手机或笔记本电脑上有效运行像Llama 2这样的LLMS。如果你想使用这些强大的AI工具，你通常需要在云计算服务器上运行它们。
当Meta宣布发布Llama2时，他们与微软合作，使用Azure作为其首选的云计算解决方案。但下一代高通的骁龙芯片预计将为个人设备带来足够的处理能力，这样基于Llama 2的AI应用程序就可以在个人设备上运行，而不需要云计算。
在今年早些时候接受稳定公司首席执行官采访时，当埃马德·莫斯塔克声称到2024年我们将在没有互联网的情况下在手机上运行ChatGPT时，采访者对此表示怀疑。但现在看来，他的大胆主张一点也不牵强。
关于其与Meta的合作关系高通高管Durga Malladi表示：”我们赞赏Meta在开放和负责任的人工智能方面的做法，并致力于推动创新，并通过将生成性人工智能带到设备上来减少任何规模的开发人员的进入壁垒。”
目前的骁龙X75芯片已经使用人工智能来提高5G手机的网络连接性和定位精度。一旦他们让Llama 2与下一代芯片在设备上工作，你将能够与你的AI应用程序聊天，即使它处于飞行模式或在没有覆盖的区域。
这项开发的另一个大优势是，它将降低人工智能应用的成本。必须对在云服务器上运行的LLM进行API调用需要花费金钱，而这些成本不可避免地转嫁到应用程序的用户身上。
如果应用程序可以与设备上运行的LLM交互，那么成本为零。即使5G网络速度惊人，本地运行的AI应用程序（如语音助手）的响应速度也会更快。
在设备上运行人工智能应用程序，而不需要将数据来回发送到云服务器，也将改善隐私和安全问题。
高通与Meta在这个项目上的合作是一件大事，也是一个令人兴奋的发展的迹象。早在2020年，苹果就已经吹嘘M1芯片使用了苹果神经引擎来加快机器学习任务的速度。
预计在不久的将来，会有更多像NVIDIA这样的芯片制造商致力于让大型人工智能模型在设备上运行。
