在过去的六个月里，我们看到了革命性的繁荣， ai驱动 LLM（Large Language Models）占据中心舞台。但是，人工智能产品或服务是否总是必须基于LLM？根据一篇论文，新的麻省理工学院自学习语言模型不是基于LLM的，可以超过目前领先行业的一些其他大型人工智能系统。
麻省理工学院计算机科学和人工智能实验室（CSAIL）的一组研究人员开发了一种新的方法来接近人工智能语言模型。
这是一项突破性的成就，强调了较小的语言模型及其解决效率低下问题的能力，以及与基于文本数据的大型人工智能模型开发有关的隐私问题。
的出现 openai的 ChatGPT基于语言模型GPT—3和GPT—4，许多公司加入了AI竞赛，包括Google Bard，以及其他 生成式ai 允许人们生成文本、图像甚至视频的系统。
然而，为了生成无可挑剔的质量输出，这些系统依赖于大量的数据，这些数据在计算上是昂贵的。这些系统中的许多都是通过API导入数据进行训练，这也带来了数据泄露和其他隐私问题等风险。
文本蕴涵
根据一篇名为 作为强大的自学者的蕴涵 目前发表在预印本在线存储库arXiv上，研究人员指出，新的麻省理工学院自学习语言模型可以解决理解大型语言模型所具有的某些语言任务的问题。他们把这一突破性的成就称为文本蕴涵。
这些模型基于这样的概念，即如果有两个句子-一个前提和一个假设，在第一句中的前提为真的情况下，假设也可能为真。
在一个 声明 发表在麻省理工学院CSAIL博客上的一个例子是，如果“所有的猫都有尾巴”，那么“花斑猫有尾巴”的假说很可能是真的。这种方法导致更少的偏见， ai模型这使得新的MIT自学习语言模型优于更大的语言模型。
麻省理工学院CSAIL博士后助理罗红银在一份声明中表示：我们的自我训练的3.5亿个参数的蕴涵模型，没有人工生成的标签，比1370亿到1750亿个参数的监督语言模型要好。“
他还补充说，这种方法可能对当前的人工智能系统非常有益，并在使用语言模型时以更具可扩展性、可信度和成本效益的方式重塑机器学习系统。
麻省理工学院新的自学语言模式仍然有限
尽管新的MIT自学习语言模型在解决二进制分类问题方面有很大的承诺，但它仍然局限于解决多类分类问题。这意味着，当模型呈现多个选择时，文本蕴涵不会很好地工作。
根据麻省理工学院教授James Glass的说法，CSAIL首席研究员也是这篇论文的作者，这项研究可以揭示有效和有效的方法来训练LLM理解上下文蕴涵问题。
这项研究只是未来人工智能技术的开始，这些技术可以自主学习，更加有效、可持续，并专注于数据隐私。这篇关于麻省理工学院自主学习语言模型的论文将于7月在多伦多举行的计算语言学协会会议上发表。该项目还得到了 香港创新人工智能计划。
