研究人员发现，双子座甚至无法击败GPT-3.5涡轮

当谷歌宣布发布其双子座模型时，人们非常兴奋，因为该公司表示，这些模型与OpenAI提供的产品不相上下。这可能并不完全正确。

谷歌表示，其Gemini Ultra型号比GPT—4更好。该模型尚未发布，所以我们将不得不采取他们的基准测试结果的表面价值。Gemini Pro已经发布，谷歌表示它与GPT—3.5相当。

卡内基梅隆大学和人工智能软件平台BerriAI的研究人员让Gemini Pro完成了一系列任务，以测试其语言理解和生成能力。

他们使用GPT—3.5 Turbo、GPT—4 Turbo和Mistral AI的新Mixtral 8x7B模型进行了相同的测试。

谷歌的Gemini最近作为OpenAI的GPT的主要竞争对手掀起了波澜。太刺激了！但我们想知道：

双子座到底有多好？

在CMU，我们进行了一项公正、深入和可重复的研究，比较了Gemini、GPT和Mixtral。

论文：https://t.co/S3T7ediQLa