谷歌预计将在12月发布其新的LLM双子座，预计它将在一定程度上超越GPT—4。
Gemini是由谷歌的DeepMind和Brain AI团队从头开始构建的基础模型。这是第一个真正的多模式模型，这意味着它可以处理文本、图像和视频。在这一点上，GPT-4只管理了3分中的2分。
围绕双子座表现的许多炒作都是基于Semi Analyst的一份报告，该报告大胆地声称“双子座以5倍的速度粉碎了GPT-4”。
5x性能数据是用于训练Gemini的计算能力的参考。据估计，它比训练GPT—4所用的要大5倍左右。计算能力是一个有趣的基准，但是更多的FLOPS并不意味着更好的模型。
在没有官方表现数据的情况下，山姆·奥特曼很快就在推特上对这些说法进行了讽刺。
令人难以置信的是，谷歌让那个半分析型的家伙发布了他们的内部营销/招聘图表
– Sam Altman（@ sama）2023年8月29日
埃隆·马斯克（Elon Musk）在推特上写道：“这些数字错了吗？”但没有收到奥特曼的回复
双子座有超过4300亿个参数，相比之下，GPT—4的最高估计为2000亿个。训练一个如此大小的模型需要大量的处理能力，而谷歌有足够的处理能力。
Semi分析公司的报告使用了“图形处理器丰富”和“图形处理器匮乏”来比较谷歌和人工智能初创公司，后者的计算能力明显较差。
这是一个公平的比较，即使用“GPU”来形容谷歌有点言不由衷。谷歌在训练其模型方面的真正优势是其专有的张量处理单元(TPU)。
当其他人都在争先恐后地购买英伟达的GPU时，谷歌凭借其TPU芯片遥遥领先于模型训练赛。Gemini是在Google的TPUv5芯片上训练的，该芯片可以同时使用16，384个芯片。
Gemini和AlphaGo
Gemini的一些秘密技巧来自Google如何整合AlphaGo的功能。AlphaGo是DeepMind开发的程序，它在围棋比赛中击败了世界冠军。
战略决策和动态上下文理解导致了这场胜利，预计双子座将比GPT—4的推理能力更大的优势。
AlphaGo通过与自己对弈而变得更好。双子座可以使用类似的自我游戏来学习它自己的互动，而不仅仅是从用户的互动。
数据才是真正的区别
谷歌最大的优势可能是它可以用来训练双子座的海量数据。
OpenAI可以抓取任何互联网数据，但现在正在与不可避免的诉讼作斗争，并看到它的GPTBot越来越多地被封锁。
谷歌可能在risque的数据抓取中做了相当大的一部分，但它拥有大量的专有数据。目前还不清楚Gemini的训练数据集中包含了什么，但它可以很容易地包括YouTube、Google Books、Google Scholar及其庞大搜索索引的数据。
希望我们不必等到12月份才能得到一些真正的基准比较，看看双子座是否真的比GPT-4更好。OpenAI是否会推迟发布GPT-5，以便在发布后击败双子座？
