随着大型语言模型（LLM）等人工智能系统在规模和复杂性上的增长，研究人员正在发现有趣的基本限制。
谷歌和新加坡大学最近的研究揭示了人工智能“幻觉”背后的机制–模型产生令人信服但捏造的信息–以及“技术债务”的积累，随着时间的推移，这可能会造成混乱、不可靠的系统。
除了技术挑战，人工智能的能力和激励机制与人类价值观保持一致仍然是一个悬而未决的问题。
随着像OpenAI这样的公司向人工智能（AGI）迈进，确保前进道路意味着承认当前系统的边界。
然而，谨慎地承认风险与硅谷的座右铭“快速行动，打破事物”是对立的，后者的特点是人工智能研发，就像它之前的技术创新一样。
研究1：人工智能模型正在累积“技术债务”
机器学习通常被吹捧为可持续扩展的，系统提供了模块化的集成开发框架。
然而，在后台，开发人员可能会积累大量的“技术债务”，他们需要解决后续问题。
在一个谷歌研究论文、《机器学习：技术债的高息信用卡》，研究人员在ML系统的背景下探讨了技术债的概念。
Kaggle首席执行官和长期谷歌研究员D。Sculley及其同事认为，虽然ML为快速构建复杂系统提供了强大的工具，但这些“速赢”往往是误导性的。
部署ML模型的简单性和速度可以掩盖它们对系统可维护性和演化造成的未来负担。
正如作者所描述的，这种隐性债务源于开发人员应该避免或重构的几个特定于ML的风险因素。
以下是关键见解：
- ML系统，就其本质而言，引入了超出编码的复杂程度。 这可能导致作者所说的“边界侵蚀”，即由于ML模型创建的相互依赖关系，不同系统组件之间的清晰界限变得模糊。这使得很难在不影响系统其他部分的情况下隔离和实施改进。
- 本文还强调了“纠缠”的问题，即ML系统的任何部分的变化，如输入特征或模型参数，都可能对系统的其余部分产生不可预测的影响。改变一个小参数可能会引发一系列影响整个模型的功能和完整性的级联效应。
- 另一个问题是创建“隐藏反馈循环”，ML模型以不可预见的方式影响自己的训练数据。这可能导致系统朝着意想不到的方向发展，增加了管理和理解系统行为的难度。
- 作者还解决了“数据依赖性”，例如输入信号随时间变化的地方，这是特别有问题的，因为它们更难检测。
技术债务为何重要
技术债务涉及ML系统的长期健康和效率。
当开发人员急于启动并运行ML系统时，他们可能会忽略数据处理的混乱复杂性或“粘合”在一起不同部分的陷阱。
这可能在短期内有效，但可能导致混乱，难以解剖，更新，甚至稍后理解。
⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️ ⚠️
GenAI是一场技术债务的雪崩 * 等待发生
就在本周
虚假评论无处不在，不可避免，但它们从未如此难以识别。
据估计，40%的亚马逊评论都是假的，但这也延伸到像Trustpilot，Tripadvantage，以及Google Reviews这样的网站。
今年4月， cnbc报道 一些亚马逊评论以“作为人工智能语言模型……”开头，泄露了它们的起源。然而，在大多数情况下，人工智能生成的虚假评论很难用肉眼识别。
为了打击欺诈性评论，联邦贸易委员会（FTC）最近讨论了制定禁止虚假和付费评论的规则，并对违反这些规则的人进行严厉惩罚。
联邦贸易委员会广告实践部门的律师迈克尔·阿特莱森（Michael Atleson）说：“我们不知道——真的没有办法知道——不良行为者实际上在多大程度上使用这些工具，以及有多少可能是机器人生成的，而人类生成的。
然而，这依赖于区分虚假评论和真实评论，这一点非常困难，因为人工智能在语言上是精确的，而且在许多学科上都有知识。
人工智能正在升级虚假评论
Fakespot是一家利用人工智能来识别欺诈性评论的初创公司，据首席执行官Saoud Khalifah表示，人工智能产生的虚假评论激增。该公司目前正在投资ChatGPT等旨在识别人工智能系统创建的评论的技术。
“今天非常不同的是，模特们知识渊博，可以写任何东西，”Khalifah说。
另一个问题是，谁能说一个人没有使用人工智能来帮助他们写一篇真实的评论呢？
人工智能生成的评论并不严格违反亚马逊的政策。根据 公司发言人，该公司允许客户发布人工智能制作的评论，只要它们是真实的，并遵守政策指导方针。
关键问题是负责检测虚假评论的人工智能是否能胜过生成虚假评论的人工智能。Fakespot的Saoud Khalifah指出，他的公司检测到的第一个人工智能生成的虚假评论来自印度，由“虚假评论农场”创建。
杜克大学计算机科学助理教授Bhuwan Dhingra说：“这些检测工具要通过肯定是一个艰难的考验。”“因为如果模型与人类书写的方式完全匹配，那么你真的无法区分两者。
芝加哥大学计算机科学教授本·赵同样认为，人工智能要想有效地捕捉到人工智能生成的评论“几乎是不可能的”。
“这是一场持续的猫捉老鼠的追逐，但最终没有什么根本性的东西可以区分人工智能创建的内容，”他说。
目前，虚假评论仍将是互联网家具的一部分，而且它们可能会越来越难以与真实的东西区分开来，无论是对人类还是负责识别它们的先进人工智能系统来说。
美国公共利益研究集团消费者监督办公室主任特蕾莎·默里说：“这对消费者来说太可怕了。”
“人工智能已经在帮助不诚实的企业在几秒钟内用数千人的对话语气发出听起来真实的评论。”
写得不好的虚假评论的日子已经一去不复返了– 准备好接受那些你无法从真实事物中辨别出来的精确的人工智能评论。
