研究将GPT—4与特许金融分析师(CFA)考试进行对比

AI伦理与社会1年前 (2023)发布 yundic
372 0 0

在最近的一项分析中,ChatGPT尚未被证明能够通过特许金融分析师(CFA)考试。

由摩根大通公司(JPMorgan Chase & Co.)的研究人员组成的一个小组进行了一项实验,看看OpenAI的GPT—4模型是否有可能通过CFA考试的前两级。这项挑战性的考试通常需要四年的时间才能完成。

“根据估计的通过率和平均自我报告分数,我们得出结论,ChatGPT可能无法在所有测试设置下通过CFA I级和II级,”研究人员在他们的报告中详细说明。

然而,GPT—4有更好的机会,研究人员说,“如果适当的提示,GPT—4将有一个相当大的机会通过CFA I级和II级。

包括摩根大通人工智能研究部门成员Sameena Shah和Antony Papadimitriou在内的研究人员还强调了CFA研究所自2017年以来一直在努力将人工智能和大数据分析整合到考试中。

CFA协会教育主管克里斯·威斯承认,虽然像GPT-4这样的大型语言模型(LLM)可以正确回答某些考试问题,但获得CFA认证的道路还需要丰富的实践经验、参考资料、道德标准,很快还需要实践技能模块。

最近,第一级的通过率从2018年已经很低的43%的平均水平下降到8月份的37%。

研究显示,无论使用何种提示方法,这两种人工智能模型都面临着更多的II级挑战。

然而,他们表现出精通衍生品、另类投资、公司发行、股票投资和第一级道德部分。他们在财务报告和投资组合管理等领域的表现不那么令人印象深刻。

对于Level II,ChatGPT发现在另类投资和固定收益方面存在困难,而GPT—4则在投资组合管理和经济方面更困难。

ChatGPT的大多数错误都是基于知识的,而GPT—4的主要是计算和推理错误,后者有时会因为逻辑缺陷而导致错误的结论。

在此之前,最近的一项类似研究揭露了ChatGPT在会计考试中的局限性。毕竟,这是一种语言模式。

© 版权声明

相关文章

暂无评论

暂无评论...