谷歌反击OpenAI的第一枪就打歪了。

近日卡内基梅隆大学和Barry AI的一项研究指出，German I pro在知识问答推理、数学问题解决、代码生成、机器翻译等性能上均不如GPT3.5 turbo。此前Gera pro在刚发布时就声称击败了GPT3.5，ota AI更是在多种任务上的性能超过了GPT4。但是随后的造假丑闻和套壳文心一言的乌龙一出，大家对谷歌心里都打了个问号。

为了不冤枉它，研究人员使用了公开数据集和透明的结果对German和GPT模型进行公正比较。测试内容涵盖了stem人文和社会科学领域的57个多项选择问题，以及一些与喷雾推理、数学和编程相关的任务。German在处理这些多选题时表现出对答案排序的偏见，就像遇到不会的英语选择题，我们通常盲选C一样。German则倾向于选择最后一个选项B表明他在解决多选题方面的指令调优不足。

在特定任务上，Gera无法返回答案，API响应率较低，这归因于输入上的内容过滤器，也暗示了German可能存在过于激进的内容审查以及安全系统。

当然German I pro也不是完全废柴，他在处理非英语语言生成和更长更复杂的推理链方面表现出较高性能。但是相对于尖子生，GPT只能说还得继续努力。

不知道明年German ultra的翻身仗是否能打赢OpenAI呢？更多内容可查阅AI科技评论文章了解详情。
《AI模型大揭秘：谷歌German I pro与GPT3.5 turbo深度对比》

在当今AI领域，谷歌与OpenAI的竞争备受瞩目。其中German I pro与GPT3.5 turbo的较量更是焦点。

German I pro在知识问答推理、数学问题解决等多方面表现如何呢？据研究，它在这些性能上不如GPT3.5 turbo。

此前German I pro刚发布时声称击败GPT3.5，可后续造假丑闻及套壳乌龙让其信誉受损。研究人员用公开数据集公正比较，发现German I pro处理多选题有答案排序偏见，特定任务上还存在问题，比如无法返回答案、API响应率低等。

不过它在非英语语言生成和复杂推理链处理上有一定优势。那么明年German ultra能否打赢翻身仗呢？让我们拭目以待。
谷歌,OpenAI,German I pro,GPT3.5 turbo,研究
[Q]：German I pro在哪些性能上不如GPT3.5 turbo？
[A]：在知识问答推理、数学问题解决、代码生成、机器翻译等性能上不如GPT3.5 turbo。
[Q]：German I pro刚发布时有什么声称？
[A]：刚发布时声称击败了GPT3.5。
[Q]：谷歌German I pro后续出现了什么问题？
[A]：出现造假丑闻和套壳文心一言的乌龙。
[Q]：研究人员如何比较German和GPT模型？
[A]：使用公开数据集和透明的结果进行公正比较。
[Q]：German在处理多选题时有什么表现？
[A]：表现出对答案排序的偏见，倾向于选择最后一个选项B。
[Q]：German在特定任务上有什么问题？
[A]：无法返回答案，API响应率较低。
[Q]：German I pro在哪些方面有较高性能？
[A]：在处理非英语语言生成和更长更复杂的推理链方面表现出较高性能。
[Q]：大家对谷歌German I pro有什么疑问？
[A]：不知道明年German ultra的翻身仗是否能打赢OpenAI。