科学松鼠会的AI大比拼:ChatGPT、文心一言和Bard谁更强?
在3月22日,谷歌悄然推出了Bard的测试版。自从微软紧跟其后,谷歌也被迫站出来与之较量。不同于New Bing的大规模开放策略,Bard将通过逐步放出测试名额来进行,但初始版本仅限于对文本响应,并且首先只在美国和英国地区启动,随着测试的推进,在其他地区也将陆续上线。
DoNews作为第一家试用者,我们尝试了三种模型——文学、翻译、创作、艺术、哲学和逻辑推理等方面的问题,看看他们各自如何回答。
我们先声明,每次提问都会得到不同的答案,这就像“一万个人有一万个哈姆雷特”。但总体而言,每种模型都有其独到之处。此外,由于Bard目前仅支持英文,我们使用英文提问,而ChatGPT(3.5版本)和文心一言则使用中文。
01.互相评价一下
我们让三个模型分别回答“你认为文心一言/ChatGPT/Bard怎么样”。
对于这个问题,Bard没有理解限定词,只是概括《傲慢与偏见》的核心情节。而ChatGPT虽然类似,没有完全脱离原著,但提炼到了《傲慢与偏见》中的重要要点,即“阶级问题”。
02.写一个小故事
我们要求每个模型为川菜风味中式餐厅取名并撰写宣传语。不过,Bard的问题多,对商业应用进行了解释,却未涉及藏头诗。而ChatGPT虽然也有缺陷,但提供了一些创意性的想法。
03.生成速度对比
在生成速度上,文心一言领先,其300-500字左右的回答时间约14秒,而ChatGPT至少需要30秒以上才能完成相同任务。用户反馈表明Bard的体验感也不如ChatGPT。
04.中文语义理解能力
尽管如此,每次答案都不尽相同,不同的问题角度以及限定词都会影响输出结果。在处理不正确或无意义内容时,他们也是普通人一样可能犯错。
05.是否取代人类?
最终,他们更多地扮演辅助工具角色,而非取代人的替代品。这篇文章来源于DoNews。