《大评测!ChatGPT、文心一言和Bard谁更强?》
3月22日,谷歌悄然推出了Bard的测试版。自微软的步伐紧逼后,谷歌不得不站出来“打擂台”。与New Bing的大规模开放不同,Bard的测试名额将逐步放出,同时初始版本仅支持文本响应。谷歌宣布,Bard首先在美国和英国地区启动,并将随着测试推进而扩展至其他地区。
我们为三大模型提出了文学、翻译、创作、艺术、哲学和逻辑推理等方向的问题,以探究它们的回答。由于每次生成答案都有所不同,每个人可能会得到一个不同的哈姆雷特,但总体上,每个模型各有千秋。此外,由于Bard目前只支持英文,我们以英文提问;文心一言和ChatGPT(3.5版本)则使用中文。
01.互相评价
我们要求三个模型对自己或对方进行评价:“你认为文心一言/ChatGPT/Bard怎么样?”结果显示:
Bard似乎未能理解问题限制,为其提供了《傲慢与偏见》的概要,而不是撰写类似的小说。
ChatGPT也遵循原著,但提炼出重要核心要点,如“阶级问题”,是小说主旨之一。
两者共存疑虑,即主人公名字未突破原著之影子。
02.取个名字,写个宣传语
小编要求三个模型为具备川菜风味中式餐厅命名并撰写宣传语:
Bard解释了“瞒天过海”的意思,但更多地讨论商业应用,而非藏头诗。
图片展示:从左到右分别为Bard、ChatGPT及文心一言。
03.生成速度与中文语义理解能力
文心一言在300字左右生成速度快达14秒,对中文语义理解能力表现突出。
ChatGPT网络因素影响下,在同样字数下需30秒以上时间,不少人认为体验感差于Bard。
04.正确性与辅助工具角色
每次提问产生不同答案,这些语言模型并不总是提供完全正确内容,有时输出废话。在面对是否取代人类的问题时,他们如同辅助工具存在而已。这篇文章源自DoNews。