发布时间:2024-11-28
起因是一位网友发布了与何猷君比赛答题”的创作视频,于是微博热搜话题#就算何猷君真的来了也得输吧#。到底是什么题目这么难?如果何猷君不行,那AI来呢?
以下是AI答题现场,参赛选手:智谱清言、Kimi、讯飞星火、豆包、微软Copilot、ChatGPT。
请听题:
第一题:淀粉肠一根三块钱,那么两根多少钱?不是算术题
智谱清言:
不直接回答,给了价格区间,完了还不忘告诉你淀粉肠不卫生。
Kimi:
她发现了这是脑筋急转弯,一本正经地分类讨论。
讯飞星火:
不让算硬是要算,本着“不是算术题那就是应用题”,还贴心地列了计算过程
豆包:
她觉得钱不钱的不重要,因为对各方来说,情绪价值都拉满了。
微软Copilot:
ChatGPT:
两位外国选手,答出了目前为止最便宜的版本——3元,ChatGPT还不忘“抖机灵”。
第二题:开通9块9包月会员后,第一件事应该做什么?
智谱清言:
Kimi:
讯飞星火:
豆包:
微软Copilot:
ChatGPT:
大家的答案大同小异,只有豆包认真审题,回答了“一件事”,其他几位估计都是文科生,“多答几点,总会有一点是对的”。其中Kimi和ChatGPT答到了得分点“关闭自动续费”,讯飞同学倒反天罡“设置支付以便自动续费”。虽然“答案不唯一,有理即可”,但有个别同学6G网速,掌握了“关闭自动续费”这个重难点。
赛点来了,答案五花八门
第三题:美团外卖无门槛膨胀神券理论上能膨胀到多大?
智谱清言:
Kimi:
讯飞星火:
豆包:
微软Copilot:
ChatGPT:
智普和讯飞的答案是20元,Kimi和豆包的答案是100元,Copilot的回答属于“听君一席话,如听一席话”,ChatGPT把理论上和实际上的都答了。
官方回答,理论上:
答题结束,上述三个问题的设计各有侧重,可以用来检测AI聊天助手的不同能力。
检测能力:
· 语境理解与暗示识别能力:题目强调“不是算术题”,这是一个关键线索,表明问题并非单纯计算3×2,而是考察AI是否能理解语言背后的潜在含义或双关语。
· 逻辑与推理能力:需要AI结合背景知识或用户的潜在意图,可能联想到其他层面的含义,比如“价格可能有优惠”或“单位与数量变化引发的讨论”。
· 创意回答能力:测试AI是否能给出超出字面计算的趣味或发散性的答案。
检测能力:
· 用户意图推测能力:题目隐含了用户的潜在需求,例如如何最大化利用会员权益。AI需要推测用户开通会员的动机。
· 实用性与建议能力:测试AI是否能基于9块9会员的功能,提供具体且有用的行动建议,而非泛泛而谈。
· 上下文关联能力:需要AI理解当前情境下会员权益的价值,并将其与用户可能的需求相结合。
检测能力:
· 概念理解与推演能力:需要AI明白“膨胀神券”的含义,并基于理论上假设进行推演。
· 数学与逻辑分析能力:测试AI能否基于规则分析潜在的极限值或条件限制。
· 创意与探索能力:由于题目强调“理论上”,可以看AI是否能灵活扩展边界条件并提出创新性回答。
· 第一题侧重语言理解、隐喻识别和创意性。
· 第二题侧重用户意图推测、实用性建议和场景关联。
· 第三题侧重概念推演、逻辑分析和理论探索能力。
(以上出题意图由AI生成)
大家觉得谁是赢家,如果是你能答出几题?
官方媒体链接:深圳市人工智能产业协会深圳市物联网产业协会物联网世界网