9.11和9.9哪个大?简单数学题8家AI大模型平台都翻了车
红星资本局7月17日消息,今日,AI大模型在数学上的翻车话题引发不小关注。
一道“9.11和9.9哪个大”的简单数学题,竟困住了海内外一众AI大模型平台。
数学偏科
8个大模型全答错
9.11和9.9哪个更大?据第一财经报道,就这一问题,12个大模型中阿里通义千问、百度文心一言、Minimax和腾讯元宝答对,但ChatGPT-4o、字节豆包、月之暗面kimi、智谱清言、零一万物万知、阶跃星辰跃问、百川智能百小应、商汤商量都答错了,错法各有不同。
目前全球公认第一梯队的大模型ChatGPT,在被问到“9.11和9.9哪个大”时回复称,小数点后面的数字“11大于9”,因此9.11大。追问ChatGPT有没有其他比较方法后,它将小数转化成分数比较,得出 “11/100比90/100小”,这一步是对的,但它接着下结论称“因此9.11比9.9大”。
再看国内的大模型,例如询问月之暗面旗下kimi,它在比较小数部分时认为,9.11的第一位小数是1,而9.9的第一位小数是0,错误地给出了小数,得出结论9.11更大。当质疑并提出常识后,kimi转而开始表示自己回答有误,并给出了正确的比较方法。
询问字节豆包,它不仅给出了答案,还举了生活中的例子方便理解,单看似有理有据实则胡说八道。豆包举例认为,假设有两笔钱,“9.11元比9.9元多0.21元”,并且测量长度时“9.11米要比9.9米长”。
商汤商量大模型首先给出了错误答案,当追问具体是如何比较的后,它在推演过程中成功得出小数0.11小于0.9,但话锋一转称“所以9.11大于9.9”。当指出了这个前后逻辑问题,商量随后承认“解释有误”。
值得注意的是,就在上月,AI大模型也因为数学翻车话题火上了热搜。
6月19日,上海人工智能实验室发布首个AI高考全卷评测结果,阿里通义千问大模型Qwen2-72B排名第一,在语数外三科420分的满分中获得303分,OpenAI的GPT-4o和上海人工智能实验室的书生·浦语2.0文曲星(InternLM2-20B-WQX)排名二三位。但引发关注的是,从结果来看,大模型的语文、英语考试水平普遍不错,但数学都不及格。
业内人士:
一段时间内不会得到明显改善
此前,哈尔滨工业大学和华为的研究团队发表的综述论文认为,模型产生幻觉的三大来源:数据源、训练过程和推理。大模型可能会过度依赖训练数据中的一些模式,如位置接近性、共现统计数据和相关文档计数,从而导致幻觉。此外,大模型还可能会出现长尾知识回忆不足、难以应对复杂推理的情况。
针对大模型答数学题普遍“吃瘪”的问题,国内某头部大模型负责人就曾表示,大模型的指令遵循或者说推理能力通常是把一个指令背后的意思拆解出来,但数学题既包含规则性,又包含对各种思维的考察,解题逻辑和正常用大模型时的推理逻辑不一定完全一样。
同时该负责人还提到,从更广泛的大模型应用角度来看,AI能不能精准遵循指令是近一段时间内比较重要的事情,真正的商业价值也比较大可能来自于此,而解数学题对目前的AI来说还是一件比较“炫技”的事情。
另有业内人士向南方都市报表示,目前来看大模型的数理能力相对较差的情况在中外都是一样的,“打个比方可以这样讲,大模型就是偏科,文科强理科弱,这个情况在一段时间内也不会得到明显的改善”。
编辑 杨程 综合自第一财经、南方都市报、科创板日报等
(下载红星新闻,报料有奖!)
- 2 “NFT”骗局还是游戏?《香蕉》同时在线“人”数超50万
- 3 首发!手机上能用的免费AI视频工具,文案一键生成原创视频!
- 4 争议中的数字人直播上海地铁上两名男子不雅举动,视频曝光,丝毫不顾周围乘客的感受
- 5 德州市自然资源局干部职工成为短视频主角 让政策宣传更接地气没想到,央视主持人桑晨原来是这位大明星的后代,难怪长这么好看
- 6 被抖音限流 美妆品牌温博士销售额断崖式下滑初中生作文引用“原神”,老师看完沉默了,网友:隔着屏幕都尴尬
- 7 《香蕉》NFT游戏引争议:同时在线玩家数突破50万
- 8 京东管理人员名单 京东高层管理人员 京东高层领导简历
- 9 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
- 10 京东&习酒2024年定制封坛仪式圆满举行央视镜头映现妖镜 观众惊呼刘亦菲妆容脏、陈都灵嘴歪
- 11 微信:9月1日起,微信小程序须完成备案后才可上架

- 聊聊我喜欢的10个优质,正能量的自媒体
- “NFT”骗局还是游戏?《香蕉》同时在线“人”数超50万
- 首发!手机上能用的免费AI视频工具,文案一键生成原创视频!
- 争议中的数字人直播上海地铁上两名男子不雅举动,视频曝光,丝毫不顾周围乘客的感受
- 德州市自然资源局干部职工成为短视频主角 让政策宣传更接地气没想到,央视主持人桑晨原来是这位大明星的后代,难怪长这么好看
- 被抖音限流 美妆品牌温博士销售额断崖式下滑初中生作文引用“原神”,老师看完沉默了,网友:隔着屏幕都尴尬
- 《香蕉》NFT游戏引争议:同时在线玩家数突破50万
- 京东管理人员名单 京东高层管理人员 京东高层领导简历
- 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
- 京东&习酒2024年定制封坛仪式圆满举行央视镜头映现妖镜 观众惊呼刘亦菲妆容脏、陈都灵嘴歪
- 微信:9月1日起,微信小程序须完成备案后才可上架
- 吉利银河星舰内饰发布:首搭AI智能座椅
- 调查报道|长沙一小区物业费收3.98元/㎡/月 监管:未备案,已责令整
- 快手管理层有谁?快手领导班子名单 快手主要领导简介
- 高盛:重申阿里健康(00241)“买入”评级 目标价4.4港元