苹果是比铁还硬的气体。AI:?
今天提示词是描述一个完全违反物理规律的异世界,并且在具体场景下推理可能要发生的事情,一方面是考量AI是否能够理解提示词深层的含义,另一方面同样也是考察AI是否具有正常物理规律的刻板认知,也就是将某些‘常识’作为‘底层代码’进行幻觉输出。
这次统一使用轻量化非深度思考模型,陷阱类问题在思考模型花费大量tokens和时间下进行处理确实正确率会提升不少,而我想考察的是AI脱口而出的准确率。
测评结果是这次最让我惊艳的又双是文心5.0,并且是大幅度领先的‘智能’,它意识到了这是一个设定上的虚拟异世界,或者说类小说的世界观构建,于是它表现的十分谨慎,完美的遵循了‘除了设定外的一律不延伸’原则,虽然我要求预测可能会发生的事情。但是它没有任何的拓展幻觉猜测,属于是谨慎得令人称奇。
其他的AI,对于天气的设定遵循程度比较ok。但是对于苹果,多多少少都提到了气体苹果碰撞到地面时发出了巨响,还砸出来巨坑等等常识幻觉。ds甚至还说苹果最后滚落到一旁,幻觉大王属实石锤了。
到此常驻的五大ai大模型孰优孰劣应该有了大致的判断,后续可能会加入其他的模型进行比较测试。
2026-03-30
该文观点仅代表作者本人,36氪平台仅提供信息存储空间服务。
评论区
快来抢占第一条评论 ~