以下文章来源于IT工程师老姚,作者老姚
昨天做了个中小学物理光线折射模拟互动的网页程序,发现各个AI工具的效果差别还是比较大的,于是一时兴起对豆包、元宝、deepseek、纳米AI进行了一个横向评测。
因为不是专业评测,更多的是从使用者的直观感受来开展。本次测试选取了以下几款AI工具:
豆包(无思考)
豆包(深度思考)
元宝(DeepSeek模型)
元宝(混元模型)
DeepSeek(深度思考)
纳米AI(DeepSeekV3)
测评方法:
仅测试一次提问生成的效果
采用同样的提示词进行提问
采用录屏的方式进行记录
每个工具测试3次,每次单独记录分值,工具的最后得分取平均分
每次提问开启新会话,避免干扰
提示词:
生成光的折射和反射演示网页程序,具体需求如下:
让光从材质1向材质2射出光线,入射角度可以通过滑块调整,材质1和材质2可以手动修改。
材质可选项包含:水、空气、玻璃、水晶。
材质1和材质2的边界用深灰色细线表示
入射光线用红色表示,反射光线用蓝色色表示,折射光线用绿色表示。并将些颜色对照用文字显示在界面上。
折射和反射光线用线条的透明度变化来表示光线强度,但入射光线不需要用透明度表示光线强度。不透明,表示光线强度最强,完全透明表示光线强度为0。
90度垂直角度用一条深灰色虚线表示,介质边界用黑色细线表示
该提示词是经过验证可以直接生成正确结果的提示词
打分标准:
第1维度:效果
逻辑正确(4分),交互效果正确(3分),界面美观布局合理(2分),主观感受(1分)。
第2维度:速度
以最终生成完成为标准进行计时,取全部时间生,取速度最快者时间乘以10为分子,每次测试的时间为分母,计算后得出。
第3维度:易用性
工具使用便捷性、友好性进行主观打分,满分10分。
评测打分记录:
评测主观评价报告:
评测结论:
对于中小学教学辅助网页编程这个场景,各种AI工具的表现差别很明显。
就模型来说,DeepSeekR1、DeepSeekV3、豆包的深度思考模型表现都还不错。
DeepSeekR1要稍稍优于DeepSeekV3和豆包。
从整体的效果来说:豆包、元宝、DeepSeek都属于第一梯队。元宝虽然用的也是DeepSeek模型,但是回答的稳定性比官方的DeepSeek效果稍稍差了一点。
豆包使用的是自研的深度思考模型,效果比DeepSeek整体稍差一点。
速度方面,豆包整体速度最快,使用了DeepSeek模型的速度明显慢一些,其中豆包的速度最快;官方DeepSeek最慢。
工具易用性方面:豆包、DeepSeek最好,元宝次之,纳米AI最差。
这次测试意外的是元宝在我的印象中是体验感最好的DeepSeek模型工具,但是这次测试时,多次出现网页卡死的现象,不过我在日常使用AI的时候,还是最喜欢用元宝的,速度又快,辅助功能还好用,这次不知道是为什么。
发这篇文章时内心还是挺忐忑的,也不知道这篇文章会不会被限流
。如果腾讯的工程师看到,希望能引起重视。
最后,给需要制作各种课堂交互网页的老师做个工具推荐:
豆包:4.5星
工具好用,速度快,注意开启深度思考,用多次对话修正网页
DeepSeek:4.5星
效果稳定,就是速度慢,需要提示词精准
元宝:4星
效果较好,稍有些不稳定
老师们使用AI工具生成互动网页的时候可以多个工具同时使用,横向对比,取长补短。
最后,祝老师们的课堂越来越精彩。