福昕办公
AI 读的不是文字,是“碎片“——Token(词元) 完全图解
原创
关注作者
腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
MCP广场
文章/答案/技术大牛
搜索
搜索
关闭
发布
福昕办公
社区首页
>
专栏
>
AI 读的不是文字,是“碎片“——Token(词元) 完全图解
AI 读的不是文字,是“碎片“——Token(词元) 完全图解
福昕办公
关注
发布于 2026-09-24 16:43:15
发布于 2026-09-24 16:43:15
46
0
举报
概述
前几天有个朋友问我:"为什么我用 DeepSeek 写中文,花的钱比写英文多?"另一个朋友更离谱:让 AI 数 strawberry 里有几个 r,AI 居然数错了。这些看似不相关的问题,背后都指向同一个东西——Token。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系
cloudcommunity@tencent.com
删除。
token
#AI通识
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档