人工智能 | 高速公路相关的人工智能基础知识普及：算力、参数与TOKEN

最近ECS特别火，所以有必要进行一轮新的“人工智能+高速公路”的思考，本文先从简单的基础概念开始。

想象一下，我们需要训练一个AI，让它学会识别猫的图片，其本质上就是让它做海量、超高难度的题，就是让它当个做题家。

• 题目是什么？ 每一张图片就是一道题。AI需要计算这张图片里每一个像素、每一个特征（比如边缘、颜色块）与“猫”这个概念之间的关系。
• 学习训练过程： 就是给AI看几百万张标好“这是猫”或“这不是猫”的图片，让它反复做这些题，并不断调整它内部的“解题思路”（模型参数），直到它答对率越来越高。
• 推理应用过程： 训练好后，你手机拍一张新照片问AI：“这是猫吗？”它需要立刻调用训练好的“解题思路”，快速做一遍计算，给出答案。

这就是AI的简单过程，随着AI的快速发展，有一些常见基础知识需要了解，本文做一些简单探讨。

一、算力

对于AI来说，计算能力是它的核心生产力。

算力一般来说，就是直接告诉你这个服务器能提供多强的计算能力，这样就知道它能多快训练出一个强大的AI模型，或者能同时服务多少用户进行AI问答。

算力就是AI世界的“硬通货”。

算力通常指计算机系统执行计算任务的能力，尤其侧重于浮点运算的能力。

算力的尽头是电力，是能源，所以交能融合是必然趋势。

为什么是“浮点运算”？

因为AI模型（神经网络）里的参数（权重、偏置）和输入数据（如图片像素值）绝大多数都是小数，处理小数的计算就是浮点运算。

AI训练和推理，就是一层接一层的巨大矩阵（可以想象成巨大的Excel表格）进行乘法和加法，这些都是浮点运算。

对于AI，我们最关注的指标是：

FLOPS：每秒所执行的浮点运算次数

这是衡量算力最核心的单位。我们常听到：

• 1 TFLOPS = 1万亿次/秒
• 1 PFLOPS = 1千万亿次/秒

另外，显存就是我们临时存储模型和数据的地方，也就是“草稿纸”，他限制了模型的大小和能处理数据的规模。

二、参数

参数定义

参数也是我们常见的名词。如果把AI比喻成一个做题家，参数就是通过海量练习后，自己总结记录在小本子上的独家解题经验。

参数是是成千上万条“规则碎片”或“经验值”。例如：

• “如果图像这里有个尖尖的、深色的三角形，那‘是猫耳’的可能性+0.87。”
• “如果文本中‘虽然’后面经常跟着‘但是’，那么‘但是’出现的概率要提高。”

每一个这样的“可能性加减值”或“权重”，就是一个参数。

一个AI模型拥有数百亿甚至上万亿个这样的参数。

参数的本质是：模型从数据中学到的、被固化下来的知识，它定义了模型的行为和决策方式。

参数是怎么来的？（学习训练过程）

1. 初始状态： 一开始，AI的小本子是空白的，或者只胡乱记了一些随机数字（随机初始化参数）。它是个纯粹的小白，啥也不懂。
2. 大量做题： 你给它看几百万张猫的图片（训练数据）。每看一张，它就根据自己小本子上当前的经验，猜一下这是不是猫。
3. 核对答案： 系统会告诉它正确答案（标签）。
4. 修正经验： 如果猜错了，它就会反过来调整小本子上的那些数字（参数）。比如，发现某条经验老是导致它把狗耳朵认成猫耳朵，它就把那条经验对应的数字改小一点。
5. 循环迭代： 这个过程重复数万亿次。最终，小本子上的数字（参数）被调整到一种精妙的状态，使得AI在面对没见过的新图片时，也能凭借这一套综合经验，做出高准确率的判断。

参数如何使用？（推理应用过程）

当训练完成，AI的小本子（参数集）就固定了，变成了它的知识和直觉。

当你问它新问题时，它不再修改小本子，而是快速查阅这本已经写好的经验本，将新问题（输入数据）与这些参数进行高速计算，瞬间得出答案。

参数的规模：为什么动辄千亿？

现代大模型大多采用 Transformer 架构，其核心机制 “自注意力” 需要为输入序列中每一个词与所有其他词之间的关系都计算一个权重。

这导致了参数数量随模型规模爆炸性增长。

权重像一个连接强度控制器。在两个神经元的连接线上，权重决定了上游信号对下游影响力的大小。权重为0表示“不连接”，权重为正表示“兴奋性连接”，为负表示“抑制性连接”。

例如，一个有1000亿参数的模型，意味着它有1000亿个“小旋钮” 需要在大数据训练中被调整到最佳位置。参数越多，模型理论上能记住更复杂的模式、更细微的关联，潜力（能力上限）也就越大。

一个核心关系就是：更大的模型（更多参数） → 需要更多的数据来训练 → 需要更强的算力来支撑训练和推理

三、TOKEN

为什么说TOKEN，这是AI时代最好的度量衡，因为我们在使用大模型服务的时候，收费的情况下都是按照token进行核算的。

TOKEN的定义

我们之前把AI比喻成一个做题家，它有自己的解题经验本（参数）和做题速度（算力），当我们给这位做题家一本书或一张图片时，它该怎么阅读呢？

Token就是AI把复杂信息（文本、图片、声音）拆解成的“最小可处理积木块”。

对于文本，一个Token通常是一个或几个字、一个词。比如：“人工智能” 可能被拆成 ["人工", "智能"] 2个Token，或者作为一个整体["人工智能"] 1个Token，这取决于分词方法。

AI不是以“字”或“词”为单位理解，而是以这些有意义的“积木块”（Token）为单位。

这些Token不是我们肉眼看到的文字，而是AI内部的一个个编号ID。每个ID对应着模型词汇表中的一个特定含义片段。

无论什么语言，最终都变成了数字ID序列，方便模型统一计算。

在自然语言处理和现代AI中，Token是信息被数字化、离散化后的基本处理单位。

每个模型都有一个固定的词典（词汇表），大小从几万到数十万不等。例如，GPT-3的词汇表有约5万个Token。

我们（通过算力）建造了一个拥有海量参数（知识）的AI大脑。当我们想和它交流时，必须把我们的语言切碎成它认识的Token（积木块）喂给它。

它则动用全部知识和算力，玩一个最高级的预测下一块积木的游戏，从而生成我们看到的流畅回答。

为什么使用大模型需要购买Token。

因为它完美衡量了思考工作量：

• 你的问题越长 → 需要拆解的Token越多 → AI需要“阅读”的内容越多 → 消耗的计算资源越多
• AI的回答越长 → 需要生成的Token越多 → AI需要“编写”的内容越多 → 消耗的计算资源更多

Token计费能让这些成本精确平摊到每一次具体的用户交互上，实现商业可持续。

用户可能输入一句话（10个Token），要求生成一篇长文（1000个Token）。按Token计费能公平反映服务负载。就像手机流量用多少付多少，用户和提供商都清楚规则。

如果按时间收费，用户不知道模型是否在“磨洋工”；按次数计费，一次简短问答和一次长篇创作成本差异巨大；按字数计费，忽略了AI阅读理解你问题的成本，且不同语言Token与字数换算不同；订阅制（无限量），必然导致少数重度用户滥用，挤占资源。

Token数量直接决定了服务器需要多少计算周期、消耗多少显存和电力，既衡量了听你说话的工作量（输入Token），也衡量了为你创作的工作量（输出Token），公平精确。

---END---