在机器学习建模流程中，数据标准化、数据集划分是最基础的预处理步骤，但90%的新手甚至部分进阶开发者都会踩一个致命坑：颠倒二者执行顺序。

很多人习惯性先对全量数据标准化，再划分训练集、测试集。看似代码简洁、结果无明显报错，实则引发了隐蔽且危害极大的数据泄露（Data Leakage），最终导致模型离线评估指标虚高，上线真实业务场景后效果断崖式下跌。

本文将结合原理+对错代码对比+交叉验证坑点+全场景适配规则，彻底讲透这一经典机器学习工程问题，帮大家规避建模底层错误。

正确顺序：先划分数据集，再做标准化

错误顺序：先标准化，再划分数据集

顺序颠倒看似数值差异极小，实则违背机器学习核心建模逻辑，造成不可逆的数据泄露，让模型的泛化评估结果完全失真。

二、标准正确建模流程（工业级规范）

原始数据 → 划分训练集/验证集/测试集 → 仅训练集拟合统计量 → 统一标准化所有数据集

测试集、验证集属于模拟线上的未知真实数据，在模型最终评估完成前，其任何数据特征、分布信息，绝对不能参与训练阶段的任何参数计算，必须全程“隔离不可见”。

严格遵循工业级划分比例：训练集60%、验证集20%、测试集20%，代码可直接复制运行：

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# ① 第一步：优先划分数据集，杜绝数据泄露
# 首次划分：80%数据用于训练+验证，20%作为独立测试集
X_train_val, X_test, y_train_val, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
# 二次划分：从训练验证集中拆分出训练集、验证集
X_train, X_val, y_train, y_val = train_test_split(X_train_val, y_train_val, test_size=0.25, random_state=42)

# ② 第二步：仅用训练集拟合标准化器（核心关键！）
# 只通过训练集计算均值、标准差，不触碰任何验证集、测试集数据
scaler = StandardScaler()
scaler.fit(X_train)  

# ③ 第三步：复用训练集统计量，标准化所有数据集
X_train = scaler.transform(X_train)
X_val   = scaler.transform(X_val)
X_test  = scaler.transform(X_test)

三、错误流程解析：先标准化后划分（致命数据泄露）

这是新手最高频的错误写法，代码简洁但完全不符合工程规范：

# 严重错误：全量数据拟合标准化，存在数据泄露
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)  # 用包含测试集的全量数据计算统计量

# 划分数据集时，测试集信息已提前参与参数计算
X_train, X_test, y_train, y_test = train_test_split(X_scaled, y, test_size=0.2, random_state=42)

标准化的核心参数（均值、标准差），是基于全量数据（训练集+验证集+测试集）计算得出的。

这意味着：模型正式训练前，就已经间接获取了测试集的数据分布特征，相当于考试前提前偷看了试卷特征，最终的评估成绩完全不具备参考性。

颠倒顺序后，模型在本地训练的准确率、精确率、召回率会系统性偏乐观。常见场景：本地测试准确率可达95%，但模型上线真实业务后，效果直接暴跌至85%甚至更低。

核心原因：此时的测试集不再是“未知数据”，标准化参数已经适配了测试集数据分布，评估结果无法反映模型的真实泛化能力。

4.2 交叉验证场景隐蔽泄露（最难排查）

在交叉验证调参场景中，多数开发者会将标准化放在循环外部，导致每一轮验证集的信息全部泄露，交叉验证分数完全失真，无法用于模型调优和效果评估。

#全局标准化后交叉验证，整折数据泄露
X_scaled = scaler.fit_transform(X)
scores = cross_val_score(model, X_scaled, y, cv=5)

通过Pipeline将预处理和模型封装为整体，确保每一轮交叉验证，仅训练集拟合参数，验证集只做变换，从机制上杜绝数据泄露：

from sklearn.pipeline import Pipeline

# 流水线自动隔离每折数据，独立预处理、独立建模
pipe = Pipeline([
    ('scaler', StandardScaler()),
    ('model', SVC())
])
scores = cross_val_score(pipe, X, y, cv=5)  # 完全规避数据泄露

4.3 小数据集场景危害呈指数级放大

关键结论：无论数据量大小，先标准化后划分都是根本性方法论错误，绝不可以默许使用。

五、通用规则：所有预处理操作均适用

不止是标准化，所有需要从数据中学习统计参数的预处理操作，都必须遵循「先划分数据集、后拟合参数」的核心原则：仅用训练集拟合参数，再统一变换训练集、验证集、测试集。

六、举个栗子，助力吃透核心逻辑

将模型训练类比为学生备考应试：

正确逻辑：仅根据练习题总结备考大纲，用大纲训练能力，再参与正式考试，成绩真实可信；

错误逻辑：将考试试卷和练习题混合总结大纲，等同于提前偷看考题，成绩虚高，无法反映真实能力。

八、多说一句：如果数据量极大时，训练集分布和全量数据几乎一致，能否先标准化再划分？

大数据场景下只是数据泄露的影响被稀释，不代表泄露消失。该写法属于不规范的建模漏洞，一旦后续落地小样本场景、业务数据分布偏移，模型会直接失效。建议从入门阶段养成标准工程建模习惯。

测试集是神圣不可侵犯的。在模型最终评估完成之前，测试集绝不参与任何训练阶段的参数计算与预处理拟合！

数据预处理是机器学习建模的基石，顺序看似微小的细节，直接决定模型的落地效果。很多模型上线翻车、调参无效的底层原因，都是这类隐蔽的数据泄露问题。​

建立机器学习模型时，先划分数据集还是先对数据进行标准化？

副总裁

人工智能

在机器学习建模中，先划分数据集再标准化是防止数据泄露的关键。错误地先标准化全量数据，会导致测试集信息提前参与计算，造成离线评估虚高、线上效果暴跌。正确做法是仅用训练集拟合标准化参数，再统一变换训练集、验证集和测试集。交叉验证时建议使用Pipeline封装，确保每折数据独立预处理。所有需拟合统计量的预处理操作（如归一化、缺失值填充）都应遵循此顺序，以保障模型泛化能力。

数据预处理

机器学习

数据泄露

大数据

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

在机器学习建模中，先划分数据集再标准化是防止数据泄露的关键。错误地先标准化全量数据，会导致测试集信息提前参与计算，造成离线评估虚高、线上效果暴跌。正确做法是仅用训练集拟合标准化参数，再统一变换训练集、验证集和测试集。交叉验证时建议使用Pipeline封装，确保每折数据独立预处理。所有需拟合统计量的预处理操作（如归一化、...

建立机器学习模型时，先划分数据集还是先对数据进行标准化？

建立机器学习模型时，先划分数据集还是先对数据进行标准化？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐