首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

数据挖掘之数据预处理学习笔记数据预处理目的主要任务

数据预处理目的 保证数据的质量,包括确保数据的准确性、完整性和一致性 主要任务 数据清理 填写缺失的值、光滑噪声数据、识别或者删除离群的点,先解决这些脏数据,否者会影响挖掘结果的可信度 噪声数据:所测量数据的随机误差或者方差 数据集成 比如,将多个数据源上的数据合并,同一个概念的数据字段可能名字不同,导致不一致和冗余,这里需要处理 数据规约 将巨大的数据规模变小,又不损害数据的挖掘结果,比如在数学建模里通过SPSS来降维,包括维规约(主成分分析法)和数值规约(数据聚集或者是回归) 回归:用一个函数拟合数据

03

【文本分析】怎样把文档转换成向量

文本分析 文本分析指从文本中抽取出的特征来量化来表示文本信息,并在此基础上对其进行基于数学模型的处理。它是文本挖掘、信息检索的一个基本问题。 在“大数据”盛行的今天,对于非结构化信息的处理已经成了许多工作的必选项,而自然语言书写的文本,就是最典型的一种非结构化信息。 文本分析已经从学院派象牙塔中的研究课题逐步渗入到各个应用领域。对于正在做或者有志于做数据分析的人,掌握基本的文本分析知识和技法,已经成为必要。 向量空间模型 针对文本的具体操作很多,最典型的就是分类和聚类。引入机器学习的办法,让程序自己“学会”

011
领券