Python的常用包有哪些,分别有什么作用?

目录

1、Python的常用包有哪些,分别有什么作用?

2、sklearn的常用包有哪些,分别有什么作用?

3、什么是正则化、如何理解正则化以及正则化的作用?

4、bias和variance是什么?

1

Python的常用包有哪些,分别有什么作用?

Datawhale优秀回答者:追风者

Python常用包

1、Numpy(数值运算库)

2、Scipy(科学计算库)

3、Matplotlib(基础可视化库)

4、Pandas(数据处理库)

5、Seaborn(高级可视化库)

6、Scikit-learn(流行的机器学习库)

各自作用

1、Numpy是最为流行的机器学习和数据科学包,Numpy包支持在多维数据上的数学运算,提供数据结构以及相应高效的处理函数,很多更高级的扩展库(包括Scipy、Matplotlib、Pandas等库)都依赖于Numpy库;

2、Scipy包用于科学计算,提供矩阵支持,以及矩阵相关的数值计算模块,其功能包含有最优化、线性代数、积分、插值、拟合、信号处理和图像处理以及其他科学工程中常用的计算;

3、Pandas用于管理数据集,强大、灵活的数据分析和探索工具,其带有丰富的数据处理函数,支持序列分析功能,支持灵活处理缺失数据等;

● Pandas基本的数据结构是Series和DataFrame;

● Series就是序列,类似一维数组;

● DataFrame相当于一张二维的表格,类似二维数组,它的每一列都是一个Series;

● 为了定位Series中的元素,Pandas提供了Index对象,每个Series都会带有一个对应的Index,用来标记不用的元素;

● DataFrame相当于多个带有同样Index的Series的组合(本质是Series的容器);

4、Matplotlib库用于数据可视化,强大的数据可视化工具以及作图库,其主要用于二维绘图,也可以进行简单的三维绘图;

5、Seaborn库是基于Matplotlib的高级可视化库;

6、Sklearn库包含大量机器学习算法的实现,其提供了完善的机器学习工具箱,支持预处理、回归、分类、聚类、降维、预测和模型分析等强大的机器学习库,近乎一半的机器学习和数据科学项目使用该包。

2

sklearn的常用包有哪些,分别有什么作用?

Datawhale优秀回答者:玲

sklearn库的结构

sklearn主要是用于机器学习,所以sklearn的模块也都是围绕机器学习算法的。sklearn因此可以分为这几个部分:Classification(分类),Regression(回归),Clustering(聚类),Dimensionality reduction(降维),Model selection(模型选择),Preprocessing(预处理)。

1.分类算法包括SVM(sklearn.svm.SVC等)、近邻(sklearn.neighbors)、随机森林(sklearn.ensemble.RandomForestClassifier)等。

2.回归算法包括SVR(sklearn.svm.SVR)、岭回归(sklearn.linear_model.Ridge)、Lasso(sklearn.linear_model.Lasso)等。

3.聚类算法包括K均值(sklearn.cluster.KMeans)、谱聚类(sklearn.cluster.SpectralClustering)等。

4.降维算法包括PCA(如sklearn.decomposition.PCA)、特征选择(sklearn.feature_selection,包括单变量特征选择等)、非负矩阵分解(如sklearn.decomposition.NMF、LatentDirichletAllocation)。

5.模型选择方法包括网格搜索(sklearn.model_selection.GridSearchCV)、交叉验证(有很多,比如sklearn.model_selection.KFold、cross_val_score)、评估指标(sklearn.model_selection.metrics,包括precision、recall、accuracy等)。

6.预处理方法包括基本的预处理方法(sklearn.preprocessing,包括标准化、类别化、离散化等)、特征抽取(sklearn.feature_extraction,包括文本特征抽取方法bag of words、tf-idf等)。

机器学习主要步骤中sklearn应用

1.数据集:sklearn.datasets中提供了很多数据集,初学时可将其作为基础数据。

2.数据预处理:sklearn.preprocessing,包括:降维、数据归一化、特征提取和特征转换(one-hot)等

3.选择模型并训练:分类、回归、聚类、集成等算法,涉及的模型主要是sklearn.linear_model、sklearn.cluster、sklearn.ensemble。

4.模型评分:sklearn.metrics,包括准确率、召回率等,算法自身也带有评分方法score。

5.模型的保存与恢复:可以用python的pickle方法(pickle.dump、pickle.load),或者sklearn.externals.joblib(joblib.dump、joblib.load)。

学习建议

不必一次看完sklearn所有模块的使用方法,这样太累!成效也不大!最好的方式是一边学习机器学习算法理论,一边实践的过程中去了解相关模块的用途,记忆会更深刻。

推荐的学习资料

基本了解:https://blog.csdn.net/u014248127/article/details/78885180

深入探索:Hands-On Machine Learning with Scikit-Learn & TensorFlow

3

什么是正则化、如何理解正则化以及正则化的作用?

Datawhale优秀回答者:追风者

正则化-Regularization(也称为惩罚项或范数)就是通过对模型的参数在“数量”和“大小”方面做相应的调整,从而降低模型的复杂度,以达到避免过拟合的效果。

如何理解正则化

如果我们的目标仅仅是最小化损失函数(即经验风险最小化),那么模型的复杂度势必会影响到模型的整体性能;引入正则化(即结构风险最小化)可以理解为衡量模型的复杂度,同时结合经验风险最小化,进一步训练优化算法。

正则化的作用

正则化可以限制模型的复杂度,从而尽量避免过拟合的发生;模型之所以出现过拟合的主要原因是学习到了过多噪声,即模型过于复杂(也可以通过简化模型或增加数据集等方法尽量避免过拟合的发生)。

正则化的常见类型

(1)L1正则化

可以通过稀疏化(减少参数“数量”)来降低模型复杂度的,即可以将参数值减小到0。

(2)L2正则化

可以通过减少参数值“大小”来降低模型的复杂度,即只能将参数值不断减小,但永远不会减小为0,只能尽量接近于0。

关联概念

过拟合、正则化、经验风险最小化、结构风险最小化、损失函数、模型复杂度、范数

4

bias和variance是什么?

Datawhale优秀回答者:追风者

解释1

bias 偏差 :模型的期望(或平均)预测和正确值之间的差别;

variance 方差 :模型之间的多个拟合预测之间的偏离程度。

解释2

bias和variance分别从两个方面来描述了我们学习到的模型与真实模型之间的差距;

bias是 “用所有可能的训练数据集训练出的所有模型的输出的平均值” 与 “真实模型”的输出值之间的差异;

variance则是“不同的训练数据集训练出的模型”的输出值之间的差异。

解释3

首先 Error = bias + variance

Error反映的是整个模型的准确度,bias反映的是模型在样本上的输出与真实值之间的误差,即模型本身的精准度,variance反映的是模型每一次输出结果与模型输出期望之间的误差,即模型的稳定性;

更准确地讲Error分成3个部分:Error = bias + variance + noise;

原文发布于微信公众号 - 机器学习算法与Python学习(guodongwei1991)

原文发表时间:2019-08-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券