【基础】常用的机器学习&数据挖掘知识点

Basis(基础):

MSE(Mean Square Error均方误差),LMS(LeastMean Square最小均方),LSM(Least Square Methods最小二乘法),MLE(MaximumLikelihood Estimation最大似然估计),QP(Quadratic Programming二次规划), CP(Conditional Probability条件概率),JP(Joint Probability联合概率),MP(Marginal Probability边缘概率),Bayesian Formula(贝叶斯公式),L1 /L2Regularization(L1/L2正则,以及更多的,现在比较火的L2.5正则等),GD(GradientDescent梯度下降),SGD(Stochastic Gradient Descent随机梯度下降),Eigenvalue(特征值),Eigenvector(特征向量),QR-decomposition(QR分解),Quantile(分位数),Covariance(协方差矩阵)。

Common Distribution(常见分布):

Discrete Distribution(离散型分布):BernoulliDistribution/Binomial(贝努利分布/二项分布),Negative BinomialDistribution(负二项分布),MultinomialDistribution(多项式分布),Geometric Distribution(几何分布),HypergeometricDistribution(超几何分布),Poisson Distribution(泊松分布)

Continuous Distribution(连续型分布):UniformDistribution(均匀分布),Normal Distribution /Guassian Distribution(正态分布/高斯分布),ExponentialDistribution(指数分布),Lognormal Distribution(对数正态分布),GammaDistribution(Gamma分布),Beta Distribution(Beta分布),Dirichlet Distribution(狄利克雷分布),Rayleigh Distribution(瑞利分布),Cauchy Distribution(柯西分布),Weibull Distribution (韦伯分布)

Three Sampling Distribution(三大抽样分布):Chi-squareDistribution(卡方分布),t-distribution(t-distribution),F-distribution(F-分布)

Data Pre-processing(数据预处理):

Missing Value Imputation(缺失值填充),Discretization(离散化),Mapping(映射),Normalization(归一化/标准化)。

Sampling(采样):

Simple Random Sampling(简单随机采样),OfflineSampling(离线等可能K采样),Online Sampling(在线等可能K采样),Ratio-based Sampling(等比例随机采样),Acceptance-RejectionSampling(接受-拒绝采样),Importance Sampling(重要性采样),MCMC(MarkovChain Monte Carlo 马尔科夫蒙特卡罗采样算法:Metropolis-Hasting& Gibbs)。

Clustering(聚类):

K-Means,K-Mediods,二分K-Means,FK-Means,Canopy,Spectral-KMeans(谱聚类),GMM-EM(混合高斯模型-期望最大化算法解决),K-Pototypes,CLARANS(基于划分),BIRCH(基于层次),CURE(基于层次),DBSCAN(基于密度),CLIQUE(基于密度和基于网格)

Classification&Regression(分类&回归):

LR(Linear Regression线性回归),LR(LogisticRegression逻辑回归),SR(Softmax Regression多分类逻辑回归),GLM(GeneralizedLinear Model广义线性模型),RR(Ridge Regression岭回归/L2正则最小二乘回归),LASSO(Least Absolute Shrinkage andSelectionator Operator L1正则最小二乘回归),RF(随机森林),DT(DecisionTree决策树),GBDT(Gradient BoostingDecision Tree梯度下降决策树),CART(ClassificationAnd Regression Tree分类回归树),KNN(K-Nearest Neighbor K近邻),SVM(Support VectorMachine),KF(KernelFunction核函数PolynomialKernel Function多项式核函数、Guassian KernelFunction高斯核函数/Radial BasisFunction RBF径向基函数、String KernelFunction字符串核函数)、NB(Naive Bayes朴素贝叶斯),BN(Bayesian Network/Bayesian Belief Network/ Belief Network贝叶斯网络/贝叶斯信度网络/信念网络),LDA(Linear Discriminant Analysis/FisherLinear Discriminant 线性判别分析/Fisher线性判别),EL(Ensemble Learning集成学习Boosting,Bagging,Stacking),AdaBoost(Adaptive Boosting自适应增强),MEM(MaximumEntropy Model最大熵模型)

Effectiveness Evaluation(分类效果评估):

Confusion Matrix(混淆矩阵),Precision(精确度),Recall(召回率),Accuracy(准确率),F-score(F得分),ROC Curve(ROC曲线),AUC(AUC面积),LiftCurve(Lift曲线),KS Curve(KS曲线)。

PGM(Probabilistic Graphical Models概率图模型):

BN(Bayesian Network/Bayesian Belief Network/BeliefNetwork贝叶斯网络/贝叶斯信度网络/信念网络),MC(Markov Chain马尔科夫链),HMM(HiddenMarkov Model 马尔科夫模型),MEMM(Maximum Entropy Markov Model最大熵马尔科夫模型),CRF(ConditionalRandom Field条件随机场),MRF(MarkovRandom Field马尔科夫随机场)。

NN(Neural Network神经网络):

ANN(Artificial Neural Network人工神经网络),BP(Error BackPropagation误差反向传播)

Deep Learning(深度学习):

Auto-encoder(自动编码器),SAE(Stacked Auto-encoders堆叠自动编码器:Sparse Auto-encoders稀疏自动编码器、Denoising Auto-encoders去噪自动编码器、Contractive Auto-encoders 收缩自动编码器),RBM(RestrictedBoltzmann Machine受限玻尔兹曼机),DBN(Deep Belief Network深度信念网络),CNN(ConvolutionalNeural Network卷积神经网络),Word2Vec(词向量学习模型)。

DimensionalityReduction(降维):

LDA LinearDiscriminant Analysis/Fisher Linear Discriminant线性判别分析/Fisher线性判别,PCA(Principal Component Analysis主成分分析),ICA(IndependentComponent Analysis独立成分分析),SVD(Singular Value Decomposition奇异值分解),FA(FactorAnalysis因子分析法)。

Text Mining(文本挖掘):

VSM(Vector Space Model向量空间模型),Word2Vec(词向量学习模型),TF(Term Frequency词频),TF-IDF(Term Frequency-Inverse DocumentFrequency词频-逆向文档频率),MI(MutualInformation互信息),ECE(Expected Cross Entropy期望交叉熵),QEMI(二次信息熵),IG(InformationGain信息增益),IGR(Information Gain Ratio信息增益率),Gini(基尼系数),x2 Statistic(x2统计量),TEW(TextEvidence Weight文本证据权),OR(Odds Ratio优势率),N-Gram Model,LSA(Latent Semantic Analysis潜在语义分析),PLSA(ProbabilisticLatent Semantic Analysis基于概率的潜在语义分析),LDA(Latent DirichletAllocation潜在狄利克雷模型)

Association Mining(关联挖掘):

Apriori,FP-growth(Frequency Pattern Tree Growth频繁模式树生长算法),AprioriAll,Spade。

Recommendation Engine(推荐引擎):

DBR(Demographic-based Recommendation 基于人口统计学的推荐),CBR(Context-basedRecommendation基于内容的推荐),CF(Collaborative Filtering协同过滤),UCF(User-basedCollaborative Filtering Recommendation基于用户的协同过滤推荐),ICF(Item-basedCollaborative Filtering Recommendation基于项目的协同过滤推荐)。

Similarity Measure&Distance Measure(相似性与距离度量):

Euclidean Distance(欧式距离),ManhattanDistance(曼哈顿距离),Chebyshev Distance(切比雪夫距离),MinkowskiDistance(闵可夫斯基距离),Standardized Euclidean Distance(标准化欧氏距离),MahalanobisDistance(马氏距离),Cos(Cosine余弦),HammingDistance/Edit Distance(汉明距离/编辑距离),JaccardDistance(杰卡德距离),Correlation Coefficient Distance(相关系数距离),InformationEntropy(信息熵),KL(Kullback-Leibler Divergence KL散度/Relative Entropy相对熵)。

Optimization(最优化):

Non-constrainedOptimization(无约束优化):Cyclic VariableMethods(变量轮换法),Pattern Search Methods(模式搜索法),VariableSimplex Methods(可变单纯形法),Gradient Descent Methods(梯度下降法),Newton Methods(牛顿法),Quasi-NewtonMethods(拟牛顿法),Conjugate Gradient Methods(共轭梯度法)。

ConstrainedOptimization(有约束优化):Approximation Programming Methods(近似规划法),FeasibleDirection Methods(可行方向法),Penalty Function Methods(罚函数法),Multiplier Methods(乘子法)。

Heuristic Algorithm(启发式算法),SA(SimulatedAnnealing,模拟退火算法),GA(genetic algorithm遗传算法)

Feature Selection(特征选择算法):

Mutual Information(互信息),DocumentFrequence(文档频率),Information Gain(信息增益),Chi-squared Test(卡方检验),Gini(基尼系数)。

Outlier Detection(异常点检测算法):

Statistic-based(基于统计),Distance-based(基于距离),Density-based(基于密度),Clustering-based(基于聚类)。

Learning to Rank(基于学习的排序):

Pointwise:McRank;

Pairwise:RankingSVM,RankNet,Frank,RankBoost;

Listwise:AdaRank,SoftRank,LamdaMART;

Tool(工具):

MPI,Hadoop生态圈,Spark,BSP,Weka,Mahout,Scikit-learn,PyBrain…

原文发布于微信公众号 - CSDN技术头条(CSDN_Tech)

原文发表时间:2015-01-04

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏专知

【论文推荐】最新十篇推荐系统相关论文—内容感知、图卷积神经网络、博弈论、个性化排序、元学习、xDeepFM

【导读】专知内容组既前两天推出十六篇推荐系统相关论文之后,今天为大家又推出十篇推荐系统(Recommendation System)相关论文,欢迎查看!

3863
来自专栏专知

【论文推荐】最新5篇情感分析相关论文—深度学习情感分析综述、情感分析语料库、情感预测性、上下文和位置感知的因子分解模型、LSTM

【导读】专知内容组整理了最近五篇情感分析(Sentiment Analysis)相关文章,为大家进行介绍,欢迎查看! 1. Deep Learning for ...

4575
来自专栏PPV课数据科学社区

【学习】常用的机器学习&数据挖掘知识点

Basis(基础): MSE(Mean Square Error 均方误差),LMS(LeastMean Square 最小均方),LSM(Least Squa...

36212
来自专栏专知

【论文推荐】最新六篇图像描述生成相关论文—视频摘要、注意力张量积、非自回归神经序列模型、副词识别、多主体、多样性度量

【导读】专知内容组整理了最近六篇图像描述生成(Image Caption)相关文章,为大家进行介绍,欢迎查看! 1. Textually Customized ...

3887
来自专栏专知

【论文推荐】最新5篇知识图谱相关论文—强化学习、习知识图谱的表示、词义消除歧义、并行翻译嵌入、图数据库

【导读】专知内容组整理了最近五篇知识图谱(Knowledge Graph)相关文章,为大家进行介绍,欢迎查看! 1. DeepPath: A Reinforce...

4494
来自专栏CVer

最新的46篇CV论文!

计算机视觉论文速递系列推文目前是一周一次,因为Amusi说过很多次,这个系列文章整理到公众号上有点"吃"时间。所以暂时将原来的日报形式改成周报的形式。

3532
来自专栏专知

【论文推荐】最新十二篇情感分析相关论文—自然语言推理框架、网络事件、多任务学习、实时情感变化检测、多因素分析、深度语境词表示

2316
来自专栏null的专栏

优化算法——拟牛顿法之BFGS算法

一、BFGS算法简介 BFGS算法是使用较多的一种拟牛顿方法,是由Broyden,Fletcher,Goldfarb,Shanno四个人分别提出的,故称为BF...

3054
来自专栏量化投资与机器学习

【代码+论文】最全LSTM在量化交易中的应用汇总

我们的论坛社区上线啦! https://bbs.mlqi.org 希望大家多去逛逛,学习交流,共享智慧。这个社区就是为大家解答、学习、交流在量化投资和机器学习方...

1K9
来自专栏专知

【论文推荐】最新六篇机器翻译相关论文— 自注意力残差解码器、SGNMT、级联方法、神经序列预测、Benchmark、人类水平

【导读】专知内容组整理了最近六篇机器翻译(Machine Translation)相关文章,为大家进行介绍,欢迎查看! 1.Self-Attentive Res...

3637

扫码关注云+社区

领取腾讯云代金券