MMD_2b_NearestNeighborLearning

Large scale machine learning ways

  • k-nearest neighbor(instance based learning)
  • support vector machine
  • decision tree

main question: how to efficiently train (build model and find model parameters)?

Instance Based Learning

概述

具体方法

  • 1NN
  • KNN
  • KernalRegression

发现NN

通常,有两种发现问题:

  1. 选择距离最近的K个
  2. 设定距离的阈值,发现小于该阈值的NN点

当数据量大到一定程度时,不可能分别比较每个点与query点得距离,这样的话所用的时间是线性的,不适合解决大规模的问题。 这个时候,使用LSH(local sensitive hashing),可以缩减问题的规模,使得所用的时间是constant的。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏贾志刚-OpenCV学堂

BRIEF描述子生成算法

一:介绍 我们知道SIFT算法通常通过对每个关键点生成128个特征向量作为描述子、SURF算法通常对关键点生成最少64个特征向量作为描述子。但是对于图像来说创建...

2976
来自专栏AI研习社

Github 项目推荐 | 基于 ID3 算法的 ML 决策树的实现

本库是实现用于决策树学习的 ID3 算法的 Ruby 库,目前能够学习连续和离散的数据集。

881
来自专栏大学生计算机视觉学习DeepLearning

基于tensorflow实现简单卷积神经网络Lenet5

3407
来自专栏null的专栏

机器学习算法实现解析——libFM之libFM的训练过程之Adaptive Regularization

本节主要介绍的是libFM源码分析的第五部分之二——libFM的训练过程之Adaptive Regularization的方法。 5.3、Adaptive Re...

4727
来自专栏大数据挖掘DT机器学习

用python实现支持向量机对婚介数据的用户配对预测

网上有人用libsvm2.89在Python2.6成功。(一定要libsvm2.89搭配python2.6,其他版本都不能成功,我就是浪费了大量时间在这里!) ...

3195
来自专栏数据结构与算法

P2258 子矩阵

题目描述 给出如下定义: 子矩阵:从一个矩阵当中选取某些行和某些列交叉位置所组成的新矩阵(保持行与列的相对顺序)被称为原矩阵的一个子矩阵。 例如,下面左图中选取...

2689
来自专栏技术翻译

回归问题的深层神经网络

众所周知,神经网络可用于解决分类问题,例如,它们被用于手写体数字分类,但问题是,如果我们将它们用于回归问题,它会有效果吗?

1422
来自专栏机器学习实践二三事

机器学习基本概念-3

前两篇介绍了ML中的一些基本概念,还有一些很重要的概念也还没有说到,作为入门教程还是需要直观点,所以先举个最简单的例子线性回归(linear regresion...

1918
来自专栏懒人开发

(4.9)James Stewart Calculus 5th Edition:Newton’s Method

Newton’s Method 牛顿法则, 又叫 Newton-Raphson method 牛顿迭代法则

874
来自专栏计算机视觉与深度学习基础

Codeforces 472D

看官方题解提供的是最小生成树,怎么也想不明白,you can guess and prove it! 看了好几个人的代码,感觉实现思路全都不一样,不得不佩服cf...

18910

扫码关注云+社区