数据挖掘

一个分享机器学习和大数据挖掘的栏目
194 篇文章
33 人订阅

全部文章

机器学习和大数据挖掘

【机器学习】算法原理详细推导与实现(七):决策树算法

在之前的文章中,对于介绍的分类算法有逻辑回归算法和朴素贝叶斯算法,这类算法都是二分类的分类器,但是往往只实际问题中

4010
机器学习和大数据挖掘

hive排序后collect_set

首先排序:row_number() over (partition by category order by cast(duration as int) des...

15420
机器学习和大数据挖掘

conda install 下载慢 报错解决

如果清华大学镜像源里面没有这个库,那么还是会从原来的镜像https://repo.anaconda.com/pkgs/main/里面下载。

12120
机器学习和大数据挖掘

spark dataframe 转换 json

但是上面发现每一个key:value都放在一个括号里面,怎么把他们合并成起来?只需要文本处理一下:

11220
机器学习和大数据挖掘

将markdown文章包括公式图片完美导入知乎

最后使用知乎的导入markdown功能即可,实例可看【机器学习】算法原理详细推导与实现(一):线性回归

6210
机器学习和大数据挖掘

【机器学习】算法原理详细推导与实现(六):k-means算法

之前几个章节都是介绍有监督学习,这个章节介绍无监督学习,这是一个被称为k-means的聚类算法,也叫做k均值聚类算法。

12710
机器学习和大数据挖掘

【机器学习】算法原理详细推导与实现(四):支持向量机(上)

在之前的文章中,包括线性回归和逻辑回归,都是以线性分界线进行分割划分种类的。而本次介绍一种很强的分类器【支持向量机】,它适用于线性和非线性分界线的分类方法。

9620
机器学习和大数据挖掘

【机器学习】算法原理详细推导与实现(五):支持向量机(下)

这里假设数据是线性可分隔的,对于这个优化项目,给定一个训练集合,这个问题的算法会找到一个数据集合的最优间隔分类器,可以使训练样本的几何间隔最大化。

5930
机器学习和大数据挖掘

scala中spark运行内存不足

发现其原因竟然是运行的时候默认的内存不足以支撑海量数据,可以用 bash spark-submit --help 中查看到自己代码的运行内存,即:

29730
机器学习和大数据挖掘

筛法求素数质数

埃拉托斯特尼筛法 ,简称 埃氏筛 或 爱氏筛 ,是一种由希腊数学家 埃拉托斯特尼 所提出的一种简单 检定素数 的算法。要得到自然数n以内的全部素数,必须把不大于...

44730
机器学习和大数据挖掘

python编译、运行、反编译pyc文件

为了加密 .py 文件,以前一般使用打包成 exe ,但是最近发现可以将其编译成二进制文件 pyc ,虽然反编译难度不大,但是也需要一些水平

1.9K10
机器学习和大数据挖掘

【机器学习】算法原理详细推导与实现(二):逻辑回归

我们可能会遇到一些分类问题,例如想要划分 鸢尾花 的种类,尝试基于一些特征来判断鸢尾花的品种,或者判断上一篇文章中的房子,在6个月之后能否被卖掉,答案是 是 或...

19820
机器学习和大数据挖掘

【机器学习】算法原理详细推导与实现(一):线性回归

今天我们这里要讲第一个有监督学习算法,他可以用于一个回归任务,这个算法叫做 线性回归

20330
机器学习和大数据挖掘

爬虫之抓js教程

前面学习了如何在 get 的时候想服务器发送多变的请求数据,从而达到搜索的效果,而实际上 搜索是简单的登陆 !所以本文将要介绍如何向百度服务器发送 post 数...

43740
机器学习和大数据挖掘

【机器学习】算法原理详细推导与实现(三):朴素贝叶斯

在上一篇算法中,逻辑回归作为一种二分类的分类器,一般的回归模型也是是判别模型,也就根据特征值来求结果概率。形式化表示为 \(p(y|x;\theta)\),在参...

22030
机器学习和大数据挖掘

爬虫之抓包教程

在初学的爬虫过程中,很多人还不知道如何抓包,怎样子抓包才能获取到所需要的信息。为了纪念【宏彦获水】成语初次面世,特地用【百度搜索】写下一篇作者常用工具的抓包教程...

33110
机器学习和大数据挖掘

window安装jekyll

16530
机器学习和大数据挖掘

Amazon验证码机器算法识别

在破解Amazon的验证码的时候,利用机器学习得到验证码破解精度超过70%,主要是训练样本不够,如果在足够的样本下达到90%是非常有可能的。 update后,...

27940
机器学习和大数据挖掘

selenium之xpath定位和input文本

31340
机器学习和大数据挖掘

python3百度指数抓取 前言:代码在我的github上面:

哥那么叼的人怎么会被他吓到,于是乎花了零零碎碎加起来大约2天半搞定,在此鄙视一下土福

33830

扫码关注云+社区

领取腾讯云代金券