慕课网数据分析与挖掘实战（一）-数据获取

数据获取手段

• 数据仓库
• 监测与抓取
• 填写，日志，埋点
• 计算

1. 数据仓库

数据仓库

数据仓库与数据库区别

2.检测与抓取

检测与抓取

其中，urllib，urllib2，requests，scrapy主要用于数据抓取 xpath主要用于分析提取有价值的内容 phantomjs，beautifulsoup主要用于可视化展示

3.填写，埋点，日志

填写，埋点，日志

前端日志需要传输到服务器才能获取 后端日志可以直接处理

4.计算

计算

好用的数据学习网站

学习网站

1.kaggle

kaggle

• Competitions： 一些企业把自己的数据集放在上面，并提供一些奖金让大家研究这个数据集 -Datasets： 公司企业，个人，组织，都可以把数据放在这里，这里的数据与项目相对比较简单
• Kernels：可以建立运行脚本（script）或者代码片（notebook）来在线编程
• Discussion：数据论坛，可以发言自己的观点，评论等
• Jobs：关于数据相关工作的职位的招聘