Python爬淘宝——300W淘宝文胸说明了什么

小歪

发布于 2018-04-04 14:22:58

8200

发布于 2018-04-04 14:22:58

文章被收录于专栏：Python爬虫与算法进阶Python爬虫与算法进阶

项目地址：https://github.com/nladuo/taobao_bra_crawler 作者：叁公子KCN

爬虫部署

部署环境

测试环境：腾讯云主机一台

操作系统：ubuntu-14.04

数据库： mongodb

安装依赖

pip install -r requirements.txt

修改配置文件

config = {
    'timeout' : 3,
    'db_user': '',
    'db_pass': '',
    'db_host': 'localhost',
    'db_port': 27017,
    'db_name': 'taobao',
    'use_tor_proxy': False,
    'tor_proxy_port': 9050
}

一般的爬取速度不会有禁IP的情况。如果有被禁IP的情况可以使用tor代理，将config['use_tor_proxy']设置为True，具体方法见python中使用tor代理 · 叁公子的博客

运行爬虫

python crawler/item_crawler.py # 爬文胸的商品信息python crawler/rate_crawler.py # 爬文胸的评论信息

简单统计与可视化展示

1. 运行脚本

cd simple_analyzer
python simple_analyzer.py               # 简单统计
cp bra.json data_visualization/static/  # 拷贝统计结果

2. 运行网页显示

cd data_visualization
npm install     # 安装依赖
npm run dev     # 进行调试
npm run build   # 生成dist

好多A、B。。

为什么是黑色？？

人数最多的竟然是75B，那是什么概念？？

感兴趣的学习女生胸围到底是70B大还是75B大？

关键词分析

运行脚本

cd keyword_analyzer
python create_corpus.py     # 1.加载评论信息
python extract_tags.py      # 2.提取关键词(20分钟左右, 可以直接用我的模型进行第三步)
python create_wordcloud.py  # 3.生成词云图片

效果