微博爬虫开源项目汇总大全

- [SinaSpider][1] - 基于scrapy和redis的分布式微博爬虫。SinaSpider主要爬取新浪微博的个人信息、微博数据、关注和粉丝。数据库设置Information、Tweets、Follows、Fans四张表。爬虫框架使用Scrapy，使用scrapy_redis和Redis实现分布式。此项目实现将单机的新浪微博爬虫重构成分布式爬虫。

- [sina_reptile][2] -这是一个关于sina微博的爬虫，采用python开发，并修改了其sdk中的bug，采用mongodb存储，实现了多进程爬取任务。获取新浪微博1000w用户的基本信息和每个爬取用户最近发表的50条微博,使用python编写，多进程爬取，将数据存储在了mongodb中。 - [sina_weibo_crawler][3]-基于urlib2及beautifulSoup实现的微博爬虫系统。利用urllib2加beautifulsoup爬取新浪微博,数据库采用mongodb，原始关系以txt文件存储，原始内容以csv形式存储，后期直接插入mongodb数据库。

- [sina-weibo-crawler][4]-方便扩展的新浪微博爬虫。WCrawler.crawl()函数只需要一个url参数，返回的用户粉丝、关注里面都有url，可以向外扩展爬取，并且也可以自定义一些过滤规则。 - [weibo_crawler][5]-基于Python、BeautifulSoup、mysql微博搜索结果爬取工具。本工具使用模拟登录来实现微博搜索结果的爬取。

- [weibo_crawler][6] - 实现了抓取指定uid的微博数据的功能。 - [SinaMicroblog_Creeper-Spider_VerificationCode][7]-新浪微博爬虫，获得每个用户和关注的，粉丝的用户id存入xml文件中，BFS，可以模拟登陆，模拟登陆中的验证码会抓取下来让用户输入。 [1]: https://github.com/LiuXingMing/SinaSpider [2]: https://github.com/gnemoug/sina_reptile [3]: https://github.com/yanshengli/sina_weibo_crawler [4]: https://github.com/intfloat/sina-weibo-crawler [5]: https://github.com/meibenjin/weibo_crawler [6]: https://github.com/rabintang/weibo_crawler [7]: https://github.com/somethingx64/SinaMicroblog_Creeper-Spider_VerificationCode