爬虫技术-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

爬虫技术

专栏成员

16

文章

49466

阅读量

35

订阅数

python破解知乎爬虫技术架构

php 爬虫 tcp/ip http https

去年自己开发了一个知乎爬虫系统，我现将整个技术思路和架构整理出来分享给大家，希望对大家有帮助。

2020-04-02

1.5K0

如何运用Python的AI爬虫技术，采集比天眼查更完整的数据？我的经验分享

用Python的AI爬虫技术，采集到比天眼查更完整和更及时的数据，提高python的挖掘性能，其实天眼查、查查查这些网站的数据还是具有延迟性，很多数据还是不够完整，而且很多数据源都是通国各种网站数据采集整合过来的，最近在研究Python的多进程和多线程AI智能引擎技术实现一个全网数据挖掘和分析的引擎，搜索引擎技术就是能够扫描全网，然后收录一些有用的价值，像百度搜索引擎、google搜索引擎，他们就是采用爬虫技术，对全网进行24小时的扫描，然后把各种网站的数据进行采集做快照，基于这种搜索引擎技术，我们如果要爬取比天眼查、查查查更完整的数据，只要在我们搜索引擎里面植入我们自己的代理IP池技术，采用python的多进程技术进对目标网站进行分任务，每个进程负责一个目标网站，然后采用python的多线程技术，每个来负责翻页爬取，每个线程负责10页的翻页，然后再启动守护进程24小时进行全网扫描。欢迎交流（qq：1742396457），下面是我自己写的代码，结果效率和爬取得到的数据结果还是超出满意：

2020-03-30

2.9K1

Python爬虫-2019年我破解了商标网数据爬虫-破解反爬技术那些事情

爬虫大数据数据库 sql http

由于自己一直做Python大数据挖掘技术开发，最近有不少的朋友要做大数据分析，找我帮忙爬商标网的数据，实现爬取中国商标网全部数据+监控同步每天新增注册的商标数据+支持异步搜索功能，做过数据爬虫挖掘的都知道，商标网是目前国内最难爬的网站之一，因为商标网请了中国第三方权威安全机构做了各种高级的发爬措施，我相信很多做技术的朋友在爬商标网的时候会遇到以下几个问题，今天我把我的经历和解决方案分享给大家。

2019-03-15

6.4K5

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态