腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

爬虫技术

专栏作者

16

文章

48214

阅读量

35

订阅数

分享-python爬虫遇到封IP+验证码+登陆限制，如何解决？

数据挖掘数据库 sql 爬虫 tcp/ip

现在国家在鼓励做大数据、全面进行数字化中国建设，很多企业包括很多有前瞻性的创业人都开始进军大数据，各种根据自己的擅长领域开始储备数据源，我们需要做大数据第一步就是利用网络爬虫技术解决数据源聚合问题。我2018年主要利用python3+mysql+cookie池+代理IP池自己研发了一套AI智能深度数据挖掘系统，主要是解决企业工商数据源、商标数据源、专利数据源、招标中标数据源、土地数据源、食品药品数据源等多种国家开放的数据源的聚合。当时在做企业工商数据源聚合挖掘时候遇到了封IP、验证码、还有会员登陆等等各种反爬机制，最终我通过各种技术方式解决了所有问题，下面将分享一下个人的一些经验。

2019-11-11

2.5K0

分享如何利用爬虫技术完全实现类似天眼查、企查查、八爪鱼、火车头网络爬虫工具？

爬虫大数据数据挖掘数据库 sql

我们都知道未来互联网最大的趋势就是大数据和AI人工智能。在大数据时代如果谁掌握了数据源谁就掌握了财富。像天某查、企某查、启某宝等这种大数据公司主要就是通过爬虫技术把政府公开的工商数据聚合集中起来，然后做成一个大数据库，提供给用户使用，来实现大数据商业化目的。

2019-11-11

5.4K0

2019年python爬虫-我破解了中文裁判网数据挖掘-反爬技术哪些事情

爬虫大数据数据挖掘数据库数据结构

从事了5年多的PHP研发和python大数据挖掘，其实在2010-2015年是电商时代，那个时候很多企业开发做电商平台，我负责研发最多也是电商项目，电商平台主要面临的是千万级的并发量、海量图片的存储、还有双十一或者节假日的秒杀活动高并发，这个也是最挑战技术的地方。做过日IP上千万的电商平台技术架构，接触过几百万并发的挑战，做过图片服务器分布式存储、分布式集群、搜索引擎、网络分布式节点架构。但是直到2015年开始电商就慢慢走下坡了，互联网时代其实已经由电商时代升级到大数据时代。之前是我们说是it互联网，那么现在就是data互联网。大数据+人工智能是目前互联网最大的趋势。谁掌握了数据谁就掌握了财富。

2019-03-29

1.4K0

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战，赢鹅厂证书、公仔好礼！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态