腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Python乱炖

专栏作者

183

文章

248151

阅读量

33

订阅数

聊聊逆向爬取数据

json javascript 爬虫 python 数据库

最好的挣钱方式是钱生钱，怎样钱生钱呢，钱生钱可以通过投资，例如买股票、基金等方式，有人可能说买股票基金发财，我没这样的命和运气。买股票基金靠的不只有命运和运气，更多靠的是长期的经验和对股票基金数据的分析，今天我们使用scrapy框架来js逆向爬取某证信数据平台的国内指数成分股行情数据。

我被狗咬了

2021-11-16

1.1K0

送书｜用啥selenium！JS逆向不香吗？

javascript python node.js 爬虫 scrapy

正所谓条条道路通罗马，上次我们使用了Selenium自动化工具来爬取网易云的音乐评论，Selenium自动化工具可以驱动浏览器执行特定的动作，获得浏览器当前呈现的页面的源代码，做到可见即可爬，但需要等网页完全加载完，也就是JavaScript完全渲染出来才可以获取到当前的网页源代码，这样的爬取效率太低了、爬取速度太慢了。

我被狗咬了

2021-09-24

1.6K0

送书 | 两百四十多万字，六百章的小说秒爬完

xslt & xpath http javascript node.js php

相信很多人喜欢在空闲的时间里看小说，甚至有小部分人为了追小说而熬夜看，那么问题来了，喜欢看小说的小伙伴在评论区告诉我们为什么喜欢看小说，今天我们手把手教你使用异步协程20秒爬完两百四十多万字，六百章的小说，让你一次看个够。

我被狗咬了

2021-09-24

4700

送书｜学正则表达式，看这一篇就够了！

编程算法正则表达式 javascript

在学编程的过程中，我们可能听过正则表达式，但是不知道它是什么，我一开始听到正则表达式时，我在想正则表达式是啥？它用来干嘛的？学起来难不难的？可能很多人和我想的一样。学完之后，我很认真负责地告诉你们，正则表达式不难！！！

我被狗咬了

2021-09-02

6710

Python爬虫：我这有美味的汤，你喝吗

javascript html html5

在前面的文章中已经讲过了正则表达式的使用方法了，但是如果正则表达式出现问题，那么得到的结果就不是我们想要的内容。熟悉前端的朋友肯定知道，对于一个网页来说，都有一定的特殊结构和层级关系，而且很多节点都用id和class来区分。所以可以借助网页的结构和属性来提取数据。

我被狗咬了

2021-01-13

2.4K0

数据分析高级教程(二)

编程算法 javascript sql

该项目的数据分析过程在hadoop集群上实现，主要应用hive数据仓库工具，因此，采集并经过预处理后的数据，需要加载到hive数据仓库中，以进行后续的挖掘分析。

我被狗咬了

2019-09-23

4940

Asyncio---Python牛不牛就靠你了

javascript node.js

之前在看gevent的时候不小心又看到了这个模块，gevent其实并不是python官方的标准库，有一些缺陷，所以这个时候Asyncio出现了。

我被狗咬了

2019-09-23

8230

PWA---新生代手机APP

网站缓存 node.js javascript api

最近公司里让我研究PWA，经过几天的研究发现PWA竟是如此万能，功能接近手机原生APP，最大的优点是它的离线缓存机制，这主要得益于ServiceWorker！

我被狗咬了

2019-09-23

6850

没有更多了

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态