青南

LV1
发表了文章

一日一技:为什么 Scrapy 启动 A 爬虫,B 爬虫会自动启动?

他在一个 Scrapy 项目里面,有两个爬虫 A 和 B,他使用命令scrapy crawl B想启动 B 爬虫,但是发现 A 爬虫也自动运行了。

青南
发表了文章

一日一技:为什么exit()无法退出程序?

有时候,当我们想让Python程序在遇到某些条件的时候退出,也可以使用exit(),如下图所示:

青南
发表了文章

​既是爸爸又是爷爷?Python 多继承中的一个诡异现象

我们知道,在面向对象编程里面,继承是一个很重要的概念。子类可以使用父类的方法和属性。例如下面这段代码:

青南
发表了文章

一日一技:如何正确管理项目的环境变量

在之前的公众号文章:开发经验:如何正确设置开发环境与生产环境的配置参数中,我提到了把项目的开发环境与生产环境的配置文件分开管理这种方式。

青南
发表了文章

​一日一技:如何替换URL中的query字段?

在我们写爬虫的时候,可能会需要在爬虫里面基于当前url生成一个新的url。例如下面这段伪代码:

青南
发表了文章

【粉丝投稿】Python调用浏览器时如何用JS去弹窗?

公司项目代码中有对网页进行截图并识别的。但是因为网站都比较特殊,几乎都有弹窗,这样就影响到了算法同学的识别效果。

青南
发表了文章

【粉丝投稿】Aiohttp 与 Scrapy 如何绕过 JA3指纹反爬机制

前几天观摩k大破解JA3的文章有感,可惜里面的JA3破解的库还是老掉牙的requests, 现在我看到了肯定是想办法改成基于asyncio的库啊。这样的话,在s...

青南
发表了文章

一日一技: Python 如何突破反爬虫指纹 JA3

在前几天的文章《为什么随机 IP、随机 UA 也逃不掉被反爬虫的命运》里面,我介绍了 JA3指纹算法。这个算法可以在你改掉 IP 和 UA 的情况下依然识别到你...

青南
发表了文章

一日一技:Golang 如何突破 JA3?

在之前的文章里面,我们讲到了网站通过 JA3算法,利用一些指纹信息来识别你的请求,无论你是否使用了代理 IP,网站都能识别到你。

青南
发表了文章

为什么随机 IP、随机 UA 也逃不掉被反爬虫的命运

有些同学在写爬虫的时候,觉得只要自己每次请求都使用不同的代理 IP,每次请求的 Headers 都写得跟浏览器的一模一样,就不会被网站发现。

青南
发表了文章

预防老年痴呆,写个小游戏来锻炼大脑

最近一段时间,我感觉自己大脑出现了衰退的症状,说话口误逐渐增多,也常常忘记事情。

青南
发表了文章

一日二技:MongoDB与 Scrapy 的小技巧各一个

我们知道,如果想给 MongoDB 的一条文档增加一个字段,我们可以使用update_one方法:

青南
发表了文章

特殊案例,为什么a, b = b, a结果跟你想的不一样?

但实际上,这种交换变量的方式,在某些特殊情况下,它的行为可能跟你想要的不一样。我们来看一个案例。

青南
发表了文章

校招遇到装X面试官的不合理问题怎么办?

2021年秋招提前批已经开始了,大家在面试的时候,可能会遇到一些喜欢装逼的面试官。我们来说说技术岗位面试的时候,如何回应他们的不合理问题。

青南
发表了文章

一日一技:前端与后端都是怎么读写 Cookies 的?

大家应该看过一些网站,在第一次访问的时候,它会弹出一些小提示或者操作指导,类似于下图所示:

青南
发表了文章

一日一技:使用 Git 在错误的分支上修改了代码怎么办?

我们知道,在使用 Git 的时候,应该要正确使用它的分支(Branch)功能。不同的功能使用不同的分支开发,最后合并进入主分支。但有时候会出现这样一种情况——我...

青南
发表了文章

面试扣分点:什么是鸭子类型

有一类面试官特别讨厌,面试的时候,会问一些偏、难、怪的题目。假设你今天去面试,遇到面试官问你:“什么是鸭子类型?”。你怎么回答?

青南
发表了文章

一日一技:Linux 中,没有 zip命令,怎么生成 zip 文件?

大家有时候可能需要在 Linux 上面生成 zip 文件或者对一个 zip 文件进行解压。如果你在网上搜索怎么在 Linux 解压 zip 文件,你一般会看到下...

青南
发表了文章

一日一技:如何正确在自己项目里面集成别人的代码?

我们知道,在使用 Python 的时候,如果我想使用别人发布的第三方库,那么我们可以使用pip进行安装。但如果这个第三方库的作者没有把它上传到 pypi 上面,...

青南
发表了文章

一日一技:如何分享一段限时阅读的信息给别人?

有时候,我们有这样一个需求——要在网上公布一段文字给别人。但是我又不想让这段文字公布太久,希望它在一段时间以后就不能访问。

青南

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券