未闻Code·知识星球周报总结（七）

知识星球周报总结是对未闻Code·知识星球上的每周内容进行汇总，完全干货！

一、知识科普

架构和技术选型的基本思路：

1. 看数据量。数据量小，数据放在内存里面；数据量中等，数据放在基于内存的数据库里面；数据量特别大，数据放在硬盘里面。

2. 看并发量（速度）。对速度要求不高，用单线程单进程；速度要求中等，用多线程（io密集型）和多进程（cpu密集型）；速度要求极高的io密集型工作，用协程；速度要求极高的cpu密集型工作，用GPU集群。

3. 看稳定性。稳定性要求不高的任务，用单机单节点；低写高读用主从读写分离，高写低读用消息队列，高读高写用集群。

这只是一个基本的方向，在具体实施的时候还涉及到不同要求重合的部分。

二、问题解答

1

南哥，我在用 fastapi 的时候遇到个问题，服务端起了个接口，接口调用一个方法进行爬虫操作， 客户端用 requests 发送 post 请求对应接口，但是在服务器正在进行爬虫操作的时候，客户端却接收到了 502 响应，可是这时候的服务端还正在运行爬虫呢，并没有到返回数据的那步操作，哪里出了问题呢？

点击空白处查看答案

requests请求的时候，把0.0.0.0改成127.0.0.1就可以了。

2

怎么同一份代码，都是用vscode,我的报ASN1 is not defined，但B站有up主没报错。我的解决办法是将ASN1函数定义删除掉，然后将调用该方法的地方用固定值代替，一般情况下可正常运行。或者将代码放在浏览器运行，或者用鬼鬼。我很好奇这个up主用了什么手法，但问他他又没回复。星主，能猜一下吗？

点击空白处查看答案

网页可以加载多个js文件。前一个文件加载的模块可以在后一个模块自己用。

3

在三台服务器上部署了scrapy_redis的RedisSpider，在make_requests_from_url也定义了一些需要重复爬取的url。如果我向redis的起始url里随意只存一条url，产生一个包含多个requests对象的列表，那么三台服务器的爬虫能都去获取列表的url并爬取内容吗？(也就是只向redis存一条url，A服务器获取到这条url以后，B和C服务器能够像A一样处理后续产生的url吗？

点击空白处查看答案

是的，这本来就是RedisSpider的功能。

4

RedisSpider的url请求失败或者达到最大重试次数以后，也会加入到指纹中，怎么能够不加入指纹里继续请求和获取url的请求方式、请求体这些信息呢？

点击空白处查看答案

你需要了解一下scrapy的下载器中间件。就是用来做你这种需求的。

5

对于请求失败且重试也失败的url，比较好的处理方式是什么？不加入指纹里，然后从日志里统计url再次请求吗？从日志里获取想要的信息，除了最简单的搜索关键字，还有什么好用的工具吗？

点击空白处查看答案

可以在下载器中间件里面，判断到最后一次重试也失败了，就把失败请求的相关信息写入到数据库里面。

日志分析，可以logstash+elasticsearch+kibana或者loki+grafana。

6

提问：在scrapy里使用了代理，爬取网址时报错：

<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion: Connection lost.>

报错的类型是：

<class'twisted.web._newclient.ResponseNeverReceived'>

Stack Overflow和github给出的答案是可能被反爬，或者需要设置请求头，但是我正确设置了请求头，而且出错url里使用的代理，我放到requests里使用也是没问题的，那么问题可能会出现在哪里呢？

点击空白处查看答案

可能是代理的网络抖动？scrapy会重拾三次，你每次请求使用不同的代理IP。这样即使出问题了，重试的时候换了代理也能成功。

7

接问题6，已经在中间件里设置了每次请求会带上不同的代理，还是会有问题，怀疑是代理质量的问题了，有推荐的代理吗？

点击空白处查看答案

我自己用的是快代理

8

scrapy_redis部署到服务器以后，需要每天定时爬取url，方案1是待爬取的url处理完后，关闭爬虫，然后定时开启爬虫和存入url，方案2是不关闭爬虫，每天定时存入url，哪一个好点呢？

点击空白处查看答案

方案2。使用scrapy_redis以后，本来就应该让爬虫一直监控redis。

END