在Scrapy中编程重置TCP连接

文章/答案/技术大牛

发布

1回答

python、http、https、tcp、scrapy

当发生这种情况时，它会在响应中给出一个403 status code。如果IP地址不更新，crawler将使以下所有请求失败。因此我添加了一个HTTP代理，它是一个托管数百个IP的集线器，并为每个TCP连接分配一个随机的IP。Scrapy，它默认使用持久连接，这意味着它将对每个连接使用相同的代理IP： class TestSpider(scrapy.Spider): allowed_domains.199

浏览 18提问于2019-06-27得票数 1

1回答

tcp断开上的Http会话持久化

http、session、tomcat、web-applications、session-cookies

由于HTTP 1.1使用持久连接，所以假设会话在TCP连接断开时失效。还是不想？我对此感到困惑，因为否则使用cookie和URL重写的行为是不一样的，对吗?此外，如果不是，当tcp连接重置时，我们如何在服务器上以编程方式使其失效? Tomcat中是否有例如监听器？

浏览 2提问于2013-02-15得票数 1

1回答

如何在scrapy中设置TCP连接超时？

scrapy

当爬行速度很慢的网站时，我总是得到这样的错误: TCP连接超时: 10060。我猜当crawler尝试与服务器建立TCP连接，并且默认连接超时过低时，可能会发生这种情况。我知道下载超时可以在scrapy中设置，但我发现没有办法设置连接超时。有谁有什么想法吗？谢谢!

浏览 0提问于2012-08-17得票数 5

1回答

在Scrapy中构造TelnetConsole对象的位置是什么？

scrapy

我从脚本运行Scrapy，发现logging在构造scrapy.extensions.telnet.TelnetConsole对象时并不能像预期的那样工作。从脚本运行时，Scrapy在哪里构造scrapy.extensions.telnet.TelnetConsole对象？

浏览 0提问于2019-12-05得票数 0

1回答

如果Linux中的接口中断，是否有可能重置TCP连接？

linux-networking

今天，我被控制在internet断开时实现重置TCP连接，就像Windows一样，在接口关闭时重置所有相关的TCP连接。因此，问题是:如果我(例如，拔掉以太网电缆)，是否有可能使linux的TCP堆栈像Windows那样运行并重新设置连接？

浏览 0提问于2011-01-25得票数 4

回答已采纳

1回答

Mule连接复位

java、http、tomcat、mule、tomcat8

我已经在tomcat上部署了mule应用程序。我正在公开web服务并使用下面的HTTP连接器 <http:inbound-endpoint host="0.0.0.0" port="9198" path="customer/payment/debitcom.cit.wsdl.customer.payment.debit.v1_0.PaymentDebit" service="PaymentDebitService" soapVersion="

浏览 2提问于2017-03-09得票数 1

1回答

在重新设置数据包后，tcp重新发送而不建立连接( syn、syn ack、ack)。

tcp

*重置packet*后，没有连接建立( syn、syn、ack)的Tcp重传我在使用应用程序时观察到，我得到了一个重置(RST，ACK)数据包。我知道，发送的重置数据包并不意味着关闭连接，而是重新尝试连接。但是，为什么试图再次重传数据包的tcp连接没有syn、synack和ack？

浏览 2提问于2014-02-07得票数 0

2回答

从未接收到ACK时的TCP行为

tcp

如果ACK永远丢失，TCP的行为是什么？重新传输会永远发生还是连接会被重置？假设A是TCP-服务器，B是TCP-Client.如果服务器A在没有发送FIN和没有发送重置的情况下在一段时间后默默地失败，客户端TCP堆栈会无限期地重试吗？或者是否存在连接重置后的超时？注意:假设服务器和客户端应用程序没有实现任何TCP保持活动机制。

浏览 0提问于2022-01-25得票数 2

1回答

刮集TCP连接超时

web-scraping、scrapy

我正试着通过Scrapy刮一个网站。然而，该网站有时极其缓慢，在浏览器中响应第一次请求几乎需要15-20秒。无论如何，有时候，当我尝试使用Scrapy爬行网站时，我总是会收到TCP超时错误。这是一个信息：

浏览 1提问于2017-09-05得票数 3

回答已采纳

2回答

连接被另一方拒绝: 10061:由于目标机器主动拒绝连接，无法建立连接。

python、docker、scrapy、scrapy-splash、windows-server-2019

这在本地工作，但是在我的生产服务器上我得到了错误：然后重新尝试在我的容器中运行C:\root\scrapy>scrapy foobar -o我运

浏览 14提问于2021-09-15得票数 6

2回答

另一方拒绝连接: 111:连接被拒绝

12.04、connection

我正在运行25个刮擦作业，每个任务在一台重型机器上都有50个并发请求(使用Ubuntu12.04.3LTS)。我正在使用代理发送请求。大约15分钟后，我从几乎所有的请求中得到了这个错误： Connection was refused by other side: 111: Connection refused.Ubuntu有连接限制吗？

浏览 0提问于2014-01-10得票数 1

1回答

即使在重置RST标志出现之后TCP重传仍在继续。

tcp

根据我对TCP重置(RST)的理解，每当接收到的段不是用于当前连接时，就会设置RST标志，这将导致中止当前TCP会话。但下面粘贴的wireshark捕获似乎没有遵循这一理论。基本上，启动重置( frame#466 )本身的end A尝试在同一TCP会话上重新传输TCP帧，并且继续使用RST、ACK响应来自B端的任何后续新连接请求SYN，这种行为会重复自己5次，而3路握手仅在第6次尝试(frame#486)中才成功。=

浏览 1提问于2012-02-13得票数 5

1回答

不能上传Docker图像到Artifactory -点对点重设连接

docker、artifactory

我正在尝试将一个码头映像推送到同一个本地网络中的Artifactory中，但是过了一段时间它就停止了，出现了错误消息： root@CI:/home/iggy# docker push 10.87.65.7我在不安全的注册表中添加了"10.87.65.7:5000“。:28:21.250673504+02:00”level=error msg=“上传失败，重试:写入tcp 10.87.65.33:55016->10.152.254.201:8080:写:朋辈重置

浏览 2提问于2017-09-01得票数 0

回答已采纳

1回答

如果客户端在MQTT中未收到PINGRESP

mqtt、keep-alive、mosquitto

如果服务器收到PINGREQ，客户端在MQTT(蚊子)中没有收到保活的PINGRESP，保活时间是否更新？

浏览 14提问于2018-10-08得票数 0

1回答

TCP对等方是否在发送重试计数器耗尽后重新设置连接？

windows、tcp、network-protocols

假设Windows TCP对等端发送TCP数据包，远程对等端不对其进行ACK‘，也不重新设置连接(内核崩溃、电源/硬件故障等)在阅读了以下句子(在本页的“重传行为”一段中)后，我产生了怀疑：在计算机“X”的重试用尽后，您可能不会立即看到“重置”。如果计算机"Y“最终响应，计算机&qu

浏览 3提问于2013-08-28得票数 1

回答已采纳

1回答

SYN和重传后的RST ACK

tcp、wireshark、rst

我向Wireshark询问了问题所在，经过几次TCP重传后，我们收到了一个RST - ACK。在要求我们的合作伙伴检查他们的服务器之前，我想确定这个问题不是我们做错了什么造成的。

浏览 0提问于2017-08-01得票数 3

1回答

在Docker中运行ASP.NET WebAPI应用程序时使用的

docker、asp.net-web-api、iis-7

在Docker中基于OData运行Web应用程序。尝试访问浏览器中的 (Chrom、Edge和Internet相同)。接收以下错误：出现了一个临时DNS错误。试着刷新页面。错误代码: INET_E_RESOURCE_NOT_FOUND

浏览 2提问于2020-12-15得票数 0

1回答

某些IPTABLES规则阻止我在端口22上进行ssh访问

ssh、vps、iptables

某个IPTABLES规则阻止了我在端口22上的ssh访问，您能帮我找出是哪一个吗？此外，如果您有一些建议，其他和新的规则是欢迎的。是一个内含web应用程序的VPS。规则：:INPUT DROP [0:0]:OUTPUT ACCEPT [0:0]:UDP - [0:0]-A INPUT -p u

浏览 1提问于2014-10-06得票数 0

1回答

套接字使用EOF失败与连接重置之间的区别

linux、sockets、networking

为了测试网络应用程序，我编写了一个asio端口“代理”：它在一个套接字上侦听应用程序客户端活动，并将所有传入的数据包发送到另一个套接字，应用程序服务器在该套接字上侦听它，然后再发送回来。现在，当应用程序或服务器由于各种原因断开连接时，“代理”通常会收到EOF，但有时会收到“连接重置”。因此，问题来了:什么时候套接字会因为“连接重置”错误而失败？

浏览 0提问于2013-04-05得票数 3

回答已采纳

2回答

将TCP请求发送到关闭的端口，请求将在哪个层被丢弃？

tcp、layer4、transport-protocol

客户端向服务器发送TCP数据包到关闭端口，即80。同步数据包将被丢弃在哪一层？我想对于客户端，请求会超时，对于服务器来说，它应该放弃tcp层上的请求。

浏览 0提问于2018-05-02得票数 2

回答已采纳

点击加载更多