开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >Python请求库的上限下载大小

问Python请求库的上限下载大小
EN

Stack Overflow用户

提问于 2013-04-09 16:11:38

回答 1查看 518关注 0票数 0

我正在使用Python的请求库抓取一大堆网页，但偶尔爬虫会偶然发现一个绝对巨大的页面，无论是PDF、视频还是其他巨大的文件。有没有一个好方法来限制它将下载的文件的最大大小？

python-requests

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2013-04-09 16:23:03

urlopen对象有一个info()方法，它提供各种有用的头信息，包括内容长度

有时，此设置不正确，但在大多数情况下应正确设置，这将有所帮助

票数 1

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/15896639

复制

相似问题