首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >Scrapy:将response.body保存为html文件?

Scrapy:将response.body保存为html文件?
EN

Stack Overflow用户
提问于 2017-09-06 13:15:11
回答 2查看 17.4K关注 0票数 8

我的爬虫可以工作,但我无法下载我在.html文件中爬行的网站的正文。如果我写测试(‘self.html_fil.write’),那么它工作得很好。我不知道如何把tulpe转换成字符串。

我使用Python 3.6

蜘蛛:

代码语言:javascript
复制
class ExampleSpider(scrapy.Spider):
    name = "example"
    allowed_domains = ['google.com']
    start_urls = ['http://google.com/']

    def __init__(self):
        self.path_to_html = html_path + 'index.html'
        self.path_to_header = header_path + 'index.html'
        self.html_file = open(self.path_to_html, 'w')

    def parse(self, response):
        url = response.url
        self.html_file.write(response.body)
        self.html_file.close()
        yield {
            'url': url
        }

跟踪:

代码语言:javascript
复制
Traceback (most recent call last):
  File "c:\python\python36-32\lib\site-packages\twisted\internet\defer.py", line
 653, in _runCallbacks
    current.result = callback(current.result, *args, **kw)
  File "c:\Users\kv\AtomProjects\example_project\example_bot\example_bot\spiders
\example.py", line 35, in parse
    self.html_file.write(response.body)
TypeError: write() argument must be str, not bytes
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/46067258

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档