Scrapy使用了错误的编码，从网页向JSON添加了额外的html标签

Scrapy是一个开源的Python网络爬虫框架，用于从网页中提取数据。当使用Scrapy时，如果网页的编码与Scrapy默认的编码不一致，可能会导致乱码或添加额外的HTML标签的问题。

解决这个问题的方法是通过设置Scrapy的编码参数来匹配网页的实际编码。在Scrapy的Spider中，可以使用response.encoding属性来获取网页的编码，然后将其设置为Scrapy的编码参数。

以下是解决该问题的步骤：

1. 在Scrapy的Spider中，找到处理网页响应的回调函数。
2. 在回调函数中，获取网页的编码方式。可以使用response.encoding来获取编码方式，例如encoding = response.encoding。
3. 将获取到的编码方式设置为Scrapy的编码参数。可以使用response.replace(encoding=encoding)来替换原始的响应对象，并将编码方式设置为获取到的编码方式。
4. 然后，您可以继续使用Scrapy的其他功能，如提取数据并将其转换为JSON格式。

这样，Scrapy就会使用正确的编码方式来处理网页，避免乱码或添加额外的HTML标签的问题。

关于Scrapy的更多信息和使用方法，您可以参考腾讯云的产品介绍页面：Scrapy产品介绍。

请注意，以上答案仅供参考，具体的解决方法可能因实际情况而异。在实际使用中，建议查阅Scrapy的官方文档或相关资源，以获取更准确和详细的信息。