scrapy unicode编码问题

scrapy 在爬虫的时候使用xpath提取到的信息全部是 u'u5c97....'这样的字符。所以这样的话在输出的时候不知道自己提取到的信息到底有木有啊=-= 解决方案:

在spider程序中。输出的时候加这两句,当然需要先import codecs json

 item = json.dumps(dict(item)) + "\n"

 ss = item.decode('unicode_escape')

 print ss

存储的时候遇到编码问题需要这样写:

然后再setting里面将ITEM_PIPELINES的注释取消掉。

Tags: None

Archives QR Code

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序员的知识天地

Python:Scrapy框架的安装和基本使用

本篇文章我们来看一下强大的Python爬虫框架Scrapy。Scrapy是一个使用简单,功能强大的异步爬虫框架,我们先来看看他的安装。

9620
来自专栏何俊林

插件占坑,四大组件动态注册前奏(二) 系统Service的启动流程

转载请注明出处:http://blog.csdn.net/hejjunlin/article/details/52203903 前言:为什么要了解系统Activ...

21160
来自专栏Android开发实战

微信登陆界面如果不是地球

23430
来自专栏linux系统运维

Nginx防盗链,Nginx访问控制,Nginx解析php相关配置, Nginx代理

20570
来自专栏EAWorld

微服务动态路由实现:OpenResty+K8s

K8sService能够提供很强大的功能,通过提供ClusterIP可以作为Pod的对外访问接口,并提供软负载均衡。但是Service的ClusterIP地址只...

1.5K90
来自专栏云计算教程系列

如何在Ubuntu上使用Nginx web框架OpenResty

OpenResty® 是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭...

15330
来自专栏运维

OpenResty Redis 安装部署测试SET GET功能

https://openresty.org/cn/installation.html

12920
来自专栏Python入门

Python爬虫:Scrapy框架的安装和基本使用

大家好,本篇文章我们来看一下强大的Python爬虫框架Scrapy。Scrapy是一个使用简单,功能强大的异步爬虫框架,我们先来看看他的安装。

10400
来自专栏Debian社区

Scrapy 架构及数据流图简介

Scrapy 是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrap...

14040
来自专栏Felix的技术分享

《一个操作系统的实现》笔记(6)--进程

16030

扫码关注云+社区

领取腾讯云代金券