Python的Scrapy框架使用中的诸多问题
原创
一、爬取的数据，在管道中，存入EXCEL
1.1 安装命令： pip install openpyxl
1.2 在pipelines.py中，进行如下操作：
from openpyxl import Workbook
class MyspiderPipeline:
# *************************存入excel************************
def __init__(self):
self.wb = Workbook()
self.ws = self.wb.active
self.ws.append(['教师姓名', '入职时间', '详细信息'])
def process_item(self, item, spider):
# print(item)
line = [item['teacher'], item['entryTime'], item['info']] # 把数据每一行整理出来
self.ws.append(line) # 将数据一行的形式添加到xlsx中
return item
def close_spider(self,spider):
self.wb.save('job.xlsx') # 保存xlsx文件
# *************************存入excel************************二、使用log日志，替代print输出日志信息
2.1 日志配置方法
在settings.py中，添加如下设置：
# 设置日志
# 1.设置日志等级 （这样在控制台输出的信息中就只会有爬取的数据，除非出现warning以上的日志信息。）
LOG_LEVEL = "WARNING"
# 2.保存日志文件到本地
LOG_FILE = './log.log'2.2 日志使用方法
在其他的py文件中，插入如下代码，即可使用：
import logging
logger = logging.getLogger(__name__)
from myspider.items import MyspiderItem
class ItcastSpider(scrapy.Spider):
name = 'itcast'
allowed_domains = ['itcast.cn']
start_urls = ['http://www.itcast.cn/channel/teacher.shtml']
def parse(self, response):
node_list = response.xpath("//div[@class='main_mask']")
# print(len(node_list))
logger.warning("开始爬取数据》》》》")
for node in node_list:
item= MyspiderItem()
# extract()[0] 在没有值时，会出问题；extract_first()则可以很好地解决这个问题，
# 没有值则赋值None
item['teacher'] = node.xpath("./h2/text()").extract_first()
item['entryTime'] = node.xpath("./h3/text()").extract_first()
item['info'] = node.xpath("./p/text()").extract_first()
yield item
pass2.3 extract()和extract_first()的区别
extract()0在没有值时，会出问题；extract_first()则可以很好地解决这个问题，没有值则赋值None（代码如上和下方）
item['teacher'] = node.xpath("./h2/text()").extract()[0]
item['entryTime'] = node.xpath("./h3/text()").extract()[0]
item['info'] = node.xpath("./p/text()").extract()[0]三、MongoDB的使用
3.1 为什么使用MongoDB
(1) MongoDB旨在为WEB应用提供可扩展的高性能数据存储解决方案。
（2） 由于MongoDB独特的数据处理方式，可以将热点数据加载到内存，故而对查询来讲，会非常快（当然也会非常消耗内存）；同时由于采用了BSON的方式存储数据，故而对JSON格式数据具有非常好的支持性以及友好的表结构修改性，文档式的存储方式，数据友好可见；数据库的分片集群负载具有非常好的扩展性以及非常不错的自动故障转移。
3.2 MongoDB安装过程中遇到的问题
（1）下载安装教程地址：[https://www.runoob.com/mongodb/mongodb-window-install.html](https://www.runoob.com/mongodb/mongodb-window-install.html)
（2）安装中的问题：1.下一步安装**"install mongoDB compass"**不勾选；2.在Install a MongoDb as a service选项中
，直接下一步，不要进行任何操作。
3.3 操作mongodb数据库
3.3.1 创建数据库和删除数据库
\*\*创建数据库\*\*：
命令行（cmd）： use 数据库名注意：a.**如果数据库不存在则会创建数据库，如果数据库存在则会切换到指定的数据库**
b.如果刚刚创建的数据库不在数据库列表内，如果要显示，则需要向刚刚创建的数据库中插入一些数据才能显示。
向mydb数据库的student集合（表）中添加了一个文档（一条数据）：
db.student.insert({name:"zhangsan",age:18,gender:1,address:"beijing"}) **删除数据库**：
前提：使用当前数据库（use 数据库名）
db.dropDatabase()3.3.2 查看所有数据库
命令：show dbs3.3.3 查看当前 正在使用的数据库的命令：
a. db b. db.getName()3.3.4 断开连接
exit3.3.5 查看命令api
help3.4 集合操作（表）
3.4.1 查看当前数据库下有哪些集合
show collections3.4.2 创建集合（表）
a. 语法： db.createCollection("集合名")
示例： db.createCollection("class")
b. 语法：db.集合名.insert(document)
示例： db.student.insert({name:"lisi",age:18,address:"beijing"})_**区别**_：两者的区别在于前者创建的是一个空的集合，后者创建一个空的集合（空表）并添加一个文档（一条数据）。
3.4.3 删除当前数据库中的集合
语法：db.集合名.drop()
示例: db.class.drop()3.5 文档操作（数据）
3.5.1 插入文档
a.使用insert()方法插入文档
语法: db.集合名.insert(文档)
插入一个： db.student.insert({name:"zhangsan",age:18,gender:1,address:"beijing"}) 语法: db.集合名.insert([文档1，文档2，....,文档n])
插入多个： db.student.insert([{name:"lisan",age:18,gender:1,address:"beijing"}， {name:"wangwu",
age:16,gender:1,address:"changsha"},{name:"zhangsan",age:88,gender:1,address:"wuhan"}]) b.使用save()方法插入文档、
语法: db.集合名.save(文档)
说明：如果不指定id字段，save()方法类似于insert（）方法，如果指定id字段，则会更新字段的信息。
示例1： db.student.save({name:"zhangsan",age:18,gender:1,address:"beijing"}) 示例2： 指定id字段： db.student.save({_id:ObjectId("5fb254a355fbfda6785ac809"),
name:"popoi",age:55,gender:1,address:"beijing"}) 3.5.2 文档更新
a. update()方法，用于更新已经存在的文档（一条数据（一行））
语法：
db.集合名.update(<query>,<update>,{
upset:<boolean>,
multi:<booolean>,
writeConcern:<document>
})参数说明：
query: update 的查询条件，类似于sql里update语句内where后面的内容
update: update的对象和一些更新的操作符（$set,$inc）等，$set：直接更新，$inc在原有的
基础上累加后更新。
upset: 可选的，如果不存在update的记录，是否当新数据插入，ture为插入，False为不插入，默认为
Flase。
multi: 可选，mongodb默认是False,只更新找到的第一条记录，如果为True,就按照条件查找出来
的数据全部更新。
writeConcern: 可选，抛出异常的级别。
示例： 需求:将popoi的年龄更新为25.
db.student.update({name:"popoi"},{$set:{age:25}})
db.student.update({name:"popoi"},{$inc:{age:25}}) //年龄会在原来的基础上加25
db.student.update({name:"popoi"},{$set:{age:25}},{multi:true}) //同名的人全部更新b. save()方法，通过传入的文档替换已有的文档（上面已经说明）
3.5.3 文档删除
说明：在执行remove()函数前，先执行find(）命令来判断执行的条件是否存在是一个良好的习惯。
语法：
db.集合名.remove(
query,
{
justOne:<boolean>
writeConcern:<document>
}
) 参数说明： query: 可选，删除的文档的条件，（不写则删除全部） justOne: 可选，如果为true或1，则只删除找到的第一个文档（一条数据） writeConcern: 可选，抛出异常的级别。
示例：
db.student.remove({name:"popoi"})
db.student.remove({name:"zhangsan"},{justOne:true}) 3.5.4 文档查询
a. find（）方法查询集合下所有的文档（数据）
语法：db.集合名.find()
db.student.find()b. find()方法查询指定列
语法： db.集合名.find(
query,
{
<key>: 1,
<key>: 1
}
)参数说明： query: 查询条件 key: 要显示的字段，1表示显示
示例： 查询指定：db.student.find({address:"beijing"},{name:1,age:1})
查询所有：db.student.find({},{name:1,age:1})c. **pretty()方法以格式化的方式来显示文档（数据）**
示例：db.student.find().pretty()
d.findOne()方法查询匹配结果的第一条数据
示例： db.student.findOne({name:"zhangsan"})3.5.5 查询条件操作符
a.大于操作 $gt
语法：db.集合.find({<key>:{$gt:<value>}})
示例：db.student.find({age:{$gt:20}}) //年龄大于20的学生b.大于等于 $gte
语法：db.集合.find({<key>:{$gte:<value>}})
示例：db.student.find({age:{$gte:20}}) c.小于 $lt
语法：db.集合.find({<key>:{$lt:<value>}})
示例：db.student.find({age:{$lt:20}}) d.小于等于 $lte
语法：db.集合.find({<key>:{$lte:<value>}})
示例：db.student.find({age:{$lte:20}}) e.大于等于和小于等于 $gte 和 $lte
语法：db.集合.find({<key>:{$gte:<value>,$lte:<value>}})
示例：db.student.find({age:{$gte:18,$lte:90}}) //年龄大于18小于90的学生f.等于 ：
语法：db.集合.find({<key>::<value>})
示例：db.student.find({age:{$gte:18,$lte:90}}) g.使用_id查询
示例：db.student.find({"_id":ObjectId("id的值")}) h.查询某个结果集的数据条数
示例：db.student.find().count() i.查询某个字段的值当中是否包含某个值或字符串
示例：db.student.find({name:/san/}) j.查询某个字段的值是否以某个值或者字符串开头
示例：db.student.find({name:/ ^zh /}) 3.5.6 条件查询 and 和 or
a. AND条件
语法： db.集合名.find(条件1，条件2，。。。，条件n)
示例： db.student.find({age:{$gt:20},address:"beijing"})a. OR条件
语法： db.集合名.find(
{
$or:[条件1，条件2，。。。。，条件n]
}
)
示例： db.student.find({$or:[age:16,age:{$gte:80}]}) //年龄等于16或者年龄大于80的学生a. AND条件和OR条件联合使用
语法： db.集合名.find(
{
条件1，
条件2，
$or:[条件3，条件4，。。。。，条件n]
}
)
示例： db.student.find({address:"beijing"，$or:[age:16,age:{$gte:80}]})
//地点在北京的，年龄等于16或者年龄大于80的学生3.5.7 limit 、skip
a. limit(): 读取指定数量的数据记录
示例： db.student.find().limit(2)b.skip(): 跳过指定数量的数据
示例： db.student.find().skip(3) c.skip与limit联合使用(通常用这种方式实现分页功能)
示例： db.student.find().skip(3).limit(3)3.5.8 排序
语法 ：db.集合名.find().sort({<key>:1|-1})
示例：db.student.find().sort({age:1})
注意： 1表示 升序，-1表示降序。原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
腾讯云开发者
