用Scrapy爬取当当网书籍信息

import scrapy
class DangdangItem(scrapy.Item): #继承scrapy.Item类 
    name = scrapy.Field() #定义数据属性
    author = scrapy.Field()
    price = scrapy.Field()

import scrapy
from bs4 import BeautifulSoup
from ..items import DangdangItem
#..代表上层目录，因为现在spider文件夹，item在上层目录，然后导入DangdangItem模块
class DangdangSpider(scrapy.Spider):
#括号里需要有scrapy.Spider这个基类，这个基类里面包含很多属性和方法供我们使用
    name = "dangdang" #项目名字，待会运行爬虫时要用到
    allow_domains = ["http://bang.dangdang.com"] 
    #允许爬取的域名，可以准确定位，防止跳到其它广告
    start_urls = [] 
    for num in range(1,4): #获取前三页的链接
        url = f"http://bang.dangdang.com/books/bestsellers/01.54.00.00.00.00-year-2018-0-1-{num}"
        start_urls.append(url)

    def parse(self,reponse): #解析并提取数据的函数
        soup = BeautifulSoup(reponse.text,"html.parser")
        tag_ul = soup.find("ul",class_="bang_list clearfix bang_list_mode")
        tags_li = tag_ul.find_all("li")
        for tag in tags_li:
            item = DangdangItem() #创建一个item对象，用来处理和传输数据
            item["name"] =tag.find("div",class_="name").find("a").text
            item["author"]=tag.find("div",class_="publisher_info").find("a").text 
            item["price"] = tag.find("span",class_="price_n").text
            print(item["name"])
            print("="*40)
            yield item

USER_AGENT = 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36' #伪装爬虫

ROBOTSTXT_OBEY = False 
#有些网站的robots.txt规定是不允许爬取的，设置为True,scrapy就可以无视这个规定