python爬虫大战京东商城

def get_html(self):
    res = requests.get(self.url, headers=self.headers)
    html = res.text     
    return html    #返回的源代码

def get_pids(self):
    html = self.get_html()
    soup = BeautifulSoup(html, 'lxml')    #创建BeautifulSoup对象
    lis = soup.find_all("li", class_='gl-item')   #查找li标签
    for li in lis:
        data_pid = li.get("data-pid")      #得到li标签下的data-pid
        if (data_pid):
            self.pids.add(data_pid)    #这里的self.pids是一个集合，用于过滤重复的

def get_src_imgs_data(self):
    html = self.get_html()
    soup = BeautifulSoup(html, 'lxml')
    divs = soup.find_all("div", class_='p-img')  # 图片
    # divs_prices = soup.find_all("div", class_='p-price')   #价格
    for div in divs:
        img_1 = div.find("img").get('data-lazy-img')  # 得到没有加载出来的url
        img_2 = div.find("img").get("src")  # 得到已经加载出来的url
        if img_1:
            print img_1
            self.sql.save_img(img_1)
            self.img_urls.add(img_1)
        if img_2:
            print img_2
            self.sql.save_img(img_2)
            self.img_urls.add(img_2)

def get_extend_imgs_data(self):
    # self.search_urls=self.search_urls+','.join(self.pids)
    self.search_urls = self.search_urls.format(str(self.search_page), ','.join(self.pids))  #拼凑url,将获得的单数拼成url,其中show_items中的id是用','隔开的，因此要对集合中的每一个id分割，page就是偶数，这里直接用主网页的page加一就可以了
    print self.search_urls
    html = requests.get(self.search_urls, headers=self.headers).text   #请求
    soup = BeautifulSoup(html, 'lxml')   
    div_search = soup.find_all("div", class_='p-img')   #解析
    for div in div_search:  
        img_3 = div.find("img").get('data-lazy-img')    #这里可以看到分开查找img属性了
        img_4 = div.find("img").get("src")
        if img_3:    #如果是data-lazy-img
            print img_3
            self.sql.save_img(img_3)    #存储到数据库
            self.img_urls.add(img_3)      #用集合去重
        if img_4:    #如果是src属性
            print img_4
            self.sql.save_img(img_4)     
            self.img_urls.add(img_4)