前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【python笔记】使用python的pyquery简单爬取数据demo

【python笔记】使用python的pyquery简单爬取数据demo

原创
作者头像
python亦希
发布2022-01-24 10:00:06
2450
发布2022-01-24 10:00:06
举报
文章被收录于专栏:python理论python理论
代码语言:txt
复制
#!/bin/env python
#_*_ coding: utf-8 _*_

from pyquery import PyQuery as pq
import time
import random


def get_appinfo_from_yyb(app_pack,storenum):
	url=xxxxxxxxxxxxxx
	data = pq(url)
	if storenum==1:
		app_name = data('.det-name-int').text()
		app_down_cnt = data('.det-ins-num').text().replace(u'下载' ,'')
		app_desc = data('.det-app-data-info').text()
		if len(app_desc)==0:
			return ""
		text = '\t'.join([app_pack, app_name, app_down_cnt, app_desc])

	elif storenum==2:
		app_name = data('title').text()[:-7]
		app_down_cnt = ""
		app_desc = data('.app-text .pslide').text().replace('\n','')
		if len(app_desc)==0:
			return ""
		text = '\t'.join([app_pack, app_name, app_down_cnt, app_desc])

	return text

if __name__ == '__main__':
	storenum = 2
	file_num = "11999.csv"
	input_path= "1filename"+file_num
	output_path = "1result"+file_num
	#time.sleep(3600*6)
	with open(input_path) as fr, open(output_path, "w", encoding='utf-8') as fw:
		print(input_path,output_path)
		num = 1
		for app_apck_name in fr:
			app_apck_name=app_apck_name.strip('\n')
			app_info = get_appinfo_from_yyb(app_apck_name,storenum)
			print(num, app_apck_name, app_info)
			if len(app_info)>0:
				fw.write('%s\n' % app_info)
			num = num +1
			sleep_num = random.randint(100, 3000)/1000
			time.sleep(sleep_num)
""""""

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档