前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >selenium、chromedirver

selenium、chromedirver

作者头像
用户1733462
发布2022-10-09 09:25:40
3470
发布2022-10-09 09:25:40
举报
文章被收录于专栏:数据处理

代码语言:javascript
复制
driver = webdriver.Chrome()
driver.get("https://www.zhipin.com/web/geek/job?query=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90&city=100010000")

获取当前页面信息,一定要等待网页加载完成,针对反爬措施,要点手动与自动相结合,手动登录(自动难以实现),翻页可以自动,一定要注意到driver始终获取的是当前页面最新信息

代码语言:javascript
复制
elements = driver.find_elements(By.CSS_SELECTOR, ".job-card-wrapper")
jobinfo_csv(elements)
代码语言:javascript
复制
def jobTaglist(taglist):
    strTaglist = ""
    for el in taglist:
        strTaglist += el.text+"*"
    return strTaglist
def jobinfo_csv(elements):
    jobInfo = {}
    for element in elements:
        jobInfo["job-name"] = element.find_element(By.CSS_SELECTOR, ".job-name").text
        jobInfo['job-area'] = element.find_element(By.CSS_SELECTOR, ".job-area").text
        jobInfo['salary'] = element.find_element(By.CSS_SELECTOR, ".salary").text
        t = element.find_element(By.CSS_SELECTOR, ".job-card-footer .tag-list").find_elements(By.XPATH, "./li")
        jobInfo['technologylist']= jobTaglist(t)
        taglist = element.find_element(By.CSS_SELECTOR, ".tag-list").find_elements(By.XPATH, "./li")
        jobInfo['taglist']= jobTaglist(taglist)
        companyTaglist = element.find_element(By.CSS_SELECTOR, ".company-tag-list").find_elements(By.XPATH, "./li")
        jobInfo['companyTaglist']= jobTaglist(companyTaglist)
        jobInfo['company-name'] = element.find_element(By.CSS_SELECTOR, ".company-name").text
        jobInfo['info-desc'] = element.find_element(By.CSS_SELECTOR, ".info-desc").text
        pddata = pd.DataFrame([jobInfo])
        pddata.to_csv('static.csv',mode='a',encoding='utf-8',header=False,index=False)
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022-10-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 获取当前页面信息,一定要等待网页加载完成,针对反爬措施,要点手动与自动相结合,手动登录(自动难以实现),翻页可以自动,一定要注意到driver始终获取的是当前页面最新信息
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档