小白数据挖掘利器 selenium实战案例--论文数据挖掘与可视化分析（上）

options = ChromeOptions()
options.add_experimental_option('excludeSwitches', ['enable-automation']) #设置开发者模式启动，该模式下webdriver属性为正常值   一般反爬比较好的网址都会根据这个反爬
options.add_argument('--headless') # 启用无头浏览器即不打开浏览器页面
options.add_argument('lang=zh_CN.UTF-8') # 不加载图片, 提升速度
options.add_argument('blink-settings=imagesEnabled=false')
options.add_argument('--disable-gpu')  # 谷歌文档提到需要加上这个属性来规避bug
#from fake_useragent import UserAgent  # 随机头包 也可以自己定义
ua = UserAgent()
options.add_argument(f'user-agent={ua.random}')  # 随机头
driver = webdriver.Chrome(options=options) # 加入options属性

# 定义选择年份函数并点击
def click_issue_year(options,url,Issue_year):
    print(f"正在处理{Issue_year}")
    sleep_date = random.randint(1, 2)
    time.sleep(sleep_date)
    # 执行点击展示当年期刊
    Issue_year_Botton = driver.find_element_by_id(f"{Issue_year}")
    Issue_year_Botton.click()
    time.sleep(sleep_date)
    return driver

# 点击具体的期刊页 获取title_element和count 容易出错
def click_issue_elemet(driver,Issue_year,Singe_Issue_elemet):
写一个try函数 没数据就重试
        try:
            WebDriverWait(driver, 3).until(EC.visibility_of(driver.find_element_by_xpath("//*[@id=\"CataLogContent\"]")))  # 有论文信息出现就继续
            # 点击那一期
            Singe_Issue_elemet.click()
            time.sleep(sleep_date)
            Singe_Issue_elemet.click()
            time.sleep(sleep_date)
            driver.execute_script("window.scrollBy(0,100)")
        except:
            print("此页无论文,需要刷新")
            driver.refresh()
            # 刷新了需要重新定位
            new_window = driver.window_handles[-1]  # 找到新窗口名字
            driver.switch_to.window(new_window)  # 切换到最新打开的窗口
            # 执行点击展示当年期刊
            Issue_year_Botton = driver.find_element_by_id(f"{Issue_year}")
            Issue_year_Botton.click()
            time.sleep(sleep_date)
            click_issue_elemet(driver, Issue_year, Singe_Issue_elemet)# 重新执行程序
        return driver

# 切换窗口
new_window = driver.window_handles[-1]  # 找到新窗口名字
driver.switch_to.window(new_window)  # 切换到最新打开的窗口

# 全局像素滚动
driver.execute_script("window.scrollBy(0,800)") # 800像素
# 指定目标滚动
target = driver.find_elements_by_xpath("//*[@id=\"literature-recommend\"]/h5/span")[-1] # 指定位置
driver.execute_script("arguments[0].scrollIntoView();", target) # 拖动到可见的元素去

{
  "_id": {
    "$oid": "63a41c7b1af0b53ffc3f7603"
  },
  "journal": "城市规划",
  "title": "加快地下空间利用立法,提高城市可持续发展能力",
  "author": "赵星烁",
  "author_address": "住房和城乡建设部城乡规划管理中心",
  "title_url": "https://kns.cnki.net/kcms2/article/abstract?v=YPzfsUXoupjgblNF5vY-7n8woO9NOLghs4xG_6y2xmbgqtYCTgax9rK4yPDXQtpllx8oaoQTKr-l57KQ4KCDjz9j0X0iFpjSAqy-LTgPAjSJlQ96fa3rNCruJ1_ibP45&uniplatform=NZKPT",
  "keywords": [
    "地下空间;",
    "立法;",
    "可持续发展;"
  ],
  "date": "2015,39(03)",
  "Year": "201503",
  "funds": "国家自然科学基金项目(41371534)资助                                                    ",
  "abstract": "随着我国可持续发展的步伐不断加快,地下空间的开发利用初具规模。本文通过对我国地下空间立法现状的分析,强调了加快地下空间立法的必要性,同时借鉴国际经验,提出我国地下空间立法的建议。",
  "citations_num": "38",
  "citations_info_lst": [
    "[3] 南宁市城市跨江桥梁桥下空间利用规划策略研究[D]. 庞艺飞.哈尔滨工业大学,2020null",
    "[5] 国土空间规划体系下城市地下空间规划的再认识[J]. 刘超;赵竹君;李海梅.城市发展研究,2022(01)null",
    "[10] 城市地下空间规划编制若干问题的探讨[J]. 夏丹.智能城市,2019(06)null",
    "[7] 城市地下空间综合管理关键问题研究[J]. 刘荆;邹亮;羊娅萍.地下空间与工程学报,2020(03)null",
    "[9] 我国城市地下空间确权登记态势与机制研究[J]. 张潆文;张富刚;吴春岐;李凯.中国房地产,2019(18)null",
    "[16] 城市地下空间可持续开发利用问题与对策探讨[J]. 魏新江;崔允亮.现代城市,2016(04)null",
    "[2] “以人为本”视域下城市地下空间居民满意度评价——以杭州为例[J]. 周德;郑星;钟文钰;戚佳玲;李翠珍;周婷;王俊峰.中国土地科学,2022(04)null",
    "[18] 2015年土地科学研究重点进展评述及2016年展望[J]. 冯广京;朱道林;林坚;胡振琪;丰雷;张清勇;郎海鸥;陈美景;仲济香;郧宛琪;张立新;晏学丽;张珂.中国土地科学,2016(01)null",
    "[1] 高密度科技创新区域地下空间开发利用规划研究——以杭州市未来科技城为例[J]. 黄杉;王敏;徐逸程;朱云辰;郑昕文.建筑与文化,2022(09)null",
    "[4] 岩溶管道型突涌水封堵材料研发及其应用研究[D]. 马晨阳.山东大学,2020null",
    "[1] 论我国地下空间利用权制度的构建[D]. 贾宏斌.吉林大学,2016null",
    "[8] 资阳临空经济区地下空间管制研究[D]. 陈俊熹.重庆大学,2019null",
    "[11] 珠海市地下空间开发利用研究[J]. 姜亚莉;张延辉.中国经贸导刊(中),2018(32)null",
    "[6] 苏州市地下空间开发利用管理中的问题与对策研究[D]. 黄媛媛.苏州大学,2019null",
    "[10] H城市地下综合管廊建设“绿色转型”管理研究[D]. 王刚.吉林大学,2018null",
    "[9] 考虑能见度影响的地下多层人员密集场所上行疏散模型研究[D]. 文秋萍.西南交通大学,2019null",
    "[3] 中国城市地下空间立法：近十年以来的进展[J]. 徐生钰;文乾.中国国土资源经济,2022(06)null",
    "[15] 陕西省城市地下空间开发利用规划研究[J]. 李冬雪;刘科伟.西北大学学报(自然科学版),2017(02)null",
    "[4] 我国安全科学与工程学科“十四五”发展战略研究[J]. 范维澄;苗鸿雁;袁亮;周福宝;张来斌;刘乃安;钟茂华.中国科学基金,2021(06)null",
    "[7] 近代历史文化街区地下空间可实施存量评估方法[D]. 刘家韦华.河北工程大学,2019null",
    "[8] 城市地下空间开发利用现状及未来发展理念[J]. 雷升祥;申艳军;肖清华;奚家米;顾霖骏.地下空间与工程学报,2019(04)null",
    "[17] 2015年土地科学研究重点进展评述及2016年展望——土地管理领域分报告[J]. 朱道林;郧宛琪;张立新;晏学丽;张珂.中国土地科学,2016(02)null",
    "[1] 水位变动条件下综合管廊的力学性状研究[D]. 刘创.中南林业科技大学,2021null",
    "[2] 我国城市地下空间开发利用中的环境保护制度研究[D]. 肖玉.河北地质大学,2020null",
    "[12] 地下空间规划条件的实操性研究[J]. 贺俏毅;陈松;吴燕.规划师,2018(05)null",
    "[13] 城市地下空间开发的国际经验及启示[J]. 张京祥;王宇彤.江苏建设,2018(01)null",
    "[14] 我国地下空间开发法制体系的反思与完善[J]. 史浩明.苏州大学学报(哲学社会科学版),2017(05)null",
    "[6] 厦门地下空间规划治理体系构建研究[J]. 韦希.规划师,2021(02)null",
    "[5] 城市地下空间开发利用质量评价[D]. 郑星.浙江工商大学,2020null"
  ],
  "secondcitations_num": "251",
  "reference_num": "11",
  "reference_info_lst": [
    "[4] 北京城市地下空间开发利用的历程与未来[J]. 石晓冬.地下空间与工程学报,2006(S1)null",
    "[2] 城市地下空间法律、政策与实践探索. 邓少海, 等著.东南大学出版社.2010",
    "[3] 城市地下空间资源评估与开发利用规划. 童林, 祝文君, 著.中国建筑工业出版社.2008",
    "[3] 日本城市地下空间开发利用法律研究[J]. 刘春彦;沈燕红.地下空间与工程学报,2007(04)null",
    "[2] 我国城市地下空间规划的理论研究与编制实践[J]. 束昱;柳昆;张美靓.规划师,2007(10)null",
    "[4] 地下空间科学开发与利用. 钱七虎, 编著.江苏科学技术出版社.2007",
    "[1] 城市地下综合体设计研究[D]. 周伟.武汉大学,2005null",
    "[2] Master Planning for Underground Space Use. City of Helsinki Real Estate Department..2012",
    "[1] 拓展城市发展的战略新空间[N/OL]. 祝文君.光明日报.2014",
    "[1] 中国地下空间规划现状与趋势[J]. 邵继中;王海丰.现代城市研究,2013(01)null",
    "[1] 城市地下空间建设政策与标准体系研究. 李显忠, 主编.海洋出版社.2011"
  ],
  "author_address_modified": "住房和城乡建设部",
  "province": "北京市",
  "city": "北京",
  "geometry": "POLYGON ((......)",
}