我正在使用Python进行自动化无聊的工作,我还停留在关于从互联网下载数据的章节中。其中一项任务是从Flickr下载给定关键字的照片。
我有一个大问题,刮这个网站。我尝试过BeautifulSoup (我认为这在本例中是不合适的,因为它使用Javascript)和Selenium。查看html,我认为我应该找到'overlay‘类。但是,无论我使用哪个选项(find_element_by_class_name、...by_text、...by_partial_text),我都找不到这些元素(我得到:“。
你能帮我澄清一下我做错了什么吗?我也非常感谢任何能帮助我更好地理解这类案件的材料。谢谢!
以下是我的简单代码:
import sys
search_keywords = sys.argv[1]
from selenium import webdriver
browser = webdriver.Firefox()
browser.get(f'https://www.flickr.com/search/?text={search_keywords}')
elems = browser.find_element_by_class_name("overlay")
print(elems)
elems.click()外壳中的样例关键词I型:“工业设计内部”
发布于 2018-07-02 05:26:02
你收到什么错误信息了吗?使用Selenium,将代码包围在try/except块中是有用的。
你到底想做什么,下载照片?再重写一遍
try:
options = webdriver.ChromeOptions()
#options.add_argument('--headless')
driver = webdriver.Chrome(chrome_options = options)
search_keywords = "cars"
driver.get(f'https://www.flickr.com/search/?text={search_keywords}')
time.sleep(1)
except Exception as e:
print("Error loading search results page" + str(e))
try:
elems = driver.find_element_by_class_name("overlay")
print(elems)
elems.click()
time.sleep(5)
except Exception as e:
print(str(e))按预期加载页面,然后单击照片,带我们到这一页,如果您能够更详细地了解您想要完成的任务,我将能够提供更多帮助。
https://stackoverflow.com/questions/51129410
复制相似问题