Python BeautifulSoup返回空列表
Python BeautifulSoup返回空列表
提问于 2018-06-12 07:07:38
我试图创建一个Python脚本来使用BeautifulSoup从tcgplayer.com中提取Yugioh卡价格的价格。当你在此网站上搜索卡时，它会返回一个包含来自不同卖家的多个价格的搜索结果页面。我的目标是拉出所有这些价格。在下面的例子中，我打开名为“A”细胞繁殖装置的卡片的搜索结果：
import urllib2
from bs4 import BeautifulSoup
html = urllib2.open('http://shop.tcgplayer.com/productcatalog/product/show?newSearch=false&ProductType=All&IsProductNameExact=false&ProductName=%22A%22%20Cell%20Breeding%20Device')
soup = BeautifulSoup(html, 'lxml')
soup.find_all('span', {'class': 'scActualPrice largetext pricegreen'})
几天前，正确运行soup.find_all行给了我需要的信息。然而，现在运行这个给我一个空数组[]。怎么办？
回答 2
Stack Overflow用户
发布于 2018-06-12 16:06:49
本网站使用名为Incapsula的服务。网站开发人员配置Incapsula以防止漫游器访问它的内容。
Stack Overflow用户
发布于 2018-06-12 16:28:13
from selenium import webdriver
driver = webdriver.Chrome('/path/to/chromedriver')
driver.get('http://shop.tcgplayer.com/productcatalog/product/show?newSearch=false&ProductType=All&IsProductNameExact=false&ProductName=%22A%22%20Cell%20Breeding%20Device')
prices = driver.find_elements_by_css_selector('.scActualPrice')
for element in prices:
print(element.text)
driver.quit()页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/-100005340
复制相关文章
相似问题