我想使用我的脚本从investing.com上的图表中获取一些数据,但是首先我需要在数据抓取(图表最大化)之前准备图表。打开蜡烛条)。我知道所需的按钮位于iframe元素中。不幸的是,我的脚本找不到这些元素。我试着用"frame_to_be_available_and_switch_to_it“来定位iframe,但是脚本仍然找不到iframe,因此需要元素。我的代码如下:
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdrive
我正在尝试从文本中提取一些特定的日期。案文如下:
'Shares of Luxury Goods Makers Slip on Russia Export Ban',
'By Investing.com\xa0-\xa0Mar 15, 2022 By Dhirendra Tripathi',
'Investing.com – Stocks of European retailers such as LVMH (PA:LVMH), Kering (PA:PRTP), H&M (ST:HMb), Moncler (MI:MONC) and Hermè
我是Scrapy的新手,我想做的是做一个爬虫,它只会跟踪给定start_urls上的HTML元素中的链接
举个例子,假设我只想让一个爬虫程序遍历start_urls设置为的AirBnB清单
我不想抓取URL中的所有链接,而是只想抓取xpath中的链接
目前,我正在使用以下代码来抓取所有的链接,我如何才能使其仅抓取//*[@id="results"]
from scrapy.selector import HtmlXPathSelector
from tutorial.items import DmozItem
from scrapy.contrib.sp
我正在尝试抓取这个网站的https://www.tahko.com/fi/tapahtumat/。我已经能够抓取主表上的事件,但现在需要抓取每个表对应的月份。 月份(例如,Lokaku2020或Marrasku2020)在h2标签内,样式为"font-size:32px;“,并且在类内(这是整个td区域)”col lg-8 col md-8 col sm-12 col xs-12“。 这是HTML代码。它被放在一个带有上述类的div中。 <h2 style="font-size:32px;">LOKAKUU 2020</h2> 这几个月我怎么省
我正在使用Selenium从investing.com中删除一个PopUp,但我无法正确识别该PopUp。我使用的代码是; 我需要点击按钮“收到”..。 from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.excep
我正在做web抓取,并尝试使用xpath和selenium进行抓取。只需更改我存储在列表中的内容,就可以更改xpath。我想创建一个循环,它可以自动更改xpath并查找内容。我试过了,但在某些地方我错了。
packages= ["EVENINGS_AND_WEEKEND_EXTRA", "ANYTIME_EXTRA"]
for i in packages:
name= driver.find_element_by_xpath('//*[@id="productButtonControls_ST_"+i]/label')
好的,所以我已经非常接近,需要帮助跨越终点线。我有两条短信想用Scrapy抓取。以下是格式:
<html>
<div id="product-description">
<p>
Blah blah blah text text text reads: 874620. more text text.
<br>
<br>
<b>Brand:</b>
" Nintendo"
<br>
我正在抓取一个网站,在一个特定的地方寻找段落超过了大量的URL。我想要做的是为我正在访问的每个URL记录我在csv文件中抓取的段落的‘下一步’的URL。
首先,我使用网站的搜索语法列出了我想要抓取的所有网站。我正在按ISBN号查找书籍。我目前得到的是一个抓取的段落列表,就像我wanted...However它偶尔不起作用一样,所以我不能简单地将抓取的段落与我事后拥有的ISBN列表连接起来,因为它们不能完美地对齐。
我试着把一些代码放在“yield”括号里,但都没有用。有什么想法,或者其他不好的建议吗?
starts = []
for isbn in data:
starts.appen