无法从使用pandas和selenium的网站获取表格
问题：无法从使用pandas和selenium的网站获取表格。
回答： 这个问题可能由以下几个方面引起：
- 网站结构问题：有些网站的表格可能是通过JavaScript动态生成的，而pandas和selenium默认只能获取静态HTML内容。如果表格是通过JavaScript生成的，可以尝试使用selenium的等待机制，等待表格加载完成后再进行获取。
- 网络请求问题：有些网站可能会对爬虫进行限制，例如通过检测请求头中的User-Agent字段或者设置了反爬虫的机制。可以尝试修改selenium的请求头，模拟浏览器的请求，或者使用代理IP来绕过限制。
- 定位元素问题：使用selenium获取网页元素时，需要通过元素的XPath、CSS选择器或者其他属性来定位元素。如果定位不准确，可能无法获取到表格。可以尝试使用浏览器的开发者工具来查看表格元素的定位路径，然后在代码中使用准确的定位方式。
- 数据解析问题：使用pandas获取表格数据时，需要将网页中的表格数据解析为DataFrame格式。如果表格的HTML结构复杂或者数据格式不规范，可能会导致解析失败。可以尝试使用pandas的其他解析方法，如read_html()函数，或者使用BeautifulSoup等库进行数据解析。
综上所述，解决无法从使用pandas和selenium的网站获取表格的问题，可以尝试以下方法：
- 确保网站结构正常，表格是静态生成的。
- 修改selenium的请求头，模拟浏览器请求。
- 使用准确的元素定位方式获取表格元素。
- 尝试使用pandas的其他解析方法或者使用BeautifulSoup等库进行数据解析。
腾讯云相关产品推荐：
- 云服务器（CVM）：提供弹性计算能力，可用于部署爬虫程序和数据处理任务。详情请参考：云服务器产品介绍
- 弹性MapReduce（EMR）：提供大数据处理和分析的云服务，可用于处理爬虫抓取的大量数据。详情请参考：弹性MapReduce产品介绍
- 云数据库MySQL版（CDB）：提供稳定可靠的云数据库服务，可用于存储和管理爬虫获取的数据。详情请参考：云数据库MySQL版产品介绍
- 人工智能机器学习平台（AI Lab）：提供强大的人工智能开发和训练平台，可用于开发和部署机器学习模型。详情请参考：人工智能机器学习平台产品介绍
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求进行。
相关·内容
1回答
我目前正在从这个网站的一个表中提取特定的数据：。为此，我使用Python和selenium。
我的问题是，当我尝试使用read_html()从pandas中搜索表时，只找到表的标题，这是我得到的输出：
lncRNA ID Chromosome Disease Pubmed P-value Bonferroni Variant miRNA Gain Loss
0 No items No items No items No items No items No items No items No items No items N
浏览 24提问于2021-03-04得票数 1
回答已采纳
我有这个URL，里面有表格。我需要从表中获得所有的行和列数据，从所有的多页。我不能理解如何从表中获取数据。下面是我的代码： from selenium import webdriver
import os
import time
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as ec
from selenium.webdr
浏览 51提问于2020-08-27得票数 1
回答已采纳
我正试图用selenium在'‘网站上进行网络抓取，但我无法从网站上获得表格或表格项目的文本。我试着这样做：
PATH = "C:\Program Files (x86)\chromedriver.exe"
tubitak_ua_driver = webdriver.Chrome(PATH)
tubitak_ua_driver.get("https://uidb-pbs.tubitak.gov.tr/#tabs-3")
project_table = tubitak_ua_driver.find_element_by_xpath('//*[@id
浏览 2提问于2022-06-14得票数 1
回答已采纳
3回答
我正在试着在下面的网站上获得第二张表格。我试过BS4、Pandas和现在的selenium，但是我无法获得我一生中的桌子。
直到页面出现之后，表数据才会加载。
在“查看源”页面上有一个包含信息的字典，但它看起来就像页面上的每个元素都是“行内容”，因此很难只获得所需的表信息。
收集表数据的最佳方法是什么？
from ast import Return
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Web
浏览 9提问于2022-02-07得票数 1
回答已采纳
我想把this网站上的信息提取到一个熊猫数据框中。这段代码： from selenium import webdriver
import os
from selenium.webdriver.support.ui import Select
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import pandas as pd
import time
import sys
import re
import requests
options =
浏览 20提问于2019-09-09得票数 1
回答已采纳
我正在尝试使用Pandas从Javascript网站上抓取一个表格。为此，我使用Selenium首先到达我想要的页面。我能够以文本格式打印表格(如注释脚本中所示)，但我也希望能够在Pandas中拥有表格。我附上我的脚本如下，我希望有人能帮我弄清楚这一点。
import time
from selenium import webdriver
import pandas as pd
chrome_path = r"Path to chrome driver"
driver = webdriver.Chrome(chrome_path)
url = 'http://www.
浏览 2提问于2017-07-30得票数 3
我正在尝试使用Selenium从一个网站上拉出一个表格，代码如下。
path_to_driver = r'C:\Users\chromedriver.exe'
driver = webdriver.Chrome(executable_path=path_to_driver)
driver.get(r'https://en.wikipedia.org/wiki/Lists_of_countries_and_territories')
df1 = pandas.read_html(driver.page_source)
print(df1)
但是，它给出了一条错误消
浏览 0提问于2016-04-30得票数 0
我对python非常陌生，并且尝试做我自己的数据分析。
我试图解析这个网站的数据：
我想要一种数据帧格式的表格。
我试过这个：
import pandas as pd
players_list_unclean = pd.read_html('https://www.sportsnet.ca/hockey/nhl/players/?season=2021&?seasonType=reg&tab=Skaters')
我得到以下错误：
引发ValueError(“没有找到表”) ValueError:没有找到表
我可以看到有桌子，但出于某种原因，它没有被阅读。
我找到
浏览 5提问于2022-02-23得票数 0
回答已采纳
我正在尝试从opensea.io/排名的表格中收集数据。我似乎无法从每一栏中得到数据。输出由每行5件东西组成，但实际的表中还有其他一些东西无法被刮掉。
样本输出如下：
Bored Ape Yacht Club
+ More
5,026.85
+14.15%
3
如果能帮忙的话，我会很感激的！
我的代码：
from selenium import webdriver
from selenium.webdriver.chrome.webdriver import WebDriver
from selenium.webdriver.common.by import By
from selenium.
浏览 4提问于2021-11-03得票数 0
2回答
我对Python完全陌生。我想从html表中抓取数据，并将其放入MS中。我正在刮的网站是动态的，所以我必须从3个下拉框中选择选项来构建表格。
请注意，下面的代码将我带到网站并选择构建表所需的选项。
请注意，本网站的网址不更改。它与选择下拉选项时保持不变。
一旦我选择了我需要的选项，这就是表的样子：
下面是表的html示例：
我的问题是如何用Python读取表，并将表的头和内容整齐地放入MS中。如果可能的话，首选是保持格式(字体、交替颜色等)，但这并不是非常重要。
这是我在网站上使用的代码，从下拉框中选择我需要的选项：
from selenium import webdriver
DRIVE
浏览 0提问于2021-03-29得票数 0
回答已采纳
1回答
我正在尝试使用python在下面的网站中搜索/解压表格。(这是一个动态表，所以我不能将html保存在html文件中，因为它会经常更新)。
我的目标是把表变成数据帧。我用：
Selenium和BeautifulSoup，它们都返回一个空列表Pandas和pd.read_html，后者返回“没有找到的表”错误
知道为什么会这样吗？我怎么才能解决这个问题？
这是我的密码：
from selenium import webdriver
from selenium.webdriver.support.ui import Select
from selenium.webdriver.support.ui
浏览 0提问于2021-03-26得票数 0
回答已采纳
1回答
无法抓取特定的表
、、、
我正在使用selenium和Python来抓取一个网站。我无法使用Beautiful Soup来抓取特定的表格。以下是代码 from selenium import webdriver
from selenium.webdriver.support.ui import Select
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_condi
浏览 18提问于2020-03-21得票数 2
回答已采纳
1回答
我正在尝试从中提取数据。我通常用美丽的汤或熊猫来提取表格数据。但是网站上的表格似乎不是用表格类制作的。例如，计算出的物理化学特性表是用“挠曲生长收缩p3px-5”制作的。
如何从表中提取数据(特别是计算物理化学属性表和SMILES值)？
我尝试了以下代码，但我得到了几乎整个网站的文本：'soup.find("div")‘。
我通常使用pandas.read_table(link)
浏览 2提问于2022-11-24得票数 -2
回答已采纳
1回答
import pandas as pd
import requests
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import pandas as pd
import numpy as np
import datetime
from datetime import timedelta
driver = webdriver.Chrome()
driver.get('https://sportsbook.fanduel.com/navigation/nba')
t
浏览 7提问于2021-12-17得票数 0
我目前已经使用Selenium + Pandas编写了一段代码，访问一个网站，登录到该网站(因为一些数据隐藏在帐户登录的后面)，然后转到特定的页面并提取数据表，并将该数据表保存到excel表中。
问题是，我需要的数据从10-15不同的页面，并在一个excel工作表。
这个网站说明了公司即将到来的股息，我每天都有一个公司列表可以查看。
直接转到每一页，并将表格保存在每一页的单独excel表中。但是，我需要将它们全部组合在一起。你会怎么做呢？
对于下面的例子，我已经排除了登录细节，并以苹果公司为例。
# Load selenium components
from selenium import w
浏览 0提问于2020-12-15得票数 0
对于一个学校项目，我试图创建一个Python脚本，它能够填写不同的表格，来自不同的网站。
事情是这样的，对于某些类型的网站，我无法捕捉到Selenium的表单元素。在这个网站：中，我用firefox检查页面，输入"Name“框有id "lastname"，但Selenium无法得到它。当我显示这个页面的html代码时，表单看起来像是从另一个页面或者别的页面中包含的。
我尝试了getelementbyid、byname、bycssselector等等。我还试图等待使用WebDriverWait(驱动程序，5)加载页面(驱动程序，5)，但仍然无法工作。
你有什么解决办法或建
浏览 1提问于2016-09-27得票数 1
回答已采纳
2回答
依赖交互式地图从表中抓取数据
、、、、
又一个棘手的问题。我试图从以下网站抓取数据：
但是，我想要得到的数据只有在您单击其中一个机场后才会显示出来，在地图下以表格的形式显示。从这张表中，我想提取出指示每天飞往每个机场的航班频率的数字。例如，如果你点击巴黎戴高乐，从表格中检查荷兰，上面一行显示td rowspan="6“，在本例中，荷兰航空公司每天有6次飞往巴黎的航班。
我假设我需要使用像Selenium之类的浏览器会话，所以我从下面的代码开始，但是我不知道从这里到哪里，因为我无法在源代码中找到机场点。
from selenium import webdriver
from selenium.webdriver.chrome.
浏览 1提问于2018-07-24得票数 2
回答已采纳
2回答
我正在尝试在http://tickertrak.com/上搜索表格，但是我无法做到。代码没有读取table标记后面的任何内容，我甚至看不到它，所以我非常困惑。我是网络抓取的新手，到目前为止，我只能做维基百科的表格。 import time
!pip install selenium
!apt install chromium-chromedriver
!cp /usr/lib/chromium-browser/chromedriver /usr/bin
import sys
sys.path.insert(0,'/usr/lib/chromium-browser/chromedriv
浏览 29提问于2021-01-29得票数 0
问候所有人 我正在尝试从这个网站的https://theunderminejournal.com/#eu/silvermoon/category/battlepets提取表格，但我有一些困难。我的代码和我使用的任何东西都无法产生任何结果： from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import
浏览 12提问于2019-05-16得票数 0
回答已采纳
我试图从一个动态网站上抓取表格(我相信它每10秒更新一次信息)，并将其加载到熊猫数据帧中，但我似乎无法通过获取第一列的第一步。有人能告诉我哪里做错了吗？谢谢。
# import libraries
import urllib.request
from bs4 import BeautifulSoup
from selenium import webdriver
import time
import pandas as pd
urlpage = 'https://new.cryptoxscanner.com/binance/live'
driver = webdriver.C
浏览 79提问于2020-02-16得票数 0
回答已采纳
2回答
我正在做一个项目，在一个网站上有一个表格，里面充满了数据，这个表格有7页长。这是这个网站上的表格：。通过svg路径到达下一页。我必须从所有7页中获取数据。我不知道如何点击这个svg路径。如果你知道如何点击这条路，请告诉我。即使svg没有咏叹调标签或类。
这是源代码的照片。
我尝试过很多不同的方法，包括：
driver.find_element_by_xpath('//div[@id="icon-chevron-right"]/*[name()="svg"]/*[name()="path"]').click()
这
浏览 1提问于2021-07-28得票数 0
回答已采纳
1回答
我正试图从NSE网站- 上获取进展/下滑。
前进/下降是HTML中的表格格式。但我无法检索在网站中显示的实际数值。
from bs4 import BeautifulSoup
import pandas as pd
import requests
url = "https://www1.nseindia.com/live_market/dynaContent/live_market.htm"
webpage = requests.get(url);
soup = BeautifulSoup(webpage.content, "html.parser");
fo
浏览 4提问于2020-01-10得票数 1
回答已采纳
1回答
我试图自动化的网站是博彩网站，我有一个方案，以自动化赛马投注。
我正在使用带有Java的selenium 3.0
从网站我能够旅行到赛马，但无法选择明天和选择比赛。我尝试使用xpath、类和其他方法，但无法单击这些按钮。
网站为
1步。转到上面的网址2.从左上角选择赛马或导航到网址() 3.点击明天我无法执行此操作4.从表格中选择特定的比赛(也无法执行此操作)
package automationFramework;
import org.openqa.selenium.By;
import org.openqa.selenium.WebDriver;
import org.openqa.s
浏览 0提问于2016-10-19得票数 0
我正在尝试使用python和selenium进行web抓取，但是每当我运行代码时，都会收到错误消息。
[4824:524:0818/154954.605:ERROR:ssl_client_socket_impl.cc(959)] handshake failed; returned -1, SSL error code 1, net_error -201
[4824:524:0818/154954.614:ERROR:ssl_client_socket_impl.cc(959)] handshake failed; returned -1, SSL error code 1, net_erro
浏览 49提问于2020-08-18得票数 0
我正在尝试使用selenium获取网站上表格的内容。这个网站似乎是以一种相当复杂的方式建立起来的。我找不到任何可以在find_element_by_...函数中使用的元素、类或内容。 如果有人知道如何从标题Staffel、Nr.、Datum、...、Ergebnis、Bem.开始获取第二个表的内容，这将对我有很大的帮助。我尝试了很多(从urllib2开始，...)。主要是以下脚本工作-加载站点并循环通过高级容器。但是我不确定如何获得所提到的表格内容。 from selenium import webdriver
from selenium.webdriver.common.by import
浏览 62提问于2019-02-23得票数 0
回答已采纳
1回答
我正在尝试从这个网站中提取表格数据，在那里我想要最后一个片段，叫做“F rbrukning i Sverige”。我试图用以下代码提取：
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
import pandas as pd
driver = webdriver.Chrome(service=Service(ChromeDriverManager().inst
浏览 3提问于2022-11-21得票数 1
回答已采纳
我正在尝试使用python中的pandas库来更新csv文件中名为'Stock'，'Regular Price'，'Sale price‘的列。用于更新csv的值是从网站提取的。我使用selenium登录网站并输入所需的页面，BeautifulSoup解析页面，json从解析后的网页中提取特定值。我已经成功地提取了所需的数据，但我无法用提取的values...please help.there is no traceback或任何错误来更新csv文件，而且，程序成功地生成了csv文件而没有任何更改:( from selenium import webd
浏览 17提问于2020-09-25得票数 0
1回答
我想从这个网站上抓取表格，因为它每小时都在更新，所以我也想跟踪变化。我尝试过使用selenium抓取数据，但它们都在一个列中，没有任何表。如何使用pandas和Beautiful Soup以结构化的格式抓取表格并跟踪更改。这就是我想弄明白的代码。 import pandas as pd
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, "html.parser")
table = soup.find('table', attrs={'id':'subs noBorders
浏览 7提问于2020-09-23得票数 0
回答已采纳
找出如何单击此页表格底部的“下一步”按钮时遇到困难：
这就是我尝试过的：
from bs4 import BeautifulSoup
import requests
import csv, random, time
from pandas.io.html import read_html
from selenium import webdriver
from selenium.webdriver.support.ui import Select
url = 'https://www.zacks.com/stocks/industry-rank/reit-and-equity-tr
浏览 1提问于2019-01-15得票数 2
回答已采纳
我想从这个聚集巴黎所有医生的网站()下载所有表格。然而，为了得到所有的名字，你必须多次点击“装潢加简历”按钮，直到你不能，然后把所有的表格(名字，附件等等)都报废了。
我试过用硒法，但没有成功。所以，有人知道怎么做吗？有人有这样做的代码吗？
矿不工作
from selenium import webdriver
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from bs4 import BeautifulSoup
import pandas as pd
impor
浏览 8提问于2022-09-21得票数 1
回答已采纳
1回答
我一直在使用Python和Selenium从特定的州健康网页中抓取数据，并将表格输出到本地CSV。 我已经在其他几个州使用类似的代码获得了很多成功。但是，我遇到了一种状态，它使用似乎是R的东西来创建动态仪表板，而我无法使用我的常规方法真正访问它。 我花了很多时间梳理StackOverflow。。。我已经检查过是否有可以切换到的iframe，但是，我只是看不到页面上iframe中我想要的数据。 使用Chrome的“检查”功能，我可以很容易地找到表格信息。但是，从原始URL开始，我需要的数据不在该页面上，并且我找不到该表的源URL。我甚至用Fiddler来查看是否有电话。 所以，我不知道该怎么做
浏览 3提问于2020-08-18得票数 0
1回答
我正在尝试使用selenium从下面的网站抓取表格：
使用以下代码：
from selenium import webdriver as wd
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from bs4 import BeautifulSoup as bs
from pandas.io.html import
浏览 1提问于2021-01-29得票数 1
因为Selenium可以遍历javascript网站(机械化不能)，而机械化可以发出post请求( Selenium不能)，所以在某些情况下，将两者结合使用是非常强大的。
+Zarkonnen对的回答表明，一个人最初会使用Selenium，然后机械化会介入到post请求中，而不是将它传递回Selenium。
如何将机械化post方法集成到硒中？
我正在使用这些库的Ruby版本，但是任何信息都是有用的。
编辑，这里有一个Venn，希望能澄清我正在寻找的功能。
在这种情况下，"Javascript网站“只是指在没有启用javascript的情况下其功能无法工作的网站。意思是说，我
浏览 3提问于2016-02-26得票数 1
回答已采纳
1回答
我正在尝试从网站中提取表格。
shell('docker pull selenium/standalone-chrome')
Sys.sleep(2)
shell('docker run -d -p 4445:4444 selenium/standalone-chrome')
Sys.sleep(2)
remDr <- remoteDriver(remoteServerAddr = "localhost" , port = 4445L, browserName = "chrome")
Sys.sleep(3)
remDr$o
浏览 9提问于2022-02-10得票数 0
回答已采纳
嗨，我想点击‘保存服务’使用硒在这个网站上，使弹出消失：。但是，我收到一个超时异常。
import numpy as np
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import B
浏览 1提问于2022-06-13得票数 1
回答已采纳
我的任务是在HTML中从表的每一行中提取一些项。我已经知道了如何使用Python使用Selenium从web上获取整个表。以下是这方面的守则：
from selenium import webdriver
import time
import pandas as pd
mydriver = webdriver.Chrome('C:/Program Files/chromedriver.exe')
mydriver.get("https://www.bseindia.com/corporates/ann.aspx?expandable=0")
time.sl
浏览 0提问于2018-06-18得票数 0
1回答
在脚本标记中刮取数据
、、、
谁能建议一种在<script>标记中刮取数据的方法，特别是在这种情况下，从AEMO ()中获取30分钟的表。
要获取数据表，我需要单击该按钮在网站上显示表格或下载按钮。但是，这里的障碍是，当我试图使用Selenium对<script>标记进行抓取时，表的按钮和文本隐藏在它的后面。
到目前为止，我的代码如下：
# import libraries
import urllib.request
from bs4 import BeautifulSoup
from selenium import webdriver
import time
import pandas as pd
浏览 0提问于2019-10-19得票数 0
回答已采纳
我在一个项目中工作，我需要从不同的网站(公司内部)收集信息，也从一个用Java开发的windows应用程序中收集一些信息。 我可以使用Selenium/Python从网站获取所有信息，现在我有了一个窗口应用程序，我需要在其中获取一些信息。由于selenium不支持Window应用程序，因此无法继续。我尝试使用AutoIt，但我的应用程序是在JAVA上开发的，并且autoit windows spy无法检测到应用程序上的许多按钮。 根据你的经验，有什么建议/想法可以继续下去吗？我有80%的我的信息在网站上，我已经脚本化，只有悬而未决的是这个申请。
浏览 17提问于2020-04-17得票数 0
回答已采纳
当ChromeDriver版本与我当前的chrome版本不匹配时，我通过以下代码升级chromedriver：
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
driver = webdriver.Chrome(ChromeDriverManager().install())
然后我使用selenium来抓取网站数据，但我仍然得到了一些错误。有人能帮我解决这个问题吗？很感谢你。
import time
import pandas as pd
from selen
浏览 0提问于2021-05-14得票数 0
我正在尝试从一个网站中提取数据
使用HTML
我无法从HTML.I中提取文本。我正在使用Python，Selenium和Beautiful Beautiful来提取数据。我使用CSS Selector从jquery中检查。
如何在jquery中使用python选择值
浏览 1提问于2018-01-19得票数 1
2回答
我正试图在一个网站上做一些网络抓取，但我无法访问safari上的下一个页面。
网址是：
代码只给我相同的结果，第一页两次，我需要前第三页
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.common import exceptions
from bs4 import BeautifulSoup
import re
import pandas as pd
import os
browser = webdriver.Safari()
browser.get(&
浏览 4提问于2019-11-24得票数 0
我如何将这个JavaScript转换成Python来从父元素中获取所有子元素？
此脚本通过控制台从google.com站点获取所有元素。
e = document.getElementsByTagName('body')[0].children
for (let i = 0; i < e.length;i++){
console.log(e[i].tagName)
}
在蟒蛇里我试着这么做，但我做不到
import time
import requests
import pandas as pd
from bs4 import BeautifulSoup
fro
浏览 50提问于2021-12-05得票数 0
回答已采纳
1回答
我正在学习如何在Python中使用Selenium，并且一直在玩一些不同的东西。我一直有一个问题，我找不到任何类。我能够通过xpath定位和打印数据，但无法定位这些类。
此脚本的目标是从网站上的表和当前时间中收集一个数字，然后将这些项附加到CSV文件中。
网站：
任何建议或指导将是非常感谢的，因为我是新的python。谢谢。
代码：
from selenium import webdriver
from selenium.webdriver.support.ui import Select
from selenium.webdriver.support.ui import WebDriverW
浏览 5提问于2022-01-18得票数 1
回答已采纳
用Selenium/Python实现自动化。我被封住了自动注册表格。下拉列表是必需的元素，但我得到了以下错误.
AttributeError：“列表”对象没有属性“tag_name”
我已经在下面发布了我的代码，无法在网上找到任何答案，这将是为什么。任何/所有的帮助都非常感激。
from re import X
from socket import timeout
from selenium import webdriver
from selenium.webdriver.support.ui import Select
from locale import currency
from op
浏览 4提问于2022-07-18得票数 0
我之前问过这个问题，没有得到任何回应，所以我会再试一次。
我的selenium和chromedriver出现了一些问题，我似乎无法解决。我有一个代码，它运行得很好，可以做它应该做的所有事情。然而，我有另一个在图片中给出错误代码的代码。如果有人能帮上忙，我将不胜感激，因为我在网上找不到任何东西。我特别不明白为什么一个程序运行时没有问题，而另一个程序没有问题，我不知道网站是否潜在地阻止了它的运行？这有可能吗？
运行良好的代码：
from selenium import webdriver
from selenium.webdriver.support.ui import Select
from s
浏览 2提问于2018-09-20得票数 0
2回答
我试图从一个网站的数据表中抓取数据，但是当我运行我的代码时，输出是空白的。我不知道为什么什么都没有打印出来。对于IDE终端来说，抓取的内容是否太大了？或者它们是我的代码的一个基本问题？ 注:网站链接为：https://www.kaggle.com/nareshbhat/health-care-data-set-on-heart-attack-possibility 而im试图抓取的数据是底部的表格(heart.csv)。 任何帮助都是非常感谢的！ 代码： import time
import pandas as pd
from selenium import webdriver
fro
浏览 20提问于2021-04-03得票数 0
1回答
我有一个1000页的网站，我想从每一页在单一工作表中提取表格。我尝试过的事情是将页数放到循环中并提取数据。这方面的问题在于它不是自动化的&它提取新工作表中每个页面的表数据。
什么是有效的解决方案，，这样网站的每一页的表格提取都可以在单页上完成，而不会有太多的滞后，因为有数千页。所以我的问题是：
1.如何从网站中获取页数，以便我可以在循环( For i = 1 To Numberofpages )中使用它？或者，除了获取页数之外，还有其他方法(例如，下一页直到下一页不追加)。
2.如何将从每一页中提取的所有表格放在单一工作表上？
供参考的 网页
Sub Scrape()
Dim
浏览 0提问于2021-07-11得票数 0
回答已采纳
我正试图刮去Zomato网站的评论，但我无法从该网站获得源代码HTML代码。我正在尝试获取评审框，但它返回null或"NoneType“。这是我的代码：
from bs4 import BeautifulSoup
import requests
import re
import pandas as pd
from selenium import webdriver
import codecs
import os
import numpy as np
import pandas as pd
#import nltk
#import matplotlib.pyplot as plt
#fr
浏览 3提问于2021-07-27得票数 0
回答已采纳
我有一个关于DataFrame的问题。我已经用Selenium编写了一段代码来从网站中提取一个表。但是，我对如何将Selenium文本转换为DataFrame并将其导出为CSV有疑问。下面是我的代码。
import requests
import pandas as pd
from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.common.exceptions import TimeoutException
from selenium.webdri
浏览 0提问于2020-12-02得票数 1
我使用Selenium和Pandas从一个网站上抓取一个表，生成一个列表对象。然后，我尝试将列表转换为DataFrame以将其写入MySQL。 当我打印抓取结果时，它是一个很好的表格格式，具有清晰的行号和列标题，但是当我打印'len‘时，结果是1。 我已经尝试了很多方法，真的需要一些帮助。 from selenium import webdriver
from selenium.webdriver.chrome.options import Options
#import csv
from bs4 import BeautifulSoup
import pandas as p
浏览 11提问于2021-09-07得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
云直播
对象存储活动推荐
腾讯云开发者
