首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >在web上出现抓取时找不到表格内容(隐藏表)

在web上出现抓取时找不到表格内容(隐藏表)
EN

Stack Overflow用户
提问于 2018-05-17 05:00:57
回答 1查看 211关注 0票数 0

我正在尝试抓取以下url (http://cmegroup.com/clearing/operations-and-deliveries/accepted-trade-types/block-data.html/#contractTypes=FUT&exchanges=XNYM&assetClassId=0),表内容是我感兴趣的内容,但是看起来表隐藏在某个地方:

右键单击表上的检查,我可以得到表(后面是),但是在scrapy shell中,如果我执行response.xpath(‘//*@ ==$0’),它不会返回任何内容,这意味着我不能通过这种方式抓取内容……请在这个问题上提供帮助,谢谢。

更新:最终的解决方案是使用Selenium (伟大的工具)来完成这个任务,当网页内容如表格等被java加密时,selenium尤其有用,在社区中可以找到大量的selenium说明,这是一个example

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2018-05-17 09:43:54

表为空的原因是您试图抓取包含表数据的错误url,正确的方法是:

http://www.cmegroup.com/CmeWS/mvc/xsltTransformer.do?xlstDoc=/XSLT/md/blocks-records.xsl&url=/da/BlockTradeQuotes/V1/Block/BlockTrades?exchange=XCBT,XCME,XCEC,DUMX,XNYM&foi=FUT,OPT,SPD&assetClassId=0&tradeDate=05172018&sortCol=time&sortBy=desc

上面url上的"05172018“文本看起来像是一个日期过滤器,格式是:MMDDYYYY

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50379817

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档