我是个编程新手,但我一直在遵循这个简单的教程来抓取NFL数据:http://brutalsimplicity.github.io/2016/07/25/scrapy.html。
我们正在使用这个链接(https://www.pro-football-reference.com/boxscores/201409040sea.htm),我们希望在最底部有一个很大的Play by Play表。
在本教程中,我们需要的表id是"pbp_data“,但是我找到了相同的表,id现在是"pbp”,代码如下
<table class="sortable stats_table now_sortable sliding_cols" id="pbp" data-cols-to-freeze="2">
我以前从未使用过Python或XPath,所以我只是按照他们说的在我粗糙的shell中执行response.xpath('//table[@id ="pbp"]')
的方向进行操作,但由于某种原因,当我按回车键时,什么也没有显示出来。
是我对XPath的理解有问题,还是我对scrapy做错了什么?
谢谢!
发布于 2018-09-04 08:02:40
如果你使用view(response)
,你会注意到你试图抓取的数据是注释的:
<div class="placeholder"></div>
<!--
<div class="table_outer_container">
<div class="overthrow table_container" id="div_pbp">
<table class="sortable stats_table" id="pbp" data-cols-to-freeze=2>
... -->
this answer会帮到你吗?
https://stackoverflow.com/questions/52156737
复制相似问题