PapaGordsmack/", headers=headers)print(html_contents)
我试图从特定用户的sky.lea.moe网站上抓取网页，但当我请求并打印html时，它与浏览器中显示的不同(在chrome上，查看页面源代码)。
浏览 20提问于2020-02-09得票数 0
我正在尝试以下代码：if __name__ == '__main__': import requests r = s.get(link) print(sou
浏览 1提问于2020-02-05得票数 0
1回答
我正在为一个特定的网页做网页抓取，我注意到我的代码只抓取了只显示第一个滚动的部分。当进一步向下滚动时，页面会自动显示更多信息。下面是似乎控制这种算法的代码。<div class="view-pagination text-right">
<ul class="js-pager__items pager" data-drupal-views-infinite-scroll-pagerrel="next">Load Mo
浏览 1提问于2019-10-31得票数 0
有人能告诉我如何从不属于我的Google Sheets页面中抓取数据吗？使用API不是一个选项。我看到了很多关于如何使用Sheet来存储web抓取数据的教程，但却没有关于如何从Sheets页面获取信息的教程
希望我能用node.js来做这件事。有谁知道最好的方法吗？
浏览 1提问于2020-09-22得票数 1
1回答
. urllib2
、、、、
然而，我试图检索以下维基百科页面：
response = requests.get('https://en.wikipedia.org/wiki/Talk:Land_value_tax', verify=False)我使用urllib2和urllib2.urlopen尝试它，它完全检索相同的页面：
html = urllib2.urlopen
浏览 5提问于2015-05-05得票数 3
1回答
root"></div>
<script type="text/javascript" src="/github-user-search/app.bundle.562f293b75a96de878ab.js
浏览 3提问于2019-07-07得票数 0
1回答
在角度动画中有使用-webkit关键帧的方法吗？我定义了这样一个模糊的触发器： transition('1 => 0', [ filter: 'blur(5px)', }
浏览 0提问于2017-12-14得票数 2
2回答
我希望从网页urls获得结构化文章数据。到目前为止，我已经找到了这两个服务和。有没有更好的替代方案，或者自己写代码来做这件事值得吗？
浏览 2提问于2014-10-07得票数 0
我正在使用Open Graph进行图像共享，但它拾取了我已经从数据库中删除的错误图像。在Web Inspector的Inspect Element选项卡中，它显示了正确的图像路径，但没有共享正确的图像。<meta name="keywords" content="HTML, Meta Tags, Metadata" /><meta name="author
浏览 0提问于2015-05-26得票数 1
1回答
我试图刮一个网站，有一个元素，如果你移动你的鼠标在它上面显示一些信息在一个泡泡。我使用VBA来抓取页面，但是我不知道如何定位特定的元素。看看页面的来源，我得到了以下信息：<div onmouseout="delayHideTip()" onmouseover="page.hist(this,'P-0.00-00','1q3cfx2rrhkx0x3jtah
浏览 2提问于2015-09-14得票数 1
回答已采纳
1回答
屏幕抓取JS页面
、、
我正在尝试抓取这个页面，但它不工作。我试过了 $html->load_file($url);
但是对于我想要抓取的问题(.trivia- found )却找不到。
浏览 3提问于2013-07-03得票数 3
回答已采纳
我在我的网站的每个页面上都有一个表格，你需要从下拉列表中选择4个选项，然后才能提交(由jquery验证)。这是我得到的404类型的一个例子。网站上有javascript表单验证，它会阻止你实际提交表单，直到你选择了所有4个选项，也许googlebot会忽略js？
浏览 1提问于2013-05-09得票数 0
1回答
谷歌搜索引擎
、、
很多搜索内容有用的页面都是用backbonejs显示的，所以所有的搜索信息都是用js添加的。据我所知，谷歌搜索只使用html响应来抓取内容，并且它不能在js页面下爬行。在这种情况下，谷歌搜索引擎是否可以接受和有效地创建html页面，与'js‘页面中的内容相同，并且只允许google bot请求。其他请求将重定向到适当的'js‘页面吗？
浏览 2提问于2012-07-17得票数 0
我已经阅读了一些关于抓取的文章，似乎NodeJS、ExpressJS、Request和Cheerio是我作为一个熟悉JS/jQuery的前端人员的首选方法。到目前为止，我读过的所有文章都集中在没有API的情况下从特定网站上抓取数据，而我想要实现的是一个工具，它可以获取任何给定的URL，并返回true/false来列出正在使用的通用库和链接的社交网络。由于CSS选择器，我选择的设置(如上)是合适的，还是仅限于抓取特定页面？
浏览 0提问于2014-08-07得票数 0
2回答
因此，谷歌宣布它将使用网站加载时间作为其排名算法的一个因素。我的问题不是谷歌机器人会读多少内容，或者不会读多少内容。关于这件事有很多问题。
我的问题是，你知道吗，或者你能建议一下，谷歌机器人将如何决定这样一个动态网站的“加载时间”？它的机制是什么？如果传言是正确的，并且机器人没有执行javascript，我可以
浏览 0提问于2012-09-12得票数 2
回答已采纳
我找到了一些关于如何抓取JS页面并与之交互的信息。但我的疑问是，如何使用selenium从可点击的地图中获取数据。我试着找出页面中是否有隐藏的链接，但是没有。我计算出，当我将鼠标移到地图上的任何按钮(在地图中)时，x，y位置会发生变化(当然……)在我点击按钮后，我可以抓取我的数据。使用静态模型，我可以抓取我想要的所有数据。
浏览 1提问于2015-12-20得票数 0
1回答
登录时刷新页面
、、、、
我目前已经建立了一个功能登录页面。登录后，我使用componentDidmount()抓取数据以解析用户信息(名称等)。登录时，我当前正在从react-router使用Redirect；但是，这不会刷新页面。 不使用Redirect并在登录后重新加载页面的最好方法是什么？这样，我的信息就可以从componentDidMount()中获取。 我也使用了ComponentWillReceieveProps，但它也不能满足我的代码需求 谢谢!; r
浏览 19提问于2020-03-23得票数 0
document.createElement('script');我不确定这个al.js是做什么的。附加到fb-root元素的结果。
这个异步函数是做什么的?为什么它被称为“刮板”？
浏览 0提问于2012-09-08得票数 0
回答已采纳
7回答
我正在寻找软件，即使它很昂贵，或者是一个桌面应用程序，它可以让我轻松地输入URL并将所有内容抓取到我本地计算机上的指定文件夹中。任何帮助都将不胜感激。
浏览 2提问于2011-04-25得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
