腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
这是一个搜索引擎优化错误,没有
加载
谷歌-搞笑
js
的
爬虫
?
seo
、
google-analytics
不会为
爬虫
加载
google-analitics
js
会导致问题吗?这对SEO不好吗?
浏览 0
提问于2017-09-19
得票数 1
1
回答
在性能方面,为什么facebook不一次
加载
所有的
JS
文件?
performance
、
seo
登录后,我查看了facebook中的html代码,他们似乎对
JS
文件做了很多请求(根据firebug,多达20个)。所以,虽然我知道facebook需要
加载
许多
JS
和CSS文件(而不是一个
JS
和一个CSS文件),但我的问题是更通用的网站和网络
爬虫
的状态。我们应该担心这些技术(通过ajax
加载
主要内容)会影响网络
爬虫
(googlebot和朋友)吗?我想提高性能,
加载
“稍后需要”的内容(text/
js
/css)似乎是个
浏览 2
提问于2013-03-18
得票数 3
4
回答
有没有适合抓取的服务器端dom引擎?
dom
、
extract
、
web-crawler
、
jaxer
我发现了一个项目,,它在服务器端嵌入了Firefox引擎,所以它可以很好地解析服务器端的JavaScript。但是,这个项目似乎已经死了。解析HTML和提取数据对于爬行网页是很有帮助的。
浏览 3
提问于2010-10-09
得票数 1
回答已采纳
1
回答
如何使用PHP从另一个网站获取数据并将其存储在MySQL数据库中?
php
、
mysql
、
curl
我需要使用PHP从网站中获取数据,并将其保存在MySQL数据库中。我还想获取图像并将它们保存在我的服务器中,以便在我的站点中显示它们。我听说可以使用API,但是我想知道我是否可以使用CURL来完成这个任务。我想每天获取大量的数据,那么使用CURL会消耗大量的服务器端资源吗?还有哪些其他方法可以获取数据?
浏览 5
提问于2011-08-17
得票数 1
1
回答
C#
爬虫
程序无法
加载
动态内容
c#
、
request
、
web-crawler
、
abot
爬虫
可以正确地请求页面,但问题是几乎所有内容都是通过knockout.
js
动态
加载
的。
爬虫
程序目前无法请求此内容,这导致只
加载
了页面的一小部分。我希望
加载
整个页面,但只
加载
页面的底部。谢谢!
浏览 12
提问于2019-07-09
得票数 0
1
回答
node.
js
与
C#
的网络爬行性能
c#
、
performance
、
node.js
、
web
、
web-crawler
我使用csharp和java编写了我的大多数应用程序,用asp.net/
c#
编写了我的web应用程序。 我想问的是,从性能的角度来看,Node.
js
是否值得考虑?考虑到吞吐量是最重要的因素。Node.
js
更易于移植和跨平台是另一个原因,但性能对我来说更重要。
浏览 1
提问于2013-06-30
得票数 2
2
回答
使用scrapy python的.net框架
c#
、
python
、
scrapy
、
ironpython
我正在做我的最后一年的项目,在这个项目中,我想使用
C#
作为前端语言,并使用Python来抓取数据。
浏览 0
提问于2014-05-07
得票数 4
1
回答
谷歌抓取/索引“计算的”或原始的html源代码吗?
php
、
wordpress
、
search
我有一个独特的情况,我有几个页面在多个页面中“分页”(通过WordPress的“下一页”功能)。相同的内容,分布在两个或更多页面上,如下所示:http://mysite.com/mypage/2因此,页面本身有一个html页面标题标记<title>My Page</title>,但由于它分布在多个页面上,我必须创建脚本来为每个页面添加唯一的html标题标记,以便让google对它们进行索引。$exploded = explode("/
浏览 4
提问于2013-06-22
得票数 2
1
回答
使用IIS重写规则重定向到仅供
爬虫
使用的静态内容的SEO后果
seo
、
web-crawlers
、
javascript
、
angular.js
要解决这个问题,我的想法是使用IIS重写规则来重定向到静态生成的内容(使用Nuxt),如果您的用户代理是已知的
爬虫
。
浏览 0
提问于2019-04-18
得票数 0
回答已采纳
1
回答
C#
-用网页
爬虫
下载网站ajax页面
c#
、
ajax
、
web-crawler
我用
c#
(使用Microsoft WebCrawler)编写了一个简单的网络
爬虫
项目,它可以下载特定站点的内容。当我试图在代码中执行相同的操作时,页面的ajax部分没有正确
加载
。有线索吗?
浏览 1
提问于2011-03-11
得票数 0
1
回答
CSS显示表,任何SEO的含义?
seo
、
css
、
table
我想使用CSS显示表代替
JS
,用于HTML元素的垂直对齐和等高,但是我不确定这是否有任何SEO含义,
爬虫
会尝试以这种方式解释以表格数据方式显示的元素的内容,还是会忽略它并将其解释为正常的内容?
浏览 0
提问于2014-02-07
得票数 1
3
回答
为什么搜索引擎
爬虫
不运行javascript?
javascript
、
ajax
、
search-engine
、
google-crawlers
我想知道为什么
爬虫
不运行javascript来获得呈现的页面和索引。这背后有什么原因?或者这是搜索引擎未来可能会出现的一个缺失的特性?
浏览 4
提问于2013-10-10
得票数 17
回答已采纳
3
回答
使用Javascripts或Web表单对网站进行爬行
c#
、
javascript
、
windows
、
webforms
我有一个网络
爬虫
应用程序。它成功地抓取了大多数常见和简单的网站。现在,我遇到了一些类型的网站,其中HTML文档是通过表单或javascripts动态生成的。
浏览 0
提问于2010-03-30
得票数 5
回答已采纳
1
回答
我可以在我的网站中只呈现元标签作为SSR吗?
node.js
、
reactjs
、
server-side
、
server-side-rendering
、
meta-tags
我有一个完整的网站建立的反应前端和NodeJs + Express后端。我的需求是拥有一个特定路由的动态OG (Open图)标记,这是由特定组件使用的。这是相关的代码:路线:这是DigitalCard组
浏览 4
提问于2021-01-13
得票数 1
2
回答
将javascript放在</html>标记之后
javascript
、
seo
、
joomla1.5
我搜索了论坛,谷歌等,然后我得到它应该放在我的模板head.php文件的标签后面 但是,如果我剪切并粘贴任何调用head.php文件的javascript文件,如果我取消发布该特定模块,那么它是否也会
加载
在模块中有许多javascript文件,这些文件是在特定条件检查时
加载
的,如果我默认将这些文件放在head.php中,会不会有问题?
浏览 1
提问于2013-04-20
得票数 0
2
回答
使用node.
js
创建启用javascript的web
爬虫
node.js
、
express
这不一定是一个
爬虫
,但我想它更容易理解说明的方式。我想在node.
js
中执行同样的任务。as的res.render似乎不接受html-string作为输入。假设node.
js
get与浏览器获得的地址相同的html? 您可以想到一个web
爬虫
,它获取htm
浏览 2
提问于2015-02-01
得票数 2
4
回答
用
C#
解析和执行
JS
c#
、
javascript
、
scriptengine
我有简单的
爬虫
爬行和搜索页面。但是现在我遇到了如何从页面执行和解析
js
链接的问题。有人知道如何解析和执行
js
页面吗? some_url很容易用webhtmltoolktit解析。JAVASCRIPT(1,7,0,2,7,9)是
js
链接,然后重定向到some_url2页面,然后我需要爬行这个页面。但问题是如何在
C#
中执行这个javascript以获得some_url2链接?
浏览 13
提问于2011-01-20
得票数 24
回答已采纳
4
回答
从PHP视图计数器中排除机器人和蜘蛛
php
、
ads
、
web-crawler
我已经为一个PHP网站建立了一个相当基本的广告管理器。它服务于我的低流量网站,尽管只是显示一个随机的横幅广告,计数印象浏览和点击。 我注意到的一件事是,印象/视图计数器似乎经常被夸大。例如,如果有人从我的网站上的
浏览 4
提问于2013-07-07
得票数 8
回答已采纳
1
回答
包含产品文本的下拉列表的SEO排名,网站访问者可以查看或隐藏哪些内容?
jquery
、
css
、
xhtml
、
seo
、
spam-prevention
查看演示将让您对我的计划有一个了解:演示: 那么,参考另一个关于
爬虫
只索引第一层隐藏链接的堆栈溢出答案,这种技术对于SEO来说是不是不切实际,因为产品描述可能由于与隐藏框中的关键字垃圾邮件相关联而无法索引
浏览 0
提问于2011-04-13
得票数 0
1
回答
是否下载CSS、
JS
和图片?
java
、
html
、
parsing
、
html-parsing
、
jsoup
我正在学习写实验
爬虫
。我计划使用JSoup。例如,我的问题是,如果load facebook.com是JSoup,就会下载CSS、
JS
和图片,这些都是页面的一部分。简单地说,JSoup是否
加载
资产,如链接样式表、
JS
、图像等?
浏览 3
提问于2015-11-19
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
懒加载lazyLoader.js
Java 爬虫遇上数据异步加载
Python爬虫——利用PhantomJS下载动态加载图片
如何用js实现加载上升的loading效果
Python新手写爬虫!尝试动态加载的电影网站爬虫
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券