腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
搜索引擎如何唯一地识别
web
上的每个页面
web-crawler
、
search-engine
、
google-crawlers
、
search-engine-bots
、
code-search-engine
如果我写了一篇文章,他的链接是'example.com/abc.php‘&这篇文章在搜索引擎中排名靠前。 几天后,我更新了这篇文章,包括它的内容和'xyz.php‘的永久链接。 现在,之前URL为'example.com/abc.php‘的帖子被更新为'example.com/xyz.php’。 那么搜索引擎将如何知道这是与URL example.com/abc.php排名相同的页面/帖子。并且需要将搜索结果中的链接更新为“example.com/xyz.php”,而不影响排名。 在更新固定链接之前和之后,在为搜索引擎创建一个唯一标识页面的新帖子时,有
浏览 35
提问于2021-01-25
得票数 0
2
回答
jQuery加载和搜索引擎优化
jquery
、
ajax
、
seo
浏览 4
提问于2010-08-19
得票数 2
1
回答
谷歌如何对Angular4网站进行索引?
angular
、
seo
、
angular-material
、
permalinks
谷歌如何对所有页面进行索引?如您所见,该站点使用的是Angular4 (查看源)。
浏览 0
提问于2017-07-03
得票数 3
回答已采纳
2
回答
索引在数据库中意味着什么?
mysql
、
web-crawler
它对网络
爬虫
有什么用处?
浏览 4
提问于2010-08-18
得票数 0
回答已采纳
1
回答
使用jQuery在head中添加元标记可以吗?
javascript
、
jquery
、
html
、
seo
、
meta
我想在HTML页面中有条件地添加元标记,我不确定这样做是否可以或者甚至不使用jQeruy ready。给出了这个例子。if(myHost.startsWith("techstag")) {}
浏览 1
提问于2020-01-06
得票数 1
1
回答
Web
Crawler的功能
java
、
open-source
、
web-crawler
网络
爬虫
是否只从
网页
中返回提取的文本?例如,如果
web
服务器中也存储了一些pdf/doc文件。网络
爬虫
可以爬行它们并返回它们的内容吗?不管怎样,对于一个好的开源Java网络
爬虫
有什么建议呢? 谢谢!
浏览 2
提问于2011-06-26
得票数 0
回答已采纳
1
回答
如果我为我的python脚本做了一个简单的gui,它会影响它的效率吗?
python
、
user-interface
、
tkinter
嗨,我想做一个
网页
爬虫
,检查URL的数据,如果我做一个简单的Gui,使脚本更容易查找变量的数据,添加代码的gui会使我的网络
爬虫
效率降低吗? 我需要
爬虫
尽可能高效,能够尽可能快地处理数据。为这个Python脚本制作一个gui,会不会妨碍
web
爬虫
的性能?
浏览 3
提问于2015-01-27
得票数 0
回答已采纳
1
回答
用Python3 (Scrapy,BS4)抓取网站确实会产生不完整的数据。找不到原因
python-3.x
、
web-scraping
、
scrapy
不久前,我用BS4设置了一个网络抓取器,每天记录一瓶威士忌的价值。from bs4 import BeautifulSoup try: website = requests.get(URL) print("ERROR requesting
浏览 4
提问于2020-10-22
得票数 0
1
回答
在wordpress中的robots.txt文件中,用户代理和不允许的含义是什么?
robots.txt
在robots.txt文件中,WordPress中的用户代理和不允许是什么意思?我对此有点困惑。
浏览 0
提问于2015-02-03
得票数 0
1
回答
使用javascript对SEO友好的条件加载
javascript
、
mobile
、
conditional
、
loading
、
seo
我计划做一个responsive+mobile的第一个
网页
设计。所以我的计划是: 不过,我在这里有个问题。
浏览 6
提问于2012-10-18
得票数 4
回答已采纳
2
回答
Web
爬虫
不能处理多个
网页
python
、
beautifulsoup
、
web-crawler
、
urllib
我试图用下面的程序从
网页
中提取一些关于mtg卡的信息,但是我反复检索有关初始页面给定(InitUrl)的信息。
爬虫
无法继续前进了。
浏览 0
提问于2018-06-19
得票数 3
回答已采纳
2
回答
Web
Crawler与Html解析器
java
、
web-crawler
、
jsoup
、
crawler4j
web
爬虫
和解析器有什么区别? 他们的目的是一样的吗?
浏览 3
提问于2018-11-14
得票数 2
回答已采纳
2
回答
如何解析
网页
链接的规范化URL
html
、
groovy
、
url-routing
背景信息:在HTML代码中的链接中,URL地址有时是缩写的。想到了三种不同的URL类型: 然而,我意识到
web
应用程
浏览 2
提问于2012-08-05
得票数 0
回答已采纳
1
回答
有没有一种方法来呈现一个不同的页面取决于谁是客户端,网络
爬虫
与网络应用-客户端?
node.js
、
http
、
express
、
server-side-rendering
我正在建立我的
网页
来支持ssr,我的问题来了,我能知道客户是否是一个网络
爬虫
,这样我就可以做ssr? 这样,我就可以为我的
网页
服务,就像它给不是
web
爬虫
的客户端一样。
浏览 0
提问于2019-03-27
得票数 1
回答已采纳
2
回答
如何通过asp.net下载html页面
asp.net
如何从我的
web
应用程序下载
网页
,然后读取"title“和"description”元标签?就像网络
爬虫
一样,但在Asp.net中并被..an asp.net
网页
调用? 谢谢!
浏览 3
提问于2011-01-04
得票数 1
回答已采纳
1
回答
Google索引不再工作了
google
我在网站上使用这两个标签,但它们似乎不再起作用了?<!--googleoff: index--><!--googleon: index-->当我在Google上搜索一个页面并查看Cached版本时,我仍然可以看到标签里面有什么?这些标签被废弃了吗?
浏览 0
提问于2015-09-21
得票数 0
回答已采纳
1
回答
如何检查请求是否来自google、facebook、twitter和bing
爬虫
?
php
、
laravel
、
web
、
handlebars.js
、
template-engine
我想提供一个
web
应用程序,并在JavaScript中编译一个带有双向数据绑定的模板。另一方面,我想为
网页
爬虫
制作刚刚好的HTML内容。如何知道请求是否来自流行的网络
爬虫
/机器人,如Google、bing、facebook、twitter?
浏览 4
提问于2015-10-06
得票数 2
回答已采纳
1
回答
Web
.config修改以阻止搜索引擎爬行pdfs
iis
、
web.config
我试图阻止
网页
爬虫
索引pdf文件在网站上。我知道如何处理.htaccess文件,但不知道如何在
web
.config文件中这样做。这个片段将阻止
爬虫
建立整个站点的索引,对吗?
浏览 0
提问于2020-11-06
得票数 4
回答已采纳
1
回答
CSS显示表,任何SEO的含义?
seo
、
css
、
table
我想使用CSS显示表代替JS,用于HTML元素的垂直对齐和等高,但是我不确定这是否有任何SEO含义,
爬虫
会尝试以这种方式解释以表格数据方式显示的元素的内容,还是会忽略它并将其解释为正常的内容?
浏览 0
提问于2014-02-07
得票数 1
1
回答
爬行延迟:X
seo
、
web-crawlers
、
robots.txt
从以前阅读不同文章的研究中,我了解到robots.txt爬行延迟(如crawl-delay: 1 )允许给定的搜索引擎每一秒爬行几个
网页
,而不是停止,直到下一次。
浏览 0
提问于2020-02-23
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
用Python做网页爬虫
WEB测试之网页测试
网页爬虫与Bioconductor!
网页开发vs网页设计师 Web Designer区别
网页编辑工具Expression Web简介
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券