腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(1307)
视频
沙龙
2
回答
浏览器限制会影响网页
爬虫
吗?
redirect
、
asp.net-mvc-4
、
web-crawler
return Redirect("/h"); return View(); 问题:如果我限制一些浏览器访问我的主视图,它也会限制对
网络
爬虫
的访问吗
浏览 0
提问于2013-02-21
得票数 0
回答已采纳
2
回答
抓取图像、整个Web页面并缓存它们
python
我正在开始一个项目,想知道图像中的人物和图像所在的整个网页之间的关系。
浏览 0
提问于2010-06-16
得票数 0
1
回答
如何为web
爬虫
设置有效的cron作业
php
、
web-crawler
、
cron-task
我已经写了一个php
网络
爬虫
来索引只有180个特定来源的内容,但它平均每页需要2秒来分析,抓取和保存我想要的内容:
图片
,网址,标题,完整内容,摘录,
标签
。(有几种算法可以分析所有元
标签
以获得正确的数据)ps:我正在一个共享主机上测试它,一个专用的服务器会大大减少时间吗?
爬虫
脚本访问数据库中的18个源,获取最新的9个文章页面并爬取内容,对其
浏览 0
提问于2012-09-26
得票数 1
3
回答
检索包括嵌入对象的网页
java
、
webpage
我想取一个网页,包括图像,flash动画和其他嵌入式对象。实现这一目标的直接方法是什么?
浏览 1
提问于2010-04-19
得票数 2
1
回答
在c++/c#中,从哪里开始抓取/抓取?
c#
、
c++
、
client-server
、
web-scraping
、
web-crawler
首先,我希望抓取对于从桌面.exe向网站发送请求和获取数据来说是正确的。如果是,我应该使用什么库或插件?我是否应该使用另一种语言(如Java或其他语言)来完成此任务?我需要一些“提示”,因为我真的不知道从哪里开始…
浏览 0
提问于2014-01-18
得票数 1
2
回答
检查站点的本地版本是否已完全翻译的工具(用于持续集成)
web-services
、
localization
、
translation
、
web-crawler
我正在做一个项目,在这个项目中,我们为另一个国家(非英语国家)设计了一个现有网站的本地化版本(用英语编写)。业务需求是“所有可能和不可能的情况都没有英文文本”。我新的网站,有检查断开的链接,html的有效性等,我需要像,但检查网站的所有页面上没有英文文本的东西。有很多代码对于所有国家/地区都是通用的(包括后端和前端)如果有人向通用代码提交任何东西,我需要确保这不会导致本地化版本中的英文文本问题。从业务的角度来看,最好是站点不支持某些功能,而不是显示英文文本(
浏览 2
提问于2013-01-12
得票数 0
2
回答
如何在AWS Glue Crawler中监视和控制DPU使用
amazon-web-services
、
aws-glue
在中,据说亚马逊
网络
服务默认为每个ETL任务分配10个DPU,每个开发端点默认分配5个DPU,即使两者都可以配置最少2个DPU。可以在Glue控制台中配置作业和开发端点以消耗更少的DPU,但我还没有看到
爬虫
程序有任何这样的配置。 每个
爬虫
有固定数量的DPU吗?我们能控制这个数量吗?
浏览 0
提问于2018-03-08
得票数 9
1
回答
Facebook Linter / Open Graph截取URL路径
html
、
facebook
、
facebook-graph-api
、
facebook-like
、
meta-tags
我使用Facebook Linter来调试FB抓取我的meta
标签
的方式。如果我在一个简单的About页面上使用它,它可以提取所有内容,特别是og:url元标记。请参阅:我怀疑这是FB缓存页面的问题,因为在我的About页面上,我进行了快速代码更改,更改了meta
标签
输出,然后通过Linter重新运行同一页面,Linter
浏览 3
提问于2011-10-10
得票数 0
回答已采纳
1
回答
noindex
标签
会阻止机器人抓取页面上的链接吗?
seo
、
meta-tags
、
nofollow
、
noindex
如果我有一个具有noindex标记<meta name="robots" content="noindex" />的页面,我知道该页面将不会显示在搜索结果中。如果我想抓取它们,我可以设置像<meta name="robots" content="noindex, follow" />这样的东西吗?它会起作用吗?
浏览 1
提问于2016-06-14
得票数 0
2
回答
添加/更新在angular 6中不起作用的meta
标签
javascript
、
angular
、
angular6
我在AppModule中导入了服务ngOnInit() { .filter((event) => event instanceof NavigationEnd) .map((route) => {
浏览 1
提问于2019-01-31
得票数 2
2
回答
无法识别附加的h1标记
javascript
、
jquery
、
html
、
seo
我在这个页面上用jquery添加了h1标记,如下所示:h1标记和标记的内容显示得很好,但是当我在各种seo工具(例如这个:)中测试我的页面时,我得到的消息是页面没有h1标记。 $(
浏览 2
提问于2013-04-15
得票数 2
回答已采纳
1
回答
Web Crawler -找不到对象
c#
、
asp.net
、
web-crawler
、
html-agility-pack
我正在用asp.net开发一个
网络
爬虫
。 我的
网络
爬虫
有一个主页,它从HREF
标签
打开其他HTML页面,下载HTML页面并获取数据。
浏览 1
提问于2014-01-06
得票数 0
2
回答
在没有SSR的情况下,Googlebot是否可以使用Angular 8组件来设置HTML标题和meta标记?
angular
、
seo
、
meta
谷歌搜索控制台显示了正确的屏幕数据,但默认的标题和meta
标签
。 有没有办法在没有Universal的情况下解决这个问题?
浏览 0
提问于2020-10-03
得票数 0
1
回答
如何从镜像路径重定向
facebook
、
redirect
、
amazon-s3
它分享的是传递到FB共享器中的动态
图片
(不是主url),所以
图片
是www.site.com/path/ to /image.jpg -当用户从实际的Facebook帖子点击它时,不出所料,它会路由到www.site.com
浏览 0
提问于2019-05-03
得票数 0
3
回答
“索引,跟随”和“跟随”的区别是什么?
html
、
seo
、
noindex
以下清单有哪些不同之处: <meta name="
浏览 4
提问于2018-07-11
得票数 6
2
回答
Facebook共享者,显示拇指而不是大图
php
、
facebook
、
facebook-sharer
我设立了一个竞赛,参赛者被要求在facebook上分享他们的结果。print('<a class="facebook stemspeler" style="color:#eec920; margin-right:15px;" target="_blank" onclick="return !window.open(this.href, \'Facebook\', \'width=1200,height=300\')" href="https://ww
浏览 14
提问于2017-02-03
得票数 0
1
回答
如何使用
网络
抓取从谷歌地图获取链接?
web
、
web-crawler
、
google-crawlers
我用java创建了
网络
爬虫
程序,它运行得很好,问题是我如何才能得到这些
图片
中的链接?
浏览 9
提问于2016-09-11
得票数 0
回答已采纳
2
回答
回应分享社交
网络
预览
图片
?
javascript
、
reactjs
我们有一个SPA,与社会
网络
共享有一个问题,因为它是
爬虫
,不会自动获取
图片
,我们需要指定og:image。考虑到用户可以随机获取网址并经过社交
网络
,有什么方法可以为所有页面生成图像?
浏览 3
提问于2019-11-11
得票数 0
回答已采纳
1
回答
使用java抓取纬编的IFrame内容
java
、
html
、
iframe
、
web-crawler
我想抓取网页的IFrame内容(动态内容); </iframe> 所以从开始。这是否支持爬行IFrame内容?我通过了这个;上面的问题似乎是关闭而不
浏览 3
提问于2014-12-09
得票数 1
1
回答
Facebook og:image从帖子内容中获取图像
facebook
、
html
、
facebook-graph-api
我有问题的Facebook没有显示适当的
图片
时,我分享。问题是,当我尝试分享博客帖子时,这是唯一显示的
图片
。如果我有一个特色图像集,它将使用它,但如果没有设置图像,它将默认为主fbthumb.jpg。
浏览 0
提问于2012-02-08
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
教你分分钟学会用python爬虫框架Scrapy爬取心目中的女神
师范学院教授教你,用python玩爬虫的基础知识,全是干货
爬虫实战之暴走表情包下载
让我又学到了爬虫的一些方法!
爬虫学习(一):爬取静态博客(上)
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券