腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

IT技术精选文摘

专栏作者

542

文章

762688

阅读量

136

订阅数

教你如何监控网站URL是否正常

监控网站URL是否正常最常见的方法莫过于wget和curl命令了，这两个命令都是非常强大的，强大到网友查看帮助都无从选择的地步了。 1.1 wget命令 wget命令的参数非常多，至少也有数十个，但是运维工作中常用的并不多，老男孩老师把最有用的列表如下。 wget命令下载网页或文件 --spider 模拟爬虫的行为去访问网站，但不会下载网页 -q, --quiet 安静的访问，禁止输出，类似-o /dev/null功能 -o, --output-file=FILE 记录输出到文件 -T,

2018-06-22

3.8K0

搜索引擎架构概述

爬虫大数据

架构对软件系统来讲，从一个层面对系统的各个组件进行抽象.描述它们各自的功能、提供的接口以及它们之间的关系. 需求架构为应付需求而产生，对搜索引擎来讲，它主要的需求来自两个方面：效果(effectiveness)：搜索的结果质量如何. 效率（effeciency）：返回结果的相应时间是不是够低，搜索服务的吞吐量是不是够高. 索引处理系统（Indexing Process）从这样的需求出发，我们就不能顺着文档的每一个字或词来比较用户输入的查询关键字. 所以我们需要一种能提供高效的数据结构、算法和检索

2018-01-30

1.5K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态