专栏首页JAVAandPython君分布式爬虫| 你必须得懂的那些Redis基础

分布式爬虫| 你必须得懂的那些Redis基础

这是我们分布式爬虫系列文章的第三篇文章了,这是最后一篇打基础的文章,在下一篇文章中,我们就会通过一个实战,来彻彻底底教会大家分布式爬虫!

今天,我们主要讲的是Redis数据库,相信大家肯定听说过这个数据库。我们主要分为Redis的安装与启动以及Redis的使用基础两个方面来给大家讲解。

Redis的安装

我们首先进入到容器当中,具体可以看图:

进入之后,我们输入

apt-get -y install redis-server

稍作等待,即可安装成功。

如果这个过程中出现问题,可以升级一下你的apt-get

apt-get update

Redis的启动和连接

我们安装完成之后,就需要启动Redis数据库服务器

/etc/init.d/redis-server restart

其实,Redis是分为服务器和客户端两端的,我们上面启动是服务器,就意味着Redis服务打开了,此时我们需要打开客户端去连接服务器。

不带参数的连接服务器

redis-cli

带参数的连接服务器

redis-cli -h 主机地址 -p 端口

如果大家在这里遇到了下图的报错:

提示说Connection refused ,这里我教大家来解决

首先进入/etc/redis 然后vi redis.conf,来编辑这个文件

找到这句话,上图是我修改后的,后面的172.18.0.4是我的容器ip,如何查看可以去上一篇docker的文章中找。

Redis使用基础

Redis与其他的数据库不同之处在于Redis中的存储格式是键值对。

1. 例如我们想设置一个数据,我们可以使用set来实现,取出数据使用get

2. 获取键值的长度 strlen

3. 批量设置键值对,取出键值对

在Redis中还有一种存储方式,被称为哈希存储法。它比键值对多了一个“域”。 键 - 域 - 值(key - field - value)

那么我们怎么设置这种数据呢?

那么又如何批量设置键- 域 -值?

其实用于分布式爬虫中的Redis基础就这么多,当然Redis的用法还有很多,如果大家想深入了解,可以去百度搜索一下。

那么我们今天学的这些东西到底有什么用呢?我来给大家简单介绍一下,当我们爬取某个网页时,我们可以使用以下命令:

hset url 123.com 1

此时我们将这个url的值设置为1,就代表我们已经爬取过这个网页了,下次爬取时就不会重复爬取这个网页。如果我们没有爬取这个网页,那么它的值就为null,我们就对其爬取。

整体的思路还是非常简单的,好了,今天我们就写到这,下一篇文章我们会用一个分布式爬虫实战来教大家完完整整的写一个分布式爬虫,记得持续关注!!!


原创不易,希望大家点赞转发!

本文分享自微信公众号 - JAVAandPython君(JAVAandPythonJun)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-07-26

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 走进Java接口测试之服务端测试报告Klov ExtentReports

    在走进Java接口测试之测试报告ExtentReport中我们已经知道 ExtentReport 可以为接口测试提供了出色的可视化报告。而 Klov 是Exte...

    高楼Zee
  • 爬取女神王祖贤的海报评论,看看粉丝们是怎么说

    “ 前面的文章里爬取了豆瓣上女神王祖贤的海报和对应的评论(传送门),今天来把坑填上,处理MongoDB数据,生成词云”

    周萝卜
  • 一文搞懂MySQL-8.0 redo优化

    墨墨导读:本文结合已有资料和最新MySQL release代码,介绍MySQL redo log优化,主要设计模块包括redo_log、mtr和一部分buffe...

    数据和云
  • Redis 简介 + Python 操作发布订阅

    众所周知,Redis 是一个高性能的内存 key-value 数据库。 它主要有三个有点:

    周萝卜
  • 从头完成一个restful API 服务

    “ 昨天搭建了一个HTTPS的服务器,放在那里不用简直是浪费了,今天来部署一个RESTFul API服务”

    周萝卜
  • 漫漫优化路,总会错几步(记一次接口优化)

    最近做了一个搜索接口的优化,反复压测了四次,终于达到要求了,记录一下,晚上加个鸡腿?

    江南一点雨
  • 『并发包入坑指北』之阻塞队列

    老实说作为一个原创作者非常”不容易“(至于如何不容易我就不矫情了),推广这个坦白说肯定会有,但我能保证会尽量克制(基本上都是一个月一次)。

    周萝卜
  • Visual Studio 中使用 SonarLint 分析 C# 代码

    现如今大家越来越认识到质量前移的重要性。如果一开始就写出优质的、经过测试的代码,那么后面的测试阶段将会减少很多不必要的时间。如果开发人员迫于业务压力,一味追求项...

    高楼Zee
  • 强大的类excel插件,handsontable的简单应用

    “ handsontable是一款强大的web端类excel插件,对于需要在网页上编辑类excel数据的同学来说,简直是妙不可言!”

    周萝卜
  • MyBatis 常见面试题总结

    1、Mybatis是一个半ORM(对象关系映射)框架,它内部封装了JDBC,开发时只需要关注SQL语句本身,不需要花费精力去处理加载驱动、创建连接、创建stat...

    江南一点雨

扫码关注云+社区

领取腾讯云代金券