【译】使用RxJava从多个数据源获取数据

  • 原文链接: Loading data from multiple sources with RxJava
  • 原文作者: Daniel Lew
  • 译文出自: 小鄧子的简书
  • 译者: 小鄧子
  • 校对者: hi大头鬼hi
  • 状态: 完成
  • 译者注:为了方便因Lambda(译文)还不够了解的同学进行阅读,本篇译文替换了原作中全部Lambda表达式。

试想,需要一些动态数据的时候,只要每次都请求网络就可以了。但是,更有效率的做法是,把联网得到的数据,缓存到磁盘或内存。

具体的说,计划如下:

  1. 偶尔的联网操作,只为获取最新数据。
  2. 尽可能快的读取到数据(通过获取之前缓存的网络数据)。

我将通过使用 RxJava,来实现这个计划。

基本模式

为每一个数据源(网络,磁盘和内存)创建Observable<Data>,使用concat()first()操作符,构造一个简单的实现方式。

concat()操作符持有多个Observable对象,并将它们按顺序串联成队列。 first()操作符只从串联队列中取出并发送第一个事件。因此,如果使用concat().first(),无论多少个数据源,只有第一个事件会被检索出并发送。

// Our sources (left as an exercise for the reader)
Observable<Data> memory = ...;  
Observable<Data> disk = ...;  
Observable<Data> network = ...;
// Retrieve the first source with data
Observable<Data> source = Observable  
  .concat(memory, disk, network)
  .first();

这种模式的关键在于concat()操作符只有需要数据的时候才会订阅所有的Observable数据源。由于first()操作符会较早的停止检索队列,所以,如果存在缓存数据,就没有必要访问较慢的数据源。 也就是说,如果memory返回结果,就不必担心disknetwork会被访问。相反地,如果内存磁盘都没有数据,才执行网络请求。

注意concat()所持有的Observable数据源,是按照一个接一个的顺序被检索的。

持久化数据

很明显,下一步是缓存数据。如果不把网络请求后的结果缓存到磁盘,磁盘访问后的结果缓存到内存,那么这根本不就不叫缓存。接下来要写的代码就是,网络数据的持久化操作。

我的解决方案是,让每个数据源在发送完事件后,都保存或者缓存数据。

 Observable<Data> networkWithSave = network.doOnNext(new Action1<Data>() {
 @Override public void call(Data data) {
 saveToDisk(data);
 cacheInMemory(data);
 }
});
 Observable<Data> diskWithCache = disk.doOnNext(new Action1<Data>() {
 @Override public void call(Data data) {
  cacheInMemory(data);
 }
});

现在,如果你使用networkWithSavediskWithCache,数据将会在加载后自动保存。

(这個策略的另一个优势在于networkWithSavediskWithCache可以在任何地方被使用,不局限于我们的多数据模式下。)

陈旧的数据

不幸的,现在我们保存数据的那些代码,执行的有点过头了。无论数据是否过时,它总是返回相同的数据。我们希望做到,偶尔连接服务器抓取最新的数据。

解决方法在于,使用first()操作符进行过滤。就是设置它拒绝接收毫无价值的数据。

Observable<Data> source = Observable
    .concat(memory, diskWithCache, networkWithSave)
    .first(new Func1<Data, Boolean>() {
      @Override public Boolean call(Data data) {
        return data.isUpToDate();
      }
    });

现在,我们只需要发送被断定为最新数据的事件就OK了。因此,只要有一个数据源的数据过期,就继续检索下一个数据源,直到找到最新数据为止。

first()takeFirst()操作符的比较

对于这种设计模式,first()takeFirst()操作符可以二选其一。

两种调用方式的区别在于,如果所有数据源的数据均过期,没有任何的有效数据作为事件发送,first()会抛出NoSuchElementException异常(译者注:first()操作符均 return false),而takeFirst()操作符则直接调用完成操作,不会抛出任何异常。

使用哪个操作符,完全取决于是否需要明确处理缺失的数据。

代码示例

可以从这里检出,以上所有代码的实现示例:https://github.com/dlew/rxjava-multiple-sources-sample。

如果需要一个真实示例,检出 Gfycat App,它在获取数据的时候使用了这种模式。项目并没有使用以上展示的所有功能(因为不需要),但是,示范了concat().first()的基本用法。

原文发布于微信公众号 - 程序员Gank(programmer_gank)

原文发表时间:2018-01-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏安恒信息

Hacking Team分析(二) 沙箱对抗分析

0x00背景 在Hacking Team泄露的文件中含有不少后门、木马的源码,其中就包含有一些反虚拟机反沙箱的代码, 如scout-win-master中就涉及...

52940
来自专栏安恒网络空间安全讲武堂

bugkuctf_web_writeup(部分)--上

bugkuctf平台10个较简单的web题目writeup,适合新手入门,可以找来试试http://ctf.bugku.com/bbs 。 Web2 题目描述:...

91550
来自专栏安智客

GP TEE中的几种存储方式介绍

我们知道TEEOS最重要的功能莫过于安全存储了,这是一切安全的前提,根据存储安全性和使用场景GP TEE安全存储分为RPMB安全存储、SFS安全存储和SQLFS...

53560
来自专栏十月梦想

原生node加密模块(crypto)

前面简单描述了第三方模块md5的加密,今天来了解一下,node原生API加密模块crypto

9420
来自专栏安恒信息

Struts2 s2-032远程代码执行分析

1. 介绍: Struts 2是Struts的下一代产品,是在 struts 1和WebWork的技术基础上进行了合并的全新的Struts 2框架。其全新的St...

39860
来自专栏C#

跨平台的.NET邮件协议MailKit组件解析

    发起的.NET Core开源组织号召,进展的速度是我自己也没有想到的,很多园友都积极参与(虽然有些人诚心砸场子,要是以我以前的宝脾气,这会应该被我...

30670
来自专栏Seebug漏洞平台

Mirai源码分析

1. 背景概述 最近的德国断网事件让Mirai恶意程序再次跃入公众的视线,相对而言,目前的IoT领域对于恶意程序还是一片蓝海,因此吸引了越来越多的人开始涉足这趟...

51370
来自专栏上善若水

S009SEAndroid中定义的各种策略文件

在external/sepolicy目录 存放了很多SELinux的策略定义文件,在类似device/lge/mako/sepolicy目录下也放了策略文件,作...

21450
来自专栏小鄧子的技术博客专栏

【译】使用RxJava从多个数据源获取数据

试想,需要一些动态数据的时候,只要每次都请求网络就可以了。但是,更有效率的做法是,把联网得到的数据,缓存到磁盘或内存。

18120
来自专栏FreeBuf

浅谈拒绝服务攻击的原理与防御(3)| 反射DDOS攻击利用代码

0×01 前言 之前发了一篇关于反射DDOS攻击原理以及反射资源扫描的文章,本来今天的这个应该并到那篇文章里,共称为反射DDOS攻击扫描与利用,但是我怕这样做会...

30390

扫码关注云+社区

领取腾讯云代金券