腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

xingoo, 一个梦想做发明家的程序员

专栏作者

805

文章

898226

阅读量

80

订阅数

分布式理论——从ACID到CAP再到BASE

分布式大数据数据库

在传统的数据中，有ACID四大原则，在分布式中也有对应的CAP理论和BASE理论，这些都是分布式理论的基础。更多内容参考：大数据学习之路 ACID ACID分别是Atomicity 原子性、Consistency 一致性、Isolation 隔离性、Durability 持久性，有了这几个特性，就保证了数据库的可靠。原子性原子性代表一系列的操作要么全做，要么全不做。比如，在银行转账，从一个账号扣钱，另一个账号加钱，这两个操作必须同时进行。否则就会出现账目对不上的情况。一致性一致性官方的描述是，

2018-04-18

7200

Elasticsearch 连接查询

es 2 数据库分布式存储

在一般的关系型数据库中，都支持连接操作。在ES这种分布式方案中进行连接操作，代价是十分昂贵的。不过ES也提供了相类似的操作，支持水平任意扩展，实现连接的效果。其他内容，参考Elasticsearch官方指南整理 ES中的连接在ES中支持两种连接方式：嵌套查询和 has_child、has_parent父子查询嵌套查询：文档中包含嵌套的字段，这些字段以数组的形式保存对象，这样每个嵌套的子对象都可以被搜索。 has_child、has_parent父子查询：父子文档是存储在同一个索引

2018-01-17

2.7K0

Oozie分布式工作流——流控制

最近又开始捅咕上oozie了，所以回头还是翻译一下oozie的文档。文档里面最重要就属这一章了——工作流定义。一提到工作流，首先想到的应该是工作流都支持哪些工作依赖关系，比如串式的执行，或者一对多，或者多对一，或者条件判断等等。Oozie在这方面支持的很好，它把节点分为控制节点和操作节点两种类型，控制节点用于控制工作流的计算流程，操作节点用于封装计算单元。本篇就主要描述下它的控制节点... 背景先看看oozie工作流里面的几个定义： action,一个action是一个独立的任务，比如mapred

2018-01-17

9900

Oozie分布式工作流——Action节点

前篇讲述了下什么是流控制节点，本篇继续来说一下什么是 Action Nodes操作节点。Action节点有一些比较通用的特性： Action节点是远程的所有oozie创建的计算和处理任务都是异步的，没有任何应用是工作在oozie内部的。基本上都是创建一个oozie任务，oozie任务会以map的形式，在各个节点再创建相应的任务。因此当你执行spark任务的时候，就会发现yarn集群监控列表里面会同时有两个任务出现。 Action节点是异步的 oozie创建的任务都是异步的，对于大多数的任务来说，oo

2018-01-17

6930

Oozie分布式工作流——从理论和实践分析使用节点间的参数传递

Oozie支持Java Action，因此可以自定义很多的功能。本篇就从理论和实践两方面介绍下Java Action的妙用，另外还涉及到oozie中action之间的参数传递。本文大致分为以下几个部分： Java Action教程文档自定义Java Action实践从源码的角度讲解Java Action与Shell Action的参数传递。如果你即将或者想要使用oozie，那么本篇的文章将会为你提供很多参考的价值。 Java Action文档 java action会自动执行提供的java c

2018-01-17

1.2K0

Oozie分布式任务的工作流——Sqoop篇

Sqoop的使用应该是Oozie里面最常用的了，因为很多BI数据分析都是基于业务数据库来做的，因此需要把mysql或者oracle的数据导入到hdfs中再利用mapreduce或者spark进行ETL，生成报表信息。因此本篇的Sqoop Action其实就是运行一个sqoop的任务而已。同样action会等到sqoop执行成功后，才会执行下一个action。为了运行sqoop action，需要提供job-tracker,name-node,command或者arg元素。 sqoop action

2018-01-17

9430

Oozie分布式任务的工作流——脚本篇

分布式 shell xml mapreduce

继前一篇大体上翻译了Email的Action配置，本篇继续看一下Shell的相关配置。 Shell Action Shell Action可以执行Shell脚本命令，工作流会等到shell完全执行完毕后退出，再执行下一个节点。为了运行shell，必须配置job-tracker以及name-node，并且设置exec来执行shell. Shell既可以使用job-xml引用一个配置文件，也可以在shell action内直接配置。shell action中的配置会覆盖job-xml中的配置。 EL表达式

2018-01-17

1K0

Oozie分布式任务的工作流——邮件篇

xml tcp/ip 分布式企业邮箱 spark

在大数据的当下，各种spark和hadoop的框架层出不穷。各种高端的计算框架，分布式任务如乱花般迷眼。你是否有这种困惑！——有了许多的分布式任务，但是每天需要固定时间跑任务，自己写个调度，既不稳定，又没有可靠的通知。想要了解Oozie的基础知识，可以参考这里那么你应该是在找——Oozie。 Oozie是一款支持分布式任务调度的开源框架，它支持很多的分布式任务，比如map reduce,spark,sqoop,pig甚至shell等等。你可以以各种方式调度它们，把它们组成工作流。每个工作流节点可以

2018-01-17

1.6K0

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态