为了创建高效的数据流处理流程,需要了解可用的处理器（Processors ）类型，NiFi提供了大约近300个现成的处理器。这些处理器提供了可从不同系统中提取数据,路由,转换,处理,拆分和聚合数据以及将数据分发到多个系统的功能。如果还不能满足需求，还可以自定义处理器。
GEOMETRY POINT LINESTRING POLYGON MULTIPOINT MULTILINESTRING MULTIPOLYGON GEOMETRYCOLLECTION
本文是关于如何在实时分析中使用云原生应用程序对股票数据进行连续 SQL 操作的教程。
NiFi是美国国家安全局开发并使用了8年的可视化数据集成产品，2014年NAS将其贡献给了Apache社区，2015年成为Apache顶级项目
PutDatabaseRecord处理器使用指定的RecordReader从传入的流文件中读取（可能是多个，说数组也成）记录。这些记录将转换为SQL语句，并作为一个批次执行。如果发生任何错误，则将流文件路由到failure或retry，如果执行成功，则将传入的流文件路由到success。处理器执行的SQL语句类型通过Statement Type属性指定，该属性接受一些硬编码的值，例如INSERT，UPDATE和DELETE，使用“Use statement.type Attribute”可以使处理器获取流文件属性中的语句类型。
RunNiFi类是由 nifi.sh脚本执行java命令指定的主类，RunNiFi类主要是干一些 查找文件，接受脚本指令，启动停止NIFI进程(主类 org.apache.nifi.NiFi)，自动重启NIFI，发送NIFI通知等等操作；关于代码的详细解读都在注释当中，可以从 main方法下自行跟踪阅读(自己跟着源码逻辑读更好)：
初衷：对于一些新接触Apache NIFI的小伙伴来说，他们急于想体验NIFI，恨不得直接找到一篇文章，照着做就直接能够解决目前遇到的需求或者问题，回想当初的我，也是这个心态。其实这样的心态是不对的。好多加入NIFI学习群的新手同学都会有这个问题，一些基本的概念和知识点都没有掌握，然后提出了一堆很初级的问题，对于这些问题，我们可能已经回答了几十上百次，厌倦了，所以大家一般会说"你先去看文档吧！"。其实，对于一个新手，直接看文档，也是一脸懵。所以在这里，我带领新手的你，新建一个同步的流程，并尽可能在新建流程的同时，穿插一些基本概念。跟随本文一起操作或者只是看看，最后你可能就找到了入门的感觉了。
本文通过Groovy，Jython，Javascript(Nashorn)和JRuby中的代码示例，介绍了有关如何使用Apache NiFi处理器ExecuteScript完成某些任务的各种方法。本文中的内容包括：
本文将描述如何利用Apache Kafka(消息中间件)，Apache Nifi(数据流转服务)两个组件，通过Nifi的可视化界面配置，快速构建异步持久化MongoDB架构。
最近的项目中发现处理DML Error 时，逐条逐条处理1千多条的数据从临时表 insert 到正式表需要差不多1分钟的时间，性能相当低下，而Oracle 10g中的DML error logging对于DML异常处理性能卓著。原本打算写篇关于这个特性的文章，正好有经典篇章，于是乎，索性翻译供大家参考，有不尽完美之处，请大家拍砖。 缺省情况下，一个DML命令失败的时候，在侦测到错误之前，不论成功处理了多少条记录，都将将使得整个语句回滚。在使用DML error log之前，针对单行处理首选的办法是使用批量SQL FORALL 的SAVE EXCEPTIONS子句。而在Oracle 10g R2时，DML error log特性使得该问题得以解决。通过为大多数INSERT,UPDATE,MERGE,DELETE语句添加适当的LOG ERRORS子句，不论处理过程中是否出现错误，都可以使整个语句成功执行。这篇文章描述了DML ERROR LOGGING操作特性，并针对每一种情形给出示例。 一、语法 对于INSERT, UPDATE, MERGE 以及 DELETE 语句都使用相同的语法 LOG ERRORS [INTO [schema.]table] [('simple_expression')] [REJECT LIMIT integer|UNLIMITED] 可选的INTO子句允许指定error logging table 的名字。如果省略它，则记录日志的表名的将以"ERR$_"前缀加上基表名来表示。 simple_expression表达式可以用于指定一个标记，更方便去判断错误。simple_expression能够为一个字符串或任意能转换成字符串的函数 REJECT LIMIT 通常用于判断当前语句所允许出现的最大错误数。缺省值是0，最大值则是使用UNLIMITED关键字。对于并行DML操作而言，REJECT LIMIT 会应用到每个并行服务器。 二、使用限制 下列情形使得DML error logging 特性失效 延迟约束特性 Direct-path INSERT 或MERGE 引起违反唯一约束或唯一索引 UPDATE 或 MERGE 引起违反唯一约束或唯一索引 除此之外，对于LONG,LOB,以及对象类型也不被支持。即使是一个包含这些列的表被作为错误日志记录目标表。 三、示例 下面的代码创建表并填充数据用于演示。
您可以创建ACID（原子性，一致性，隔离性和持久性）表用于不受限制的事务或仅插入的事务。这些表是Hive托管表。数据与Schema一起位于Hive metastore中。或者，您可以创建一个外部表用于非事务性使用。数据位于Hive Metastore外部。模式元数据位于Hive Metastore内部。因为外部表受Hive的控制很弱，所以该表不符合ACID。
该export工具将一组文件从HDFS导入RDBMS。目标表必须已经存在于数据库中。根据用户指定的分隔符读取输入文件并将其解析为一组记录。
简介：根据个人的一些提交代码的经历,分享一下给Apache开源项目贡献代码的小经验。以下以Apache NIFI为例说明。
本文主要研究一下nifi的AbstractBinlogTableEventWriter
该处理器使用Hive流将流文件数据发送到Apache Hive表。传入的流文件需要是Avro格式，表必须存在于Hive中。有关Hive表的需求(格式、分区等)，请参阅Hive文档。分区值是根据处理器中指定的分区列的名称，然后从Avro记录中提取的。注意:如果为这个处理器配置了多个并发任务，那么一个线程在任何时候只能写入一个表。写入同一表的其他任务将等待当前任务完成对表的写入。
在之前的官方文档Apache NiFi Overview一章我们有看到：对于任何基于组件的系统，涉及依赖的问题时常发生。NiFi通过提供自定义类加载器来解决这个问题，确保每个扩展包都暴露在一组非常有限的依赖中。因此，构建扩展包的时候不必担心它们是否可能与另一个扩展包冲突。这些扩展包的概念称为“NiFi Archives”，在Developer’s Guide中有更详细的讨论。
INSERT或UPDATE语句是INSERT语句的扩展(它与INSERT语句非常相似)：
在RunNiFi.java源码解读中有提到，最终RunNiFi进程在主程序中启动了新的进程NiFi,并循环监听NIFI进程的状态，直到NIFI进程不在运行，RunNiFi主程序才结束。
以上案例需要用到的处理器有：“CaptureChangeMySQL”、“RouteOnAttribute”、“EvaluateJsonPath”、“ReplaceText”、“PutHiveQL”。
整个脚本分为三部分，第一部分是确定NIFI各个路径 目录的确定，设置环境变量，第二部分是方法区。第三部分是脚本逻辑代码的入口，粗略的根据不同的参数去执行不同的方法。以下脚本有详细注释：
普通索引(INDEX)：最基本的索引，没有任何限制 唯一索引(UNIQUE)：与”普通索引”类似，不同的就是：索引列的值必须唯一，但允许有空值。 主键索引(PRIMARY)：它 是一种特殊的唯一索引，不允许有空值。 全文索引(FULLTEXT )：可用于 MyISAM 表，mysql5.6之后也可用于innodb表， 用于在一篇文章中，检索文本信息的, 针对较大的数据，生成全文索引很耗时和空间。 联合（组合）索引：为了更多的提高mysql效率可建立组合索引，遵循”最左前缀“原则。
这是一个正在进行的工作; 请参与进来，一切都是开源的。Milind和我正在开发一个项目来构建一些对团队有用的东西来分析他们的流程，当前的集群状态，启动和停止流程，并拥有一个丰富的单一仪表板。
外键主要是维护表之间的关系的，主要是为了保证参照完整性，如果表中的某个字段为外键 字段，那么该字段的值必须来源于参照的表的主键
insert ignore会忽略数据库中已经存在的数据(根据主键或者唯一索引判断)，如果数据库没有数据，就插入新的数据，如果有数据的话就跳过这条数据.
nifi-1.11.4/nifi-nar-bundles/nifi-cdc/nifi-cdc-mysql-bundle/nifi-cdc-mysql-processors/src/main/java/org/apache/nifi/cdc/mysql/event/BinlogEventListener.java
默认情况下，INSERT是要么全有要么全无的事件：要么完全插入行，要么根本不插入行。 IRIS返回一个状态变量SQLCODE，指示插入是成功还是失败。要将行插入到表中，插入操作必须满足所有表、字段名和字段值要求，如下所示。
Mybatis 的映射文件中，前面我们的 SQL 都是比较简单的，有些时候业务逻辑复杂时，我们的 SQL 是动态变化的。
本文简单的讨论一下Apache NIFI项目结构的类资源隔离机制，适合接触过源码的同学阅读。
当时只是大概的讲了启动了Jetty，接下来我们就深入了解一下JettyServer里面都干了些什么。从NIFI.java可以看出，使用反射构造JettyServer，传入两个参数，一个是properties，一个是narBundles。而后调用了start()
分析用例几乎只使用查询表中列的子集，并且通常在广泛的行上聚合值。面向列的数据极大地加速了这种访问模式。操作用例更有可能访问一行中的大部分或所有列，并且可能更适合由面向行的存储提供服务。Kudu 选择了面向列的存储格式，因为它主要针对分析用例。
《原则》原文：但我不敢确信这场转型会顺利，因为我没有经历过这样的事情。我做事的方式是试错：犯错，找出错误原因，总结出新的原则，最终成功。而我觉得应该以同样的态度对待这场转型。
NIFI中文文档地址:https://nifichina.gitee.io/ 更新日志 2020-05-21 新增TailFile 新增ExecuteScript 新增探索 Apache NIFI 集群的高可用 2020-05-18 The 4 V’s of Big Data 2020-05-18 新增AttributeRollingWindow 新增CompareFuzzyHash 新增Apache NIFI入门(读完即入门) 新增了解NiFi最大线程池和处理器并发任务设置 新增深入理解NIFI Conn
数据约束控制字段允许使用的值、字段的默认值以及数据值使用的排序规则类型。所有这些数据约束都是可选的。可以按任何顺序指定多个数据约束，并以空格分隔。
本文是《SQL必知必会》一书的精华总结，帮助读者快速入门SQL或者MySQL，主要内容包含：
http://quarterback.cn/%e9%80%9a%e8%bf%87kafka-nifi%e5%bf%ab%e9%80%9f%e6%9e%84%e5%bb%ba%e5%bc%82%e6%ad%a5%e6%8c%81%e4%b9%85%e5%8c%96mongodb%e6%9e%b6%e6%9e%84/
在表的连接查询方面有一种现象被称为：笛卡尔积现象。 笛卡尔积现象：当两张表进行连接查询的时候，没有任何条件进行限制，最终的查询结果条数是两张表记录条数的乘积。 怎么避免笛卡尔积现象？当然是加条件进行过滤。 思考：避免了笛卡尔积现象，会减少记录的匹配次数吗？ 不会。只不过显示的是有效记录。
IRIS支持列表结构数据类型%List(数据类型类%Library.List)。这是一种压缩的二进制格式，不会映射到 SQL的相应本机数据类型。它对应于默认MAXLEN为32749的数据类型VARBINARY。因此，动态SQL不能使用INSERT或UPDATE来设置%LIST类型的属性值。
数据完整性（Data Integrity）是指数据的精确性（Accuracy）和可靠性（Reliability）。它是防止数据库中存在不符合语义规定的数据和防止因错误信息的输入输出造成无效操作或错误信息而提出的。
2006年NiFi由美国国家安全局（NSA）的Joe Witt创建。2015年7月20日，Apache 基金会宣布Apache NiFi顺利孵化成为Apache的顶级项目之一。NiFi初始的项目名称是Niagarafiles，当NiFi项目开源之后，一些早先在NSA的开发者们创立了初创公司Onyara，Onyara随之继续NiFi项目的开发并提供相关的支持。Hortonworks公司收购了Onyara并将其开发者整合到自己的团队中，形成HDF（Hortonworks Data Flow）平台。2018年Cloudera与Hortonworks合并后，新的CDH整合HDF，改名为Cloudera Data Flow(CDF)，并且在最新的CDH6.2中直接打包，参考《0603-Cloudera Flow Management和Cloudera Edge Management正式发布》，而Apache NiFi就是CFM的核心组件。
工业物联网（IIOT，Industrial Internet of Things）正成为社会中的技术趋势与核心业务。IIOT 赋能诸如市政（Municipalities）、工业制造、公用事业、电信，以及保险等各类实体，以解决关键客户与运营的挑战。当前，技术创新在大数据、预测分析和云计算等领域的发展，使得人们可以大规模地集成与分析大量的设备数据，同时对这些数据执行一系列分析以及业务处理流程。
Comparison among different ways of storing data：
系统正在积极处理的FlowFiles保存在JVM内存中的Hash Map中。这使它们的处理效率非常高，但是由于多种原因，例如断电，内核崩溃，系统升级和维护周期，因此需要一种辅助机制来在整个进程重新启动中提供数据的持久性。FlowFile存储库是系统中当前存在的每个FlowFiles的元数据的Write-Ahead Log（或数据记录）。该FlowFile元数据包括与FlowFile相关联的所有attributes，指向FlowFile实际内容的指针（该内容存在于内容存储库中）以及FlowFile的状态，例如FlowFile所属的Connection/Queue。预写日志为NiFi提供了处理重启和意外系统故障所需的弹性。
现在我们要自定义一个Processor，假设它叫MyProcessor.java，那么这个Java文件写在哪里呢？
UPDATE命令更改表中列的现有值。 可以直接更新表中的数据，也可以通过视图进行更新，或者使用括在括号中的子查询进行更新。 通过视图进行更新受制于需求和限制，如CREATE view中所述。
MySQL 在数据增长中，会遇到一个问题数据在清理后，无法将数据表空间回收，大多数的人员在处理这个问题的时候，可以通过optimize table 的方案来解决.
通常我们在NIFI里最常见的使用场景就是读写关系型数据库，一些组件比如GenerateTableFetch、ExecuteSQL、PutSQL、ExecuteSQLRecord、PutDatabaseRecord等等，都会有一个属性配置大概叫Database Connection Pooling Service的，对应的接口是DBCPService，其实现类有：HiveConnectionPool DBCPConnectionPool DBCPConnectionPoolLookup。我们用的最多的就是DBCPConnectionPool。具体怎么配置这里就不赘述了，看对应的Controller Service文档就可以了。
Apache NiFi是什么？NiFi官网给出如下解释：“一个易用、强大、可靠的数据处理与分发系统”。通俗的来说，即Apache NiFi 是一个易于使用、功能强大而且可靠的数据处理和分发系统，其为数据流设计，它支持高度可配置的指示图的数据路由、转换和系统中介逻辑。 为了对NiFi能够表述的更为清楚，下面通过NiFi的架构来做简要介绍，如下图所示。
Apache NiFi 1.14.0 版是一个增加了重要的功能、改进和bug修复的版本，发布日期2021年7月14日。
create database <dbname> 创建名字为dbname的数据库
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
