从CI到CD

技术资料

名词：map reduce：映射（Mapping）对集合里的每个目标应用同一个操作。即，如果你想把表单里每个单元格乘以二，那么把这个函数单独地应用在每个单元格上的操作就属于mapping。化简（Reducing ）遍历集合中的元素来返回一个综合的结果。即，输出表单里一列数字的和这个任务属于reducing。相比原生的map-reduce模型，Dataflow有几个优点：可以构建复杂的pipeline；不需手工配置和管理MapReduce集群。自动进行代码优化和资源调度，使得开发者的主要精力可以放在业务逻辑本身；支持从Batch到Streaming模式的无缝切换；可以在developer console中了解流水线中每个环节执行的情况；有Google cloud platform这个完整的生态系统。spark：比hadoop的优点，丰富的API和基于内存的高速计算引擎让用户可以结合流式处理，批处理和交互查询等应用；原理是将输入数据流以时间片（秒级）为单位进行拆分，一大优势在于其容错性，RDD会记住创建自己的操作，每一批输入数据都会在内存中备份，如果由于某个结点故障导致该结点上的数据丢失，这时可以通过备份的数据在其它结点上重算得到最终的结果。Hadoop=hdfs存储 + mr计算；pig把mr编程转成类似sql以易用；zabbix：是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。，监视各种网络参数，保证服务器系统的安全运营；并提供灵活的通知机制以让系统管理员快速定位/解决存在的各种问题。zabbix server可以通过SNMP，zabbix agent，ping，端口监视等方法提供对远程服务器/网络状态的监视，数据收集等功能。jenkins一代：master将job分配到slave/node/agent上执行，executor是虚拟的概念，每一个agent都可以设置executor的数量，表示可以同时运行的job的数量。二代的核心概念是pipeline。在jenkins2中引入grovvy脚本和虚拟的概念stage使得jenkins的配置和监控更集中，更清楚。pipeline的设计理念是实现基于groovy脚本，灵活，可扩展的持续发布（CD）工作流。总之脚本化以更灵活、workflow图形化以更简化操作。jenkins会是更好用的平台。groovy类似powershell，基于java庞大的功能又有脚本语言的灵活性Altas：Bundle主要用于传递数据；它保存的数据，是以key-value(键值对)的形式存在的。