前段时间在学习Elastic-jo和xxl-job(一个分布式作业调用中间件)时接触到一个有意思的数据结构：时间轮 。其实不止是xxl-job，在常见的任务调度中间件或者使用延迟/定时任务的场景中都能看到时间轮的身影，那么究竟是什么原因导致这么多时间调度相关的场景如此偏爱时间轮，下面就让我们一起来探究其中的缘由。
直接上代码了： # -*- coding: utf-8 -*- ''' 使用kafka-Python 1.3.3模块 ''' import sys import time import json from kafka import KafkaProducer from kafka import KafkaConsumer from kafka.errors import KafkaError KAFAKA_HOST = "127.0.0.1" KAFAKA_PORT = 9092 KAFA
Pinot 是一个实时分布式的 OLAP 数据存储和分析系统。使用它实现低延迟可伸缩的实时分析。Pinot 从脱机数据源（包括 Hadoop 和各类文件）和在线数据源（如 Kafka）中获取数据进行分析。Pinot 被设计成可进行水平扩展。Pinot 特别适合这样的数据分析场景：查询具有大量维度和指标的时间序列数据、分析模型固定、数据只追加以及低延迟，以及分析结果可查询。本文介绍了 Pinot 在 Uber 的应用情况。
Options: Kafka，ActiveMQ，RabbitMQ, WebSphere MQ*(IBM)，RocketMQ(阿里系) ...
最近，confluent社区发表了一篇文章，主要讲述了Kafka未来的2.8版本将要放弃Zookeeper，这对于Kafka用户来说，是一个重要的改进。之前部署Kafka就必须得部署Zookeeper，而之后就只要单独部署Kafka就行了。[1]
Singleflight 对于热门的主题，如果存在缓存穿透的情况，会导致大量的同进程、跨进程的数据回源到存储层，可能会引起存储过载的情况，如何只交给同进程内，一个人去做加载存储? 使用归并回源的思路
最近项目中总是跟java配合，我一个写python的程序员，面对有复杂数据结构的java代码转换成python代码，确实是一大难题，有时候或多或少会留有一点坑，看来有空还得看看java基础。这不今天又开始让我们连接kafka啦。公司的kafka跟zookeeper做了群集，连接比较麻烦，具体如何使用，java那面做的封装我也看不到，所以只能通过简单的沟通。
Grab 是一家总部位于新加坡的东南亚网约车和送餐平台公司，业务遍及东南亚大部分地区，为 8 个国家的 350 多座城市的 1.87 亿多用户提供服务。Grab 当前提供包括网约车、送餐、酒店预订、网上银行、移动支付和保险服务。是东南亚的“美团”。Grab Engineering 分享了他们对搜索索引进行优化的方法与心得，InfoQ 中文站翻译并分享。
工作中因为各种原因，topic中消息堆积的太多或者kafka所在磁盘空间满了等。可能需要彻底清理一下kafka topic。 cd /opt/kafka/kafka_2.10-0.10.2.2/bin 列出所有topic: ./kafka-topics.sh –zookeeper ip:2181 -list 其实就是检查zk上节点的/brokers/topics子节点，打印出来。 创建topic ./kafka-topics.sh –zookeeper ip:2181 -create –topic my_topic –partitions 4 –replication-factor 1 线上环境将自动创建topic禁用掉，改为手动创建(auto.create.topics.enable=false),partitions和replication-factor是两个必备选项， 第一个参数是消息并行度的一个重要参数，第二个极大提高了topic的可用性，备份因子默认是1，相当于没有备份，其值不能大于broker个数， 否则会报错。同时还可以指定topic级别的配置参数，这种特定的配置会覆盖掉默认配置，并且存储在zookeeper的/config/topics/[topic_name]节点数据里。 –alter –config –deleteConfig。replication-factor参数用来指定需要多少个副本（连同leader在内），一般比较推荐设置为2或3。如果设置太少（比如1）导致可用性下降， 如果设置太大会影响Kafka的性能。 方式一： 配置delete.topic.enable=true 修改kafaka配置文件server.properties，添加delete.topic.enable=true，重启kafka。之后通过kafka命令行就可以直接删除topic 重启kafka nohup /usr/kafka/bin/kafka-server-start.sh /usr/kafka/config/server.properties >/dev/null 2>&1 & 通过命令行删除topic： ./kafka-topics.sh –zookeeper ip:2181 –topic my_topic –delete 方式二： 没有配置delete.topic.enable=true 1、通过命令行删除topic： ./kafka-topics.sh –zookeeper ip:2181 –topic my_topic –delete 因为kafaka配置文件中server.properties没有配置delete.topic.enable=true， 此时的删除并不是真正的删除，只是把topic标记为：marked for deletion 2、删除kafka存储目录（server.properties文件log.dirs配置，默认为”/tmp/kafka-logs”）相关topic目录。 方式三： 若想真正删除它，需要登录zookeeper客户端： cd /opt/kafka/zookeeper-3.4.13/bin chmod 755 ./* (可执行命令)
周末宅在家里，捣鼓了一天，在本地用虚拟机搭建了 4 个 Linux 的集群环境，机器之间实现了相互访问。从此以后我的本地就有一套集群环境了，真正意义上可以模拟分布式的环境了！后面还可以模拟大型电商项目的高并发场景，美滋滋！
在正式开始扒代码之前, 先来个开胃菜,简单介绍一下kafka的基础组件和一些代码实现中用到的基础类库 ---- Kafka基础组件概述 KafkaServer是整个Kafka的核心组件，里面包含了ka
今天来分享一下关于Zookeeper可视化，因为最近一段时间来，事情虽然不多，也不忙，但是总是有做不完的事，每天在公司里面忙完这样，又来那样，刚提交了代码，又准备开始回滚，干完这里，那边同事又甩过一个报错过来，所以一直忙来忙去，这大概就是生活吧，有时候总在想，这种日子啥时候才能出头啊，不过摸摸口袋，在看看楼下走过的漂亮女生，虽然遥不可及，但是我们总得踏实一点吧，你想逆天改命，但是你没那个本事，你想一遇风云便化龙，但是你连一条蛇都怕，真是的，先踏实打工吧，进入主题吧，最近和好朋友彪哥在开发我们的开源项目，其实都是彪哥在开发，我就是摸摸鱼，这几天把zookeeper可是化大概弄了一下。
1. 单节点单broker的部署及使用 1.1.修改配置文件$KAFKA_HOME/config/server.properties的如下项： broker.id=0 listeners host.name log.dirs zookeeper.connect 1.2.启动Kafka kafka-server-start.sh 提示帮助信息： USAGE: /home/hadoop/app/kafka_2.11-0.9.0.0/bin/kafka-server-start.sh [-daemon] s
你是否准备好了，我这里有7月底面试真题，学弟呕心沥血总结面试高频问题，在成都刚刚面试，这套面试题同样适用与北上广深杭，并入职了一家不错的公司，这份题目对标成都15K-22K，北上广深杭18K-25K，真题文末直接展示
一、理论知识 从ACID到CAP到BASE 2PC到3PC到Paxos到Raft到ISR 复制、分片和路由 副本更新策略 负载均衡算法及手段 二、数据库 笔者带你剖析淘宝TDDL——Matrix层的分库分表配置与实现 纠正文章关于分库分表规则的一点错误：<property name="dbRuleArray" value="(#id#.longValue() % 4096).intdiv(16)"/>这个规则，表示分4096张表，每个库16张表。因此，tableIndex = id % 4096、dbI
又到一年一度的金九银十，你是否准备好了，我这里有学弟呕心沥血总结的面试真题，，在成都8月底刚刚面试，这套面试题同样适用与北上广深杭，并入职了一家不错的公司，这份题目对标成都15K-22K，北上广深杭18K-25K，真题直接给到大家。
[Apache Flink]2017年12月发布的1.4.0版本开始，为流计算引入里程碑特性：TwoPhaseCommitSinkFunction。它提取了两阶段提交协议的通用逻辑，使得通过Flink来构建端到端的Exactly-Once程序成为可能。同时支持：
Hyperledger Fabric是面向企业应用场景的开源分布式账本平台。Hyperledger Fabric基于模块化设计，各个模块实现特定的功能。企业之间可以组建Fabric联盟链，将相关业务数据通过智能合约方式写入链上，通过背书策略来保证各个企业数据的一致性。由于业务数据的共享，从而加速各项业务的开展，最直接的场景比如清结算等。
环境说明： Logstash部署在本地Windows环境：10.168.92.3，版本2.4.1 Kafka集群部署在虚拟服务器： 10.168.92.111， 10.168.92.112， 10.168.92.113， ZK集群同上三台虚拟服务器 各个集群节点之间，时间要同步NTP时间服务器， 简单点：sudo date -s "2018-05-01 17:47:00"发往全部节点 启动所有ZK $ZK_HOME/bin/zkServer.sh start 查看所有ZK的状态 可以看出谁是Followe
1、删除kafka存储目录（server.properties文件log.dirs配置，默认为”/tmp/kafka-logs”）相关topic目录 2、Kafka 删除topic的命令是：
2017年6月，开始数据分析的职业生涯，作为架构师，建立起一套基于.Net/.Net Core的小数据实时处理计算平台，这里记录学习过程中的点点滴滴！
尽管做技术已经有不少年头了，不管是犹犹豫豫还是坚定不移，我们走到了现在，依然走在技术这条路上。 不管我们处于何种职位，拿着哪种薪水，其实，我们会是不是的问问自己“做技术到底可以做到那种地步”，说的直白一点，其实我们很多人对技术这条路依然充满很多彷徨，不管我们的现状是多么的满意与辉煌。 最近一直招聘技术人员，见了很多求职的朋友，也和他们探讨了很多与职业发展，技术能力方面的问题，下面说下我个人的看法，和大家分享一下。 有很多的人总是一直在问“我搞.NET很多年了，但是感觉现在越走越窄了”。 其实“越走越窄“主要
（以下面试题均搜集于各个招聘网站的面试经历题目） 1.如何防止网络抖动产生的重复建单？ 答：原因：你这种情况应该是客户端请求发过去了，服务器写到数据库了，返回完成状态的时候网断了，这时客户端没有收到反馈以为订单没有生成，再点击下单，这时网络好了，结果生成了两个。 解决办法：（1）.待支付订单如果正在支付，就把这边订单锁定，变更为一个中间状态，这样就不会重复去支付这笔订单了(前端将提交按钮第一次点击提交时变成disable状态，直到后台返回状态后提交按钮恢复状态) （2）.可
一个partition 对应一个task,一个task 必定存在于一个Executor,一个Executor 对应一个JVM.
“金三银四”指的是在3月、4月，尤其是3月是应届生求职、也是在职人员跳槽到更满意职位的黄金时期。求职、跳槽，说到底，本质上就是职场人员和工作职位匹配的过程，一个萝卜一个坑，此坑不适合，自有留爷处。
fluent-bit是一种在Linux，OSX和BSD系列操作系统运行，兼具快速、轻量级日志处理器和转发器。它非常注重性能，通过简单的途径从不同来源收集日志事件。
（以下面试题均搜集于各个招聘网站的面试经历题目）
（以下面试题均搜集于各个招聘网站的面试经历题目） 1.如何防止网络抖动产生的重复建单？ 答：原因：你这种情况应该是客户端请求发过去了，服务器写到数据库了，返回完成状态的时候网断了，这时客户端没有收到反馈以为订单没有生成，再点击下单，这时网络好了，结果生成了两个。 解决办法：（1）.待支付订单如果正在支付，就把这边订单锁定，变更为一个中间状态，这样就不会重复去支付这笔订单了(前端将提交按钮第一次点击提交时变成disab
EFAK的前身就是Kafka-eagle，新版本的Kafka-eagle都称之为EFAK（Eagle For Apache Kafka）。
在部署这套系统之前，平台所有系统日志都由Graylog+Zabbix，针对日志出现的错误关键字进行告警，这种做法在运维工作开展过程中暴露出多个不足点，不详述；在考虑多方面原因后，最终对日志告警系统进行更换，选用的方案是：ELK + Kafka+ Filebeat + Elastalert
今天出现了这样一个问题, A说他的kafka消息发送了; B说它没有接收到; 那么问题来了：
1.上传解压 2.修改配置文件 3.分发到其他节点下 4.启动 5.测试 6.注意
据不完全统计，Linux在数据中心操作系统上的份额高达近70％。它一般运行于服务器和超级计算机上，我们日常访问网站背后的数百万台服务器很大几率运行着的操作系统就是Linux。
Sentry 算是目前开源界集错误监控，日志打点上报，事件数据实时分析最好用的软件了，没有之一。将它部署到 Kubernetes，再搭配它本身自带的利用 Clickhouse （大数据实时分析引擎）构
「随着 K8s 不断更新迭代，使用 K8s 日志系统建设的开发者，逐渐遇到了各种复杂的问题和挑战。本篇文章中结合作者使用经验，分析和设计 K8s 日志收集实践过程。」
step3. 进入一个zookeeper节点，查看节点情况，可以看到node2为leader
消息队列中间件是分布式系统中重要的组件，主要解决应用耦合、异步消息、流量削锋等问题，具有高扩展性、可恢复性、送达保证、顺序保证等特点，可以实现高性能、高可用、可伸缩和最终一致性架构。目前在生产环境，使用较多的消息队列有ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ、Redis等。
在云计算模型中，很多应用部署在一起，将产生数据交互的强烈需求。如在双11的时侯，几千万人向时向商城的订单系统下订单，而支付系统的能力只有几十万人的同时支付处理能力，怎么办？传统的处理方案主要是：限制商城同时下单的人数，但现实谁会拒绝用户下订单，这是现金流。因此，按照现实生活中公交车排队的处理经验，很多人流同时上一路公交车，采用排队机制，这种方案至少保证最终都上车，等待时间会增加。
本人双非一本，春招实习投的岗位是后端开发（主要是C++和Go），平时做项目用的语言都是Go，简历上的项目都是Go web（已经上线了），没有C++的项目经验。现在拿到了腾讯SNG后台开发的实习offer。下面是我的春招找实习的经历。 百度 这里先感谢下在百度工作的师兄，谢谢他的内推，我正式投百度连笔试机会都没有。 百度是我春招面的第一家，3月初就来了电话。当时还没开始复习，慌的不行。 下面是面经。 2018-3-12 一面(电面50多分钟) 为什么喜欢后端开发？ 你觉得创新班怎么样？在创新班
JS 代码在 es6 中加入了 class 的支持，TS 又实现了 interface 和 abstract class 的语法，现在写面向对象的代码容易了很多，所以使用设计模式也就方便了很多。
本人211非科班，大学学的物理，大三开始自学JAVA，并成功拿到了几个中大厂的offer。在这里分享一下自己整理的Java学习路线，供初学者参考。
Logstash logstash基于JRuby实现，可以跨平台运行在JVM上 优点 主要的优点就是它的灵活性，这还主要因为它有很多插件。然后它清楚的文档已经直白的配置格式让它可以再多种场景下应用。
Kafka是由LinkedIn公司开发的一款开源分布式消息流平台，由Scala和Java编写。主要作用是为处理实时数据提供一个统一、高吞吐、低延迟的平台，其本质是基于发布订阅模式的消息引擎系统。
Istio发布1.0版本后，其服务发现和路由规则功能已基本具备production能力，我们也开始了Istio和公司内部微服务平台的集成工作，打算以Istio为基础打造一个微服务管控中心，在这里把目前的进展和遇到的坑和大家分享一下。
通过读系统日志文件的监控，过滤掉日志信息中的异常关键词，如ERR,error，Failed，warning等信息，将这些带有异常关键词的异常日志信息过滤出来，然后输出到zabbix，通过zabbix告警机制实现触发告警；下面环境是filebeat作为采集端；输出到kafaka消息队列，最后由logsatsh拉取日志并过滤，输出到zabbix
Ford, 云原生布道师，云原生实验室（CloudnativeLab.COM）创始人 专注于云计算领域数年，目前主要从事容器云平台的建设，推进各类基础设施服务的云原生化，乐于研发效能建设、产品驱动模式探索和敏捷高效的产品研发团队打造，ServiceMesh拥护者，持续交付、敏捷实践者。
假设一个topology有4个worker，2个spout，2个bolt。spout1有4个task，spout2有2个task，bolt1有4个task，bolt2有4个task。（默认一个task对应一个Executor）
最近收到好几个类似的问题：使用Spring Cloud Stream操作RabbitMQ或Kafka的时候，出现消息重复消费的问题。通过沟通与排查下来主要还是用户对消费组的认识不够。其实，在之前的博文以及《Spring Cloud微服务实战》一书中都有提到关于消费组的概念以及作用。
物联网（Internet of Things，简称IOT）是指通过各种信息传感器、红外感应器等各种装置与技术，实时采集任何需要监控、 连接、互动的物体或过程，采集其声、光、热、电、力学、化学、生物、位置等需要的信息，通过各类可能的网络接入，实现物与物、物与人的泛在连接，实现对物品和过程的智能化感知、识别和管理。
领取专属 10元无门槛券
手把手带您无忧上云
