UDF重复调用的问题在某些情况下可能会对Flink SQL用户造成困扰，例如下面的SQL语句：

Kafka 的消息传输保障机制非常直观。当生产者向 Kafka 发送消息时，一旦消息被成功提交到日志文件，由于多副本机制的存在，这条消息就不会丢失。

一天自己接手的一个日志透传模块出现大量直接内存OOM的异常日志告警，且不久进程出现僵死，服务不可用。关键错误日志如下：

Flink官方实现了大量的REST API接口，有用于Flink UI展示数据、也用于各自监控面板。这些REST API的webserver作为JobManager的一部分在运行。默认端口是8081，可以通过flink-conf.yaml的rest.port参数进行配置。

Wireshark （前身 Ethereal）是一个网络封包分析软件。网络封包分析软件的功能是撷取网络封包，并尽可能显示出最为详细的网络封包资料。

小组同学在使用kafka官方工具kafka-consumer-groups.sh批量导集群消费组详情时,发现某一个集群基于broker的某些消费组会出现异常，主要表现：

项目watch、star、fork数量均领先竞品，issue、pull request也比较活跃。

Protobuf是谷歌开源的一种平台无关、语言无关、可扩展且轻便高效的序列化数据结构的协议，可以用于网络通信和数据存储。

Infrastructure, ops, devops, systems engineering, sysadmin, infraops, SRE, platform engineering。对于我这样从事计算机相关工作的人，这些术语实际上是相似的。但假如我想向其他人讲明白我的工作内容时，这些术语会让人一头雾水。

在我们场景下，需要将海量数据透传到我们的Kafka集群，这时候我们常常会遇到这些问题:

自己阅读kafka源码时的一些记录，更多内容见: https://github.com/pierre94/kafka-notes/blob/master/kafka%E6%9C%AF%E8%AF%AD.md

《Kafka vs. Pulsar vs. RabbitMQ: Performance, Architecture, and Features Compared》https://www.confluent.io/kafka-vs-pulsar/

主要对比滴滴的kafka-manager 和雅虎的CMAK(原名kafka manager)

在一个月黑风高的夜晚,我们kafka生产端开始疯狂告警，出现大量程序队列堵塞、数据写入失败、写入性能下降的告警。

部分消费组无法通过broker(new-consumer)正常消费数据,更改消费组名后恢复正常。

更多内容: https://github.com/pierre94/kafka-notes

HBase相对复杂，想要快速啃下来比较困难。而MiniBase吸收了HBase最核心的引擎部分的精华，希望可以通过学习MiniBase以小见大，能够对自己理解HBase这个庞然大物有所帮助。

kafka作为一个处理实时数据和日志的管道,每秒可以处理几十万条消息。其瓶颈自然也在I/O层面，所以其高吞吐背后离不开如下几个特性:

更多内容详见:https://github.com/pierre94/flink-notes