首页
学习
活动
专区
工具
TVP
发布

大数据成神之路

专注大数据领域的一切技术~
专栏成员
638
文章
1401766
阅读量
321
订阅数
Flink整合ElasticSearch详细指南及踩坑记录
在使用Flink进行数据的处理的时候,一个必要步骤就是需要将计算的结果进行存储或导出,Flink中这个过程称为Sink,官方我们提供了常用的几种Sink Connector,例如:
王知无-import_bigdata
2022-04-13
3.5K0
一万五千字详解HTTP协议
利用 TCP/IP 协议族进行网络通信时,会通过分层顺序与对方进行通信。发送端从应用层往下走,接收端则从链路层往上走。如下:
王知无-import_bigdata
2021-04-21
5460
Klin、Druid、ClickHouse核心技术对比
KYLIN、DRUID、CLICKHOUSE是目前主流的OLAP引擎,本文尝试从数据模型和索引结构两个角度,分析这几个引擎的核心技术,并做简单对比。在阅读本文之前希望能对KYLIN、DRUID、CLICKHOUSE有所理解。
王知无-import_bigdata
2021-01-06
1.4K0
利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏
虽然笔者之前写过基于Prometheus PushGateway搭建Flink监控的过程,但是在我们的生产环境中,使用的是InfluxDB。InfluxDB是一个由Go语言写成的、由InfluxData部分开源的时序数据库,能够非常好地处理监控指标的存储和查询,配合Grafana即可简单地实现Flink作业metrics的收集与展示。本文简述配置过程及一些小问题。
王知无-import_bigdata
2020-08-11
2.5K0
Elasticsearch索引和检索优化与压测监控总结
先来看看es的整体架构图,上面有多个重要模块,今天主要写在lucene上面的index模块与search模块的优化经历,力求简要写出改变了configuration之后,会给es cluster带来什么样的影响。
王知无-import_bigdata
2020-06-11
1.3K0
实战 | MySQL Binlog通过Canal同步HDFS
本文来自:http://bigdatadecode.club/MysqlToHDFSWithCanal.html
王知无-import_bigdata
2020-02-20
2.6K0
MySQL Binlog同步HDFS的方案
这个问题我想只要是在做数据开发的,有一定数据实时性要求、需要做数据的增量同步的公司都会遇到。
王知无-import_bigdata
2020-02-12
2.4K0
基于SparkStreaming+Kafka+HBase实时点击流案例
Kafka实时记录从数据采集工具Flume或业务系统实时接口收集数据,并作为消息缓冲组件为上游实时计算框架提供可靠数据支撑,Spark 1.3版本后支持两种整合Kafka机制(Receiver-based Approach 和 Direct Approach),具体细节请参考文章最后官方文档链接,数据存储使用HBase
王知无-import_bigdata
2020-01-14
1.1K0
Kafka几个常见的错误
原因分析:producer向不存在的topic发送消息,用户可以检查topic是否存在 或者设置auto.create.topics.enable参数
王知无-import_bigdata
2019-12-05
5.2K0
Elasticsearch在日志分析领域应用和运维实践
场景描述:Elasticsearch及相关产品,介绍基于ELK + Kafka 的日志分析系统,Elasticsearch优化经验,阿里云 Elasticsearch服务以及Elasticsearch 运维实践。
王知无-import_bigdata
2019-10-31
5340
使用Flink实现索引数据到Elasticsearch
使用Flink处理数据时,可以基于Flink提供的批式处理(Batch Processing)和流式处理(Streaming Processing)API来实现,分别能够满足不同场景下应用数据的处理。这两种模式下,输入处理都被抽象为Source Operator,包含对应输入数据的处理逻辑;输出处理都被抽象为Sink Operator,包含了对应输出数据的处理逻辑。这里,我们只关注输出的Sink Operator实现。
王知无-import_bigdata
2019-08-02
1.6K0
Scala 字符串(十)
以上实例定义了变量 greeting,为字符串常量,它的类型为 String (java.lang.String)。
王知无-import_bigdata
2019-03-15
9490
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档