大数据成神之路-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据成神之路

专注大数据领域的一切技术~

专栏成员

638

文章

1402250

阅读量

321

订阅数

Flink整合ElasticSearch详细指南及踩坑记录

es flink android http Elasticsearch Service

在使用Flink进行数据的处理的时候，一个必要步骤就是需要将计算的结果进行存储或导出，Flink中这个过程称为Sink，官方我们提供了常用的几种Sink Connector，例如:

王知无-import_bigdata

2022-04-13

3.5K0

一万五千字详解HTTP协议

http https 网络安全网站

利用 TCP/IP 协议族进行网络通信时，会通过分层顺序与对方进行通信。发送端从应用层往下走，接收端则从链路层往上走。如下：

王知无-import_bigdata

2021-04-21

5460

Klin、Druid、ClickHouse核心技术对比

hbase TDSQL MySQL 版 http node.js 数据结构

KYLIN、DRUID、CLICKHOUSE是目前主流的OLAP引擎，本文尝试从数据模型和索引结构两个角度，分析这几个引擎的核心技术，并做简单对比。在阅读本文之前希望能对KYLIN、DRUID、CLICKHOUSE有所理解。

王知无-import_bigdata

2021-01-06

1.4K0

利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏

flink http 大数据存储数据库

虽然笔者之前写过基于Prometheus PushGateway搭建Flink监控的过程，但是在我们的生产环境中，使用的是InfluxDB。InfluxDB是一个由Go语言写成的、由InfluxData部分开源的时序数据库，能够非常好地处理监控指标的存储和查询，配合Grafana即可简单地实现Flink作业metrics的收集与展示。本文简述配置过程及一些小问题。

王知无-import_bigdata

2020-08-11

2.5K0

Elasticsearch索引和检索优化与压测监控总结

es nest http node.js Elasticsearch Service

先来看看es的整体架构图，上面有多个重要模块，今天主要写在lucene上面的index模块与search模块的优化经历，力求简要写出改变了configuration之后，会给es cluster带来什么样的影响。

王知无-import_bigdata

2020-06-11

1.3K0

实战 | MySQL Binlog通过Canal同步HDFS

云数据库 SQL Server 数据库 sql http api

本文来自：http://bigdatadecode.club/MysqlToHDFSWithCanal.html

王知无-import_bigdata

2020-02-20

2.6K0

MySQL Binlog同步HDFS的方案

面向对象编程 kafka http xml hadoop

这个问题我想只要是在做数据开发的，有一定数据实时性要求、需要做数据的增量同步的公司都会遇到。

王知无-import_bigdata

2020-02-12

2.4K0

基于SparkStreaming+Kafka+HBase实时点击流案例

http spark kafka 官方文档 html

Kafka实时记录从数据采集工具Flume或业务系统实时接口收集数据，并作为消息缓冲组件为上游实时计算框架提供可靠数据支撑，Spark 1.3版本后支持两种整合Kafka机制（Receiver-based Approach 和 Direct Approach），具体细节请参考文章最后官方文档链接，数据存储使用HBase

王知无-import_bigdata

2020-01-14

1.1K0

Kafka几个常见的错误

原因分析：producer向不存在的topic发送消息，用户可以检查topic是否存在或者设置auto.create.topics.enable参数

王知无-import_bigdata

2019-12-05

5.2K0

Elasticsearch在日志分析领域应用和运维实践

node.js http kafka 运维 Elasticsearch Service

场景描述：Elasticsearch及相关产品，介绍基于ELK + Kafka 的日志分析系统，Elasticsearch优化经验，阿里云 Elasticsearch服务以及Elasticsearch 运维实践。

王知无-import_bigdata

2019-10-31

5340

使用Flink实现索引数据到Elasticsearch

Elasticsearch Service processing http 批量计算

使用Flink处理数据时，可以基于Flink提供的批式处理（Batch Processing）和流式处理（Streaming Processing）API来实现，分别能够满足不同场景下应用数据的处理。这两种模式下，输入处理都被抽象为Source Operator，包含对应输入数据的处理逻辑；输出处理都被抽象为Sink Operator，包含了对应输出数据的处理逻辑。这里，我们只关注输出的Sink Operator实现。

王知无-import_bigdata

2019-08-02

1.6K0

Scala 字符串(十)

大数据 flink node.js http regex

以上实例定义了变量 greeting，为字符串常量，它的类型为 String (java.lang.String)。

王知无-import_bigdata

2019-03-15

9490

没有更多了

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态