腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

SmartSi

专栏作者

270

文章

583082

阅读量

53

订阅数

Flink DataStream 类型系统 TypeInformation

flink 大数据文件存储 java scala

Flink DataStream 应用程序所处理的事件以数据对象的形式存在。函数调用时会传入数据对象，同时也可以输出数据对象。因此，Flink 在内部需要能够处理这些对象。当通过网络传输或者读写状态后端、检查点以及保存点时，需要对它们进行序列化和反序列化。为了能够更高效的做到这一点，Flink 需要详细了解应用程序处理的数据类型。Flink 使用类型信息的概念来表示数据类型，并为每种数据类型生成特定的序列化器、反序列化器以及比较器。

2022-04-23

3.6K0

<转>Flink SQL TableEnvironment 如何选择

批量计算 scala java sql

本文为 Flink SQL 系列文章的第二篇，前面对 Flink 1.9 Table 新架构及 Planner 的使用进行了详细说明，本文详细讲解 5 个 TableEnvironment 及其适用场景，并介绍 Flink 社区对 TableEnvironment 的未来规划。主要内容如下：

2021-06-21

1.2K0

Solr 安装与部署

lucene/solr java 网站

需要 Java Runtime Environment（JRE）1.8 版本或更高版本。如下所示，在命令行中检查 Java 版本：

2021-01-20

1.1K0

Flink Kafka Connector

kafka 文件存储 java scala

Apache Flink 内置了多个 Kafka Connector：通用、0.10、0.11等。这个通用的 Kafka Connector 会尝试追踪最新版本的 Kafka 客户端。不同 Flink 发行版之间其使用的客户端版本可能会发生改变。现在的 Kafka 客户端可以向后兼容 0.10.0 或更高版本的 Broker。对于大多数用户使用通用的 Kafka Connector 就可以了。但对于 0.11.x 和 0.10.x 版本的 Kafka 用户，我们建议分别使用专用的 0.11 和 0.10 Connector。有关 Kafka 兼容性的详细信息，请参阅 Kafka官方文档。

2020-11-03

4.6K0

Java 实现 Kafka Producer

文件存储 java kafka http

在本文章中，我们创建一个简单的 Java 生产者示例。我们会创建一个名为 my-topic Kafka 主题（Topic），然后创建一个使用该主题发送记录的 Kafka 生产者。Kafka 发送记录可以使用同步方式，也可以使用异步方式。

2020-10-16

3.5K0

Hive元数据服务MetaStore

hive 存储 html java 数据库

MetaSore 是 Hive 元数据存储的地方。Hive 数据库、表、函数等的定义都存储在 Metastore 中。根据系统配置方式，统计信息和授权记录也可以存储在此处。Hive 或者其他执行引擎在运行时使用此数据来确定如何解析，授权以及有效执行用户查询。

2020-09-21

8.9K0

Hive通过Jdbc连接HiveServer2

hive jdbc php java http

如果想通过 JDBC 来访问 HiveServer2，需要开启 HiveServer2 服务，具体请参阅如何启动HiveServer2。

2020-09-15

6.5K0

HBase Java Admin API

hbase TDSQL MySQL 版 java

HBase 使用 Java 语言开发，因而 HBase 原生提供了一个 Java 语言客户端。这篇文章介绍 HBase Admin API，包括创建、启用、禁用、删除表等。如果项目使用 Maven 进行依赖管理，只需添加如下依赖即可以使用 Java 客户端访问 HBase 集群：

2019-12-31

2K0

hadoop mapreduce spark java 数据处理

最近我听到了很多关于此话题的讨论。同样，这也是一个大数据领域经验不足的客户非常喜欢提问的问题。实际上，我不喜欢这个含糊不清的词语，但是通常客户会找到我们使用它们，因此我不得不使用。

2019-11-27

3.9K0

ZooKeeper可视化监控ZKUI

打包 java jar zookeeper

ZKUI 提供了一个图形化管理界面，可以针对 ZooKeepr 的节点值进行 CRUD 操作，同时也提供了安全认证。

2019-11-26

1.7K1

Spark Streaming 2.2.0 Example

spark kafka java api maven

Spark Streaming 是 Spark Core API的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。数据可以从诸如Kafka，Flume，Kinesis或TCP套接字等许多源中提取，并且可以使用由诸如map，reduce，join或者 window 等高级函数组成的复杂算法来处理。最后，处理后的数据可以推送到文件系统、数据库、实时仪表盘中。事实上，你可以将处理后的数据应用到 Spark 的机器学习算法、图处理算法中去。

2019-08-08

1.2K0

Flink1.4 窗口概述

编程算法 unix 大数据 windows java

Windows(窗口)是处理无限数据流的核心。窗口将流分解成有限大小的”桶”，在上面我们可以进行计算。本文将重点介绍 Flink 中的窗口，以及常见的窗口类型。

2019-08-07

1.2K0

Spark2.3.0 RDD操作

spark java scala mapreduce

例如，map 是一个转换操作，传递给每个数据集元素一个函数并返回一个新 RDD 表示返回结果。另一方面，reduce 是一个动作操作，使用一些函数聚合 RDD 的所有元素并将最终结果返回给驱动程序（尽管还有一个并行的 reduceByKey 返回一个分布式数据集）。

2019-08-07

2.3K0

Spark Streaming 2.2.0 初始化StreamingContext

java scala spark python

为了初始化 Spark Streaming 程序，必须创建一个 StreamingContext 对象，它是 Spark Streaming 所有流操作的主要入口。StreamingContext 对象可以用 SparkConf 对象创建。

2019-08-07

1.3K0

Spark2.3.0 持久化

文件存储 spark 缓存存储 java

Spark 中最重要的功能之一是在操作之间将数据集持久化(缓存)在内存中。当你持久化一个 RDD 时，每个节点都会保存 RDD 的任意分区，RDD在内存中计算时该数据集（或从其派生的数据集）上的其他 Action 可以重用它。这样可以使后面的 Action 操作执行的更快（通常超过10倍）。缓存是迭代算法和快速交互的关键工具。

2019-08-07

5100

Spark2.3.0 引入Spark

scala 大数据 java spark

Spark 2.3.0 支持用于简洁编写函数的 lambda 表达式，你也可以使用 org.apache.spark.api.java.function 包中的类。

2019-08-07

8720

Spark2.3.0 初始化

spark shell jar maven java

Spark 程序必须做的第一件事是创建一个 JavaSparkContext 对象(Scala和Python中是SparkContext对象)，这告诉了 Spark 如何访问集群。要创建 SparkContext，你首先需要构建一个包含有关应用程序信息的 SparkConf 对象。

2019-08-07

9810

Spark2.3.0 创建RDD

spark java hadoop 分布式 api

Spark的核心概念是弹性分布式数据集（RDD），RDD 是一个可容错、并行操作的分布式元素集合。有两种方法可以创建 RDD 对象：

2019-08-07

8170

Scala 学习笔记之正则表达式

regex java javascript 正则表达式编程算法

我们可以使用 scala.util.matching.Regex 类使用正则表达式．要构造一个 Regex 对象，使用 String 类的 r 方法即可:

2019-08-07

7040

Flink1.4 窗口函数

mapreduce java scala 大数据

在定义窗口分配器之后，我们需要在每个窗口上指定我们要执行的计算。这是窗口函数的责任，一旦系统确定窗口准备好处理数据，窗口函数就处理每个窗口中的元素。

2019-08-07

1.6K0

点击加载更多

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态