首页
学习
活动
专区
工具
TVP
发布

JavaEdge

关注公众号:JavaEdge,加入全国最大的后端交流群。
专栏成员
2499
文章
2708890
阅读量
182
订阅数
tsv文件在大数据技术栈里的应用场景
是的,\t 是指制表符(tab),它通常用作字段分隔符在 TSV(Tab-Separated Values)格式的文件中。TSV是一种简单的文本格式,它使用制表符来分隔每一列中的值,而每一行则代表一个数据记录。
JavaEdge
2024-05-26
1150
工作5年,字节让Java转Go,咋选?
后端最重要的经验是系统设计和中间件的应用,不管你用 Java、Go,你大部分时间都在和MySQL、PG、Mongodb、Redis、Kafka 之类的打交道,你的主要工作是系统设计,如何设计数据结构、如何设计缓存、一些常用的设计模式如何应用,这些大头都是语言无关的。
JavaEdge
2024-05-25
2570
Hive实战(03)-深入了解Hive JDBC:在大数据世界中实现数据交互
在大数据领域,Hive作为一种数据仓库解决方案,为用户提供了一种SQL接口来查询和分析存储在Hadoop集群中的数据。为了更灵活地与Hive进行交互,我们可以使用Hive JDBC(Java Database Connectivity)驱动程序。本文将深入探讨Hive JDBC的使用,为读者提供在大数据环境中进行数据交互的技术指导。
JavaEdge
2023-10-17
6780
数据中台实战(00)-大数据的尽头是数据中台吗?
除了支撑集团的大数据建设,团队还提供To B服务,因此我也有机会接触到一些正在做数字化转型的传统企业。从2018年末开始,原先市场上各种关于大数据平台的招标突然不见了,取而代之的是数据中台项目,建设数据中台俨然成为传统企业数字化转型的首选,甚至不少大数据领域的专家都认为,数据中台是大数据下一站。
JavaEdge
2023-09-28
3080
Spark SQL实战(07)-Data Sources
DataFrame可使用关系型变换进行操作,也可用于创建临时视图。将DataFrame注册为临时视图可以让你对其数据运行SQL查询。
JavaEdge
2023-03-26
9120
关注专栏作者,随时接收最新技术干货
JavaEdge
华为软件开发工程师
获取Top 10热门搜索关键词算法设计
搜索引擎每天接收大量用户搜索请求,把这些用户输入的搜索关键词记录,再离线统计分析,得到热门TopN搜索关键词。
JavaEdge
2023-02-03
2K0
海量数据查询方案设计
原始数据的数据量太大了,能存下来就很不容易了,这个数据是没法直接来给业务系统查询和分析的:
JavaEdge
2023-01-04
1.1K0
跨系统实时同步数据解决方案
数据分片后,对数据的查询就没那么自由。如订单表按用户ID作为Sharding Key,就只能按用户维度查询。我是商家,我想查我店铺的订单,做不到。(强行查也不是不行,在所有分片上都查一遍,再把结果聚合,又慢又麻烦,实际意义不大)
JavaEdge
2023-01-02
1.2K0
突破Java面试
02_redis如何在保持读写分离+高可用的架构下,还能横向扩容支撑1T+海量数据1、单机redis在海量数据面前的瓶颈
JavaEdge
2022-12-15
2480
Apache Flink实战(二) - 第一个Flink应用程序
一个文件,统计文件中每个单词出现的次数,分隔符是\t。统计结果我们直接打印在控制台(生产上肯定是Sink到目的地)
JavaEdge
2022-12-15
1K0
Redis Cluster集群应用与原理
与memcached客户端支持分布式方案不同,Redis更倾向于在服务端构建分布式存储。
JavaEdge
2022-11-30
5930
Kafka实战(四) -Kafka门派知多少
Kafka不是一个单纯的消息引擎系统,而是能够实现精确一次(Exactly-once)处理语义的实时流处理平台
JavaEdge
2022-11-30
4010
Flink实战(六) - Table API & SQL编程
Flink提供三层API。 每个API在简洁性和表达性之间提供不同的权衡,并针对不同的用例。
JavaEdge
2022-11-30
1.2K0
Flink实战(八) - Streaming Connectors 编程
Flink内置了一些基本数据源和接收器,并且始终可用。该预定义的数据源包括文件,目录和插socket,并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。
JavaEdge
2022-11-30
2K0
Flink实战(八) - Streaming Connectors 编程
Flink内置了一些基本数据源和接收器,并且始终可用。该预定义的数据源包括文件,目录和插socket,并从集合和迭代器摄取数据。该预定义的数据接收器支持写入文件和标准输入输出及socket。
JavaEdge
2022-11-30
2K0
Flink实战(四) - DataSet API编程
◆ DataSet API开发概述 ◆ 计数器 ◆ DataSource ◆ 分布式缓存 ◆ Transformation ◆ Sink
JavaEdge
2022-11-30
7710
Flink实战(五) - DataStream API编程
Flink中的DataStream程序是实现数据流转换的常规程序(例如,过滤,更新状态,定义窗口,聚合)。 最初从各种源(例如,消息队列,套接字流,文件)创建数据流。 结果通过接收器返回,接收器可以例如将数据写入文件或标准输出(例如命令行终端)。 Flink程序可以在各种环境中运行,独立运行或嵌入其他程序中。 执行可以在本地JVM中执行,也可以在许多计算机的集群上执行。
JavaEdge
2022-11-30
1.6K0
Flink实战(七) - Time & Windows编程
掌握Flink中三种常用的Time处理方式,掌握Flink中滚动窗口以及滑动窗口的使用,了解Flink中的watermark。
JavaEdge
2022-11-30
7960
Flink实战(三) - 编程范式及核心概念
Flink程序是实现分布式集合转换的常规程序(例如,过滤,映射,更新状态,加入,分组,定义窗口,聚合)。最初从源创建集合(例如,通过从文件,kafka主题或从本地的内存集合中读取)。结果通过接收器返回,接收器可以例如将数据写入(分布式)文件或标准输出(例如,命令行终端)。 Flink程序可以在各种环境中运行,独立运行或嵌入其他程序中。执行可以在本地JVM中执行,也可以在许多计算机的集群上执行。
JavaEdge
2022-11-30
1.5K0
数据分区设计(0)-前言
对大数据集或非常高吞吐量,仅复制还不够,还需将数据拆分,成为分区(partitions),也称分片(sharding)1。
JavaEdge
2022-09-14
2950
点击加载更多
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
Python精品学习库
代码在线跑,知识轻松学
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档