实时计算

LV0
发表了文章

Kafka监控必备——Kafka-Eagle 2.0.2正式发布

对于经常使用Kafka的同学,拥有一个炫酷又实用的监控系统是非常有必要的。可以实时的监控数据流的情况,了解实时数据流的变化。

实时计算
发表了文章

如何将炫酷的报表直接截图发送邮件——在Superset 0.37使用Schedule Email功能

Superset的图表是非常炫酷的,但是原来的版本只能在web端查看,而最新的0.37版本,可以将图表截图直接发送成邮件,非常的方便。

实时计算
发表了文章

离线安装Superset 0.37

上文提到了Superset 0.37的在线安装方式,只需要更新pip,然后pip install就可以了。但是在生产环境中,特别是内网环境中,很多时候是没有外网...

实时计算
发表了文章

Windows系统快速安装Superset 0.37

Superset 是一款由 Airbnb 开源的“现代化的企业级 BI(商业智能) Web 应用程序”,其通过创建和分享 dashboard,为数据分析提供了轻...

实时计算
发表了文章

Superset 0.37 发布——颜值最高的数据可视化平台

使用Superset已经有一段时间,其良好的体验与丰富的图表功能节省了大量的时间。但是对于权限,自定义图表,图表下载,报警邮件一直没有很好的支持,大部分公司对于...

实时计算
发表了文章

Hive查看,删除分区

亲测删除hdfs路径后 查看分区还是能看到此分区 可能会引起其他问题 此方法不建议

实时计算
发表了文章

超详细,Windows系统搭建Flink官方练习环境

如何快速的投入到Flink的学习当中,很多人在搭建环境过程中浪费了太多的时间。一套一劳永逸的本机Flink开发环境可以让我们快速的投入到Flink的学习中去,将...

实时计算
发表了文章

大数据计算的基石——MapReduce

Google File System提供了大数据存储的方案,这也为后来HDFS提供了理论依据,但是在大数据存储之上的大数据计算则不得不提到MapReduce。

实时计算
发表了文章

大数据理论篇HDFS的基石——Google File System

但凡是要开始讲大数据的,都绕不开最初的Google三驾马车:Google File System(GFS), MapReduce,BigTable。

实时计算
发表了文章

redis中save和bgsave区别

SAVE 和 BGSAVE 两个命令都会调用 rdbSave 函数,但它们调用的方式各有不同:

实时计算
发表了文章

揭秘阿里巴巴的客群画像

阿里巴巴一直在面向未来探索B类新电商模式,并从2019年开始重点构建“新供给、新链接、新营销”三新体系。买家是三新体系的核心,缺少买家维度的数字化经营体系是不完...

实时计算
发表了文章

Kafka2.6.0发布——性能大幅提升

如果要从2.1.x之前的版本升级,请参阅以下注释,以了解用于存储使用者偏移量的架构的更改。将inter.broker.protocol.version更改为最新...

实时计算
发表了文章

Parquet

Parquet是可用于Hadoop生态系统中任何项目的开源文件格式。与基于行的文件(例如CSV或TSV文件)相比,Apache Parquet旨在提供高效且高性...

实时计算
发表了文章

Hadoop hdfs dfs常用命令的使用

1,-mkdir 创建目录 Usage:hdfs dfs -mkdir [-p] < paths> 选项:-p 很像Unix mkdir -p,沿路径创...

实时计算
发表了文章

Spark 覆盖写Hive分区表,只覆盖部分对应分区

配置 config("spark.sql.sources.partitionOverwriteMode","dynamic") 注意 1、saveAsTa...

实时计算
发表了文章

Hive查看表/分区更新时间

实时计算
发表了文章

Spark Streaming——Spark第一代实时计算引擎

虽然SparkStreaming已经停止更新,Spark的重点也放到了 Structured Streaming ,但由于Spark版本过低或者其他技术选型问题...

实时计算
发表了文章

Hive操作——删除表(drop、truncate)

hive> truncate table 表名; truncate操作用于删除指定表中的所有行,相当于delete from table ...

实时计算
发表了文章

什么是流处理

流处理正变得像数据处理一样流行。流处理已经超出了其原来的实时数据处理的范畴,它正在成为一种提供数据处理(包括批处理),实时应用乃至分布式事务的新方法的技术。

实时计算
发表了文章

用户画像产品化——从零开始搭建实时用户画像(六)

在开发好用户标签以后,如何将标签应用到实际其实是一个很重要的问题。只有做好产品的设计才能让标签发挥真正的价值,本文将介绍用户画像的产品化过程。

实时计算

个人简介

个人成就

扫码关注云+社区

领取腾讯云代金券