大数据技术博文-腾讯云开发者社区

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

大数据技术博文

专栏成员

51

文章

47093

阅读量

13

订阅数

CNCF Volcano 核心架构和场景分析

批量计算 pytorch

随着业务业务场景不断丰富，批量计算也由传统的HPC逐渐扩展到大数据、AI等多种场景，但各个领域独立发展，呈现出生态割裂、技术栈不兼容，资源利用率低等问题，严重影响批量计算的进一步发展

2022-11-22

1.9K0

【操作实践】使用JuiceFS降低Elasticsearch存储成本

存储 es 数据库 sql Elasticsearch Service

本文更偏向于实践操作方向，主要介绍在部署和使用JuiceFS时候的过程记录，以及如何将JuiceFS作为Elasticsearch的冷存储介质。

2022-11-22

8080

学大数据必懂系列之SSTable

hbase TDSQL MySQL 版大数据数据结构文件存储

Sorted Strings Table(SSTable)是HBase、 Cassandra等一些NoSQL数据库使用的一种持久文件格式，用于获取存储在memtables中的内存数据，对其进行排序以实现快速访问，并将其存储在磁盘上的一组持久的、有序的、不可变的文件中。不可变意味着sstable永远不会被修改。它们稍后被合并到新的sstable中，或者在数据更新时被删除。

2022-11-22

1.1K0

翻译｜CNCF Operator白皮书

api https 网络安全 kubernetes 安全

人们在大多时候需要维护一些基础应用程序很多没有价值的重复性的工作。计算机是执行精确任务的首选方法，可以验证对象的状态，从而使基础设施需求能够被编码。Operator提供了一种方法来封装应用程序所需的活动、检查和状态管理。

2022-11-22

7300

学大数据必懂系列之LSM-Tree

数据结构 hbase TDSQL MySQL 版存储数据库

LSM树(Log-Structured-Merge-Tree)（日志结构合并树）是一种能够提升磁盘写入速度的数据结构，它通过将大量的磁盘随机写操作，转换为批量顺序写的方式来得到写入性能的提升。但是同时也牺牲了一部分的读性能

2022-11-22

2.8K0

学大数据必懂系列之SkipList

大数据编程算法存储数据结构二叉树

通俗解释：SKipList 翻译为中文就是跳跃表，SkipList是一种数据结构，用于快速的查找数据的位置，本质上了来讲是一个List链表。

2022-11-22

4030

学大数据必懂系列之Page Cache

缓存大数据 jvm java kafka

通俗解释：在应用程序读取磁盘文件时，操作系统内核在读取磁盘时会经过一层Cache，利用这个Cache可以更快速读取数据（毕竟磁盘速度和内存速度还是差了很多）。那么这个Cache就是PageCache

2022-11-22

1.2K0

[HDFS源码]-HDFS 副本策略原理分析

大数据 node.js 存储

本文会从源码的实现角度来分享关于HDFS副本存储策略的概念和实现原理,HDFS的副本存储策略涉及副本写入、副本读取、机架感知、目标端存储的好坏区分策略, 熟悉副本存储策略可以帮助我们在开发或者运维过程中,提升数据处理/读写的效率、避免集群故障的发生.

2022-08-30

1.1K0

Kafka监控系统对比

kafka github git 开源

github地址 : https://github.com/smartloli/kafka-eagle

2022-04-18

1.9K0

HBase调优及优化的20种方式(上)

hbase TDSQL MySQL 版 javascript

默认情况下，AutoFlush是开启的，当每次put操作的时候，都会提交到HBase server，大数据量put的时候会造成大量的网络IO，耗费性能

2022-04-18

2.2K0

Kylin云端跨集群迁移实践

hbase TDSQL MySQL 版 html 迁移 node.js

“ 本文介绍在云端kylin数据迁移的实现方案以及在迁移过程中的遇到哪些问题,并给出了问题解决方案.本次迁移中涉及到的hbase cube表1600+,model数量80+,project 10+”

2022-04-18

9240

OpenTSDB翻译-降采样

unix 文件存储

降采样（或在信号处理中，抽取）是降低数据采样率或分辨率的处理过程。例如，假设温度传感器每秒钟都向OpenTSDB系统发送数据。如果用户在一小时内查询数据，他们将获得3,600个数据点，这些数据点可以相当容易地绘制出来。但是现在，如果用户要求整整一周的数据，他们将获得604,800个数据点，并且突然间图形可能变得非常混乱。使用降采样器，单个时间序列在一个时间范围内的多个数据点在一个对齐的时间戳中与数学函数一起聚合成单个值。这样我们可以将数量从604,800减少到168。

2022-04-18

1.7K0

OpenTSDB用户指南-数据查询

编程算法 unix

http://opentsdb.net/docs/build/html/user_guide/query/index.html

2022-04-18

2.3K0

Go语言示例学习05-指针/结构体/方法/接口

在上面 *i 是创建了一个指针类型，&i 是获取指针的地址中的值，在上面示例中&i取到i的指针地址值

2022-04-18

2100

Go语言学习示例04-函数及函数特性

在go语言中，支持多返回值，而且使用的频次还比较高一些，用的比较多的就是用于返回值和异常信息了！

2022-04-18

1790

Go语言示例学习03-数组/切片

编程算法 go jquery 数据结构

除了基本操作之外，slice支持比数组更加丰富的操作，其中一个就是内置的append，它返回一个包含了一个或者多个新值的slice，ps：由于append可能返回新的slice，我们需要接收其新的返回值

2022-04-18

2290

Go语言示例学习02-for,if/else,分支结构

3.不带条件的for循环，将会一直循环，直到循环体内有break或者return跳出循环

2022-04-18

3080

Go语言示例学习01-变量/常量和值

go 打包编程算法

一、第一个main函数 hello word 在go语言中，需要导入 fmt 用来执行print的控制台输出操作 import “fmt” 声明一个main函数 func main(){ fmt.Println(“hello,word!!") } 可以选择直接电脑上面通过 go run hello-world.go 来执行函数也可以将go文件编译之后，直接运行编译命令： go build hello-world.go 然后运行 ./hello-world 二、GO语言中的值类型 GO语

2022-04-18

1600

OpenTSDB实现原理与安装

数据库大数据 sql 存储 hbase

特别适合用来做监控类别的数据存储，它的底层是基于HBase，是一种以Metirc为单元的存储结果，可以实现大数据量下的毫秒级别的查询

2022-04-18

8560

Hive调优及优化的12种方式

mapreduce jvm hive 大数据

distinct会将b列所有的数据保存到内存中，形成一个类似hash的结构，速度是十分的块；但是在大数据背景下，因为b列所有的值都会形成以key值，极有可能发生OOM

2022-04-18

1.2K0

点击加载更多

社区活动

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·干货材料·成员作品最新动态