大数据和云计算技术-腾讯云开发者社区

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据和云计算技术

专栏成员

298

文章

455866

阅读量

101

订阅数

大数据与云计算技术周报（第140期)

网络安全 https kafka Elasticsearch Service hbase

本文主结合作者近千万级开发实战经验，和大家一起深入探讨一下Elasticsearch 索引设计，历时两周+的时间完成此文，干货满满，避免大家掉坑。

大数据和云计算技术

2020-02-19

5590

大数据和云计算技术周报（第133期)

https 网络安全 hbase TDSQL MySQL 版云数据库 MongoDB

如今pc和手机的操作系统已被垄断，但是这个垄断却未必能在物联网时代延续，一个新兴的物联网操作系统浪潮正在袭来。本文介绍了全球各大厂家的物联网操作系统。

大数据和云计算技术

2019-12-18

9590

大数据时代的结构化存储-HBase的应用实践

hbase TDSQL MySQL 版数据库大数据 sql

时间回到2011年，Hadoop作为新生事物，在阿里巴巴已经玩得风生水起，上千台规模的"云梯"是当时国内名声显赫的计算平台。这一年，Hadoop的好兄弟HBase由毕玄大师带入淘宝，开启了它的阿里之旅。从最初的淘宝历史交易记录，到去年的支付宝消费记录存储在线历史存储统一；从蚂蚁安全风控的多年存储演进，到HBase、TT、Galaxy的大数据激情迭代；HBase在阿里经历过年轻的苦涩，释放过青春的活力，也付出过成长的代价。几代人的不懈努力下，五年陈的HBase开始表现出更成熟、更完善、更丰富的一面，成为公司内部被广泛使用的存储产品之一。经过阿里集团内部的锤炼，集团将这个技术红利输送给广大阿里云客户。现已推出云数据库HBase产品，支持海量的PB级的大数据存储，适用于高吞吐的随机读写的场景。

大数据和云计算技术

2019-09-24

1.4K0

大数据时代数据库-云HBase架构&生态&实践

分布式云数据库 SQL Server sql 数据库 hbase

现如今大量的中小型公司并没有大规模的数据，如果一家公司的数据量超过100T，且能通过数据产生新的价值，基本可以说是大数据公司了。起初，一个创业公司的基本思路就是首先架构一个或者几个ECS，后面加入MySQL,如果有图片需求还可加入磁盘，该架构的基本能力包括事务、存储、索引和计算力。随着公司的慢慢发展，数据量在不断地增大，其通过MySQL及磁盘基本无法满足需求，只有分布式化。这个时候MySQL变成了HBase,检索变成了Solr/ES，再ECS提供的计算力变成了Spark。但这也会面临存储量大且存储成本高等问题。

大数据和云计算技术

2019-09-24

1K0

HBaseSQL及分析-Phoenix&Spark

sql spark hbase TDSQL MySQL 版大数据

本文介绍了详细了HBaseSQL，Phoinix和Spark的架构，适用性以及优缺点，并在最后规划出未来将要设计的一款更符合用户需求的产品。

大数据和云计算技术

2019-09-24

7440

sql api spark hbase mapreduce

MapReduce早已经对接了HBase，以HBase作为数据源，完成批量数据的读写。如今继MapReduce之后的Spark在大数据领域有着举足轻重的地位，无论跑批，流处理，甚至图计算等都有它的用武之地。Spark对接HBase成为不少用户的需求。

大数据和云计算技术

2019-09-24

1.1K0

云数据库HBase企业级安全解析

TDSQL MySQL 版 hbase 开源 kerberos 网站

1.Access Controller coprocessor实现的ACL权限控制；

大数据和云计算技术

2019-09-24

3.4K0

大数据和云计算技术周报（第93期)

https 网络安全 hbase TDSQL MySQL 版 apache

有赞是一个商家服务公司，提供全行业全场景的电商解决方案。在有赞，大量的业务场景依赖对实时数据的处理，作为一类基础技术组件，服务着有赞内部几十个业务产品，几百个实时计算任务，其中包括交易数据大屏，商品实时统计分析，日志平台，调用链，风控等多个业务场景，本文将介绍有赞实时计算当前的发展历程和当前的实时计算技术架构。。

大数据和云计算技术

2019-09-24

5030

大数据和云计算技术周报（第91期)

网络安全 https spark 编程算法 hbase

文章首先回顾了 HBase 的数据模型和数据层级结构，对数据的每个层级的作用和构架均进行了详细阐述；随后介绍了数据写入和读取的详细流程；最后介绍了老版本到新版本 Region 查找的演进。

大数据和云计算技术

2019-09-24

4850

HBase实战 | HBase在人工智能场景的使用

hbase TDSQL MySQL 版 spark 云数据库 SQL Server 数据库

近几年来，人工智能逐渐火热起来，特别是和大数据一起结合使用。人工智能的主要场景又包括图像能力、语音能力、自然语言处理能力和用户画像能力等等。这些场景我们都需要处理海量的数据，处理完的数据一般都需要存储起来，这些数据的特点主要有如下几点：

大数据和云计算技术

2019-09-24

1.2K0

HBase应用实践专场-HBase问题排查思路

hbase TDSQL MySQL 版 html 大数据

如果重度依赖HBase，有必要对HBase源码进行深入理解,建议根据日志去找追踪源码！！！

大数据和云计算技术

2019-09-24

1.4K0

大数据和云计算技术周报（第112期)

网络安全 https hbase TDSQL MySQL 版 spark

ClickHouse 优秀的读写处理性能，丰富强大的函数支持，以及灵活的 SQL 查询，支撑了微博广告监控系统的百亿流量请求和复杂业务需求。

大数据和云计算技术

2019-07-23

7320

HBase框架基础（二）

hbase zookeeper 存储

HBase的基础框架，将分成几个章节对HBase进行描述，不当之处还望大家批评指正。下面是了解HBase基础架构的第二部分。

大数据和云计算技术

2018-08-01

5150

HBase框架基础（一）

hbase 数据库云数据库 SQL Server 开源

HBase的基础框架，将分成几个章节对HBase进行描述，不当之处还望大家批评指正。下面是了解HBase基础架构的第一部分。

大数据和云计算技术

2018-07-26

6250

大数据和云计算技术周报（第54期）:NoSQL特辑

大数据 nosql sql hbase

本期有 HBase、MySQL、Spark、Kylin、MongoDB、分布式。希望大家会喜欢！

大数据和云计算技术

2018-07-26

3240

大数据和云计算技术周报（第38期）:NoSQL特辑

大数据 nosql sql hbase

本期有 HBase入门教程、Spark On HBASE、HBase二级索引、SQL 与 NoSQL、高并发&高可用、MySQL索引、Redis。希望大家会喜欢！

大数据和云计算技术

2018-07-26

4260

大数据和云计算技术周报（第36期）:NoSQL特辑

大数据 nosql sql hbase

本期有 HBase入门、HBase集群监控、Kudu vs HBase、Flush与Compaction、MySQL索引优化、Redis 分布式锁。希望大家会喜欢！

大数据和云计算技术

2018-07-26

4410

转载：云HBase小组成功抢救某公司自建HBase集群，挽救30+T数据

hbase 开源运维大数据

使用过开源HBase的人都知道，运维HBase是多么复杂的事情，集群大的时候，读写压力大，配置稍微不合理一点，就可能会出现集群状态不一致的情况，糟糕一点的直接导致入库、查询某个业务表不可用，甚至集群运行不了。在早期0.9x版本的时候，HBase的修复工具还有一下bug，使得即使你懂得如何修复的情况下，依然需要多次重复运行命令，绕过那些不合理的修复逻辑，甚至有时候需要自己写代码预先修复某个步骤。

大数据和云计算技术

2018-07-26

4540

大数据和云计算技术周报（第40期）:NoSQL特辑

大数据 nosql sql hbase

本期有 HBase、HBase+ES、StreamSets、explain、Cassandra、Redis。希望大家会喜欢！

大数据和云计算技术

2018-07-26

4020

大数据和云计算技术周报（第44期）:NoSQL特辑

大数据 nosql sql hbase

https://mp.weixin.qq.com/s/TdnZeG8rRYwTfopEyTxmpQ

大数据和云计算技术

2018-07-26

3270

点击加载更多

社区活动

【纪录片】中国数据库前世今生

穿越半个世纪，探寻中国数据库50年的发展历程

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态