腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

大数据和云计算技术

专栏作者

298

文章

438124

阅读量

101

订阅数

云数据库HBase企业级安全解析

TDSQL MySQL 版 hbase 开源 kerberos 网站

1.Access Controller coprocessor实现的ACL权限控制；

大数据和云计算技术

2019-09-24

3.4K0

边缘计算（三）——边缘计算的解决方案

openstack 开源微服务物联网

目前，市场上存在的边缘计算相关概念包括雾计算、边缘计算、多接入边缘计算/移动边缘计算、移动云计算等概念。这是边缘计算的第三篇，主要讲的内容是边缘计算的解决方案。

大数据和云计算技术

2019-03-07

3.9K0

HBase框架基础（一）

hbase 数据库云数据库 SQL Server 开源

HBase的基础框架，将分成几个章节对HBase进行描述，不当之处还望大家批评指正。下面是了解HBase基础架构的第一部分。

大数据和云计算技术

2018-07-26

6110

或许GitHub最好的选择真的是微软

github git 开源 linux html

近日，微软刚刚宣布以75亿美元（以接近4倍估值额）的价格收购GitHub，科技界便炸开了锅，特别是那些将代码托管在GitHub上的程（hao）序（ji）员（you）们，更是对此收购表达了不满，甚至有的人已经将代码迁移到GitLab上了。

大数据和云计算技术

2018-07-26

4440

转载：云HBase小组成功抢救某公司自建HBase集群，挽救30+T数据

hbase 开源运维大数据

使用过开源HBase的人都知道，运维HBase是多么复杂的事情，集群大的时候，读写压力大，配置稍微不合理一点，就可能会出现集群状态不一致的情况，糟糕一点的直接导致入库、查询某个业务表不可用，甚至集群运行不了。在早期0.9x版本的时候，HBase的修复工具还有一下bug，使得即使你懂得如何修复的情况下，依然需要多次重复运行命令，绕过那些不合理的修复逻辑，甚至有时候需要自己写代码预先修复某个步骤。

大数据和云计算技术

2018-07-26

4450

新数仓系列：开源组件运营（3）

大数据前几年各种概念争论很多，NoSQL/NewSQL，CAP/BASE概念一堆堆的，现在这股热潮被AI接过去了。大数据真正落地到车联网，分控，各种数据分析等等具体场景。概念很高大上，搞得久了就会发现，大部分都还是数据仓库的衍伸，所以我们称呼这个为“新数仓”，我准备写一系列相关的文章，有没有同学愿意一起来的？请联系我。前面有一些相关文章，大家可以看看：新数仓系列：Hbase国内开发者生存现状（2）新数仓系列：Hbase周边生态梳理（1）产品决定的是长期竞争力，运营决定的是短期用户体验。本文简单梳理下

大数据和云计算技术

2018-03-08

8290

开源大数据平台资源隔离现状及演进思考

大数据开源

下面文字是来自天源迪科大数据专家一篇纯干货的实战思考。这种经验总结非常值得一看，真正的经验来自不停踩坑之后的灵光一现，然后茅塞顿开。强烈推荐！！！也希望更多的同学也来一起分享。引言走过一些地方，发现各地都在建集中的大数据平台，提供数据、服务、工具，面向各分支部门、各外围合作伙伴，以“租户”的形式接入应用，谓之能力开放，是当下极为流行的做法。讲到开放，就要考虑考虑权限的控制、资源隔离，前者是安全控制，而后者技术性更强。当前常因为投资预算等客观原因，所谓的“大”集群规模其实也是相对的，往往就是百十来台，

大数据和云计算技术

2018-03-08

1.3K0

微信群之间消息自动转发简明教程（Github上免费共享有代码和教程）

微信 github 开源 python

微信群有限制，一个群最多500人，所以需要打通群和群之间的限制。全栈工程师，出马调代码！网上搜了搜，主要源头都是使用itchat，itchat是一个开源的微信个人号接口，python实现。基本思路是，用 Python 模拟微信网页版登陆，接收到群里消息后，对文本、图片、分享等各类消息类型分别处理，并转发至其他群。具体接口说明大家可以去看看： https://itchat.readthedocs.io/zh/latest/ 网上找到宏伦工作室，在网上共享了一个写好的代码，很简单的东西，100多行，拿

大数据和云计算技术

2018-03-08

9.2K0

实用调度工具Airflow

大数据开源 python

引言前面写过一篇文章《端午搬砖：聊聊调度云服务》，主要讲云服务的。如果企业也业务上云，可以优先选用这些服务，减少工作量。而在传统企业内部，数据集成是基础，更是每个企业里面都至少有一个ETL工具或者

大数据和云计算技术

2018-03-08

3.7K0

编程算法数据库 sql 开源

5.5.1 CEP是什么 CEP是流式处理的核心技术。不管是单独的应用系统，还是数据仓库，都是先将数据存储到数据库/数据仓库，然后再处理或查询。而CEP与常见的Message Queue系统类似，都将数据看作数据流，在连续数据的快速移动过程中进行分析处理。这样的方式不需要很大的数据加载，完全可以在内存中进行，从而能够快速产生结果，如图5.29所示。业务事件可能很复杂，在各种不同的数据流中源源不断地产生各种类型的事件。不仅需要对这些业务事件进行复杂的计算，如过滤、关联、聚合等，同时还需要考虑这些业务事件

大数据和云计算技术

2018-03-08

2.3K0

docker：一种值得关注的开源应用容器

容器镜像服务开源容器 linux

昨天我们谈到了资源管理中资源隔离技术LXC，linux轻量级的隔离技术。今天介绍一个基于LXC技术发展的开源应用容器引擎：Docker。什么是Docker： Docker container和普通的虚拟机Image相比, 最大的区别是它并不包含操作系统内核.普通虚拟机将整个操作系统运行在虚拟的硬件平台上, 进而提供完整的运行环境供应用程序运行, 而Docker则直接在宿主平台上加载运行应用程序.本质上他在底层使用LXC启动一个Linux Container,通过cgroup等机制对不同的container

大数据和云计算技术

2018-03-08

7370

管中窥豹：腾讯大数据平台

开源 hive spark hbase kafka

‍‍‍‍腾讯有中国最全的社交数据，面对一个数据金矿，腾讯不可能坐视不理，腾讯基于hadoop研究了自己的大数据平台，最大的一个集群规模超过5600台。本文简单分析下腾讯的大数据平台的技术特点。 ‍‍

大数据和云计算技术

2018-03-08

3K1

hadoop发行商介绍：Cloudera

开源 hadoop hbase spark TDSQL MySQL 版

‍‍‍‍在Hadoop生态系统中，规模最大、知名度最高的公司则是Cloudera。现在国内很多公司也都选用他们的发行版本（CDH)。‍‍ ‍‍Cloudera由来自Facebook、谷歌和雅虎的前工程师杰夫·哈‍‍默巴切(Jeff Hammerbacher)、克里斯托弗·比塞格利亚(‍‍Christophe Bisciglia)、埃姆·阿瓦达拉(Amr‍‍ Awadallah)以及现任CEO、甲骨文前高管迈克·奥尔森(Mike Olson)在2008年创建。‍‍‍‍ ‍‍首先来看下Cloudera的技术框架

大数据和云计算技术

2018-03-08

9680

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态