腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
IT技术精选文摘
专栏成员
举报
542
文章
799898
阅读量
136
订阅数
订阅专栏
申请加入专栏
全部文章(542)
数据库(89)
java(70)
编程算法(56)
云数据库 Redis(52)
分布式(48)
系统架构(46)
sql(45)
云数据库 SQL Server(42)
存储(41)
spring(33)
其他(31)
缓存(30)
大数据(29)
微服务(26)
jvm(19)
zookeeper(19)
数据结构(18)
nginx(16)
kafka(16)
linux(14)
网络安全(14)
apache(13)
容器(13)
node.js(12)
api(12)
机器学习(11)
http(11)
微信(11)
容器镜像服务(10)
人工智能(10)
kubernetes(10)
jdk(10)
架构设计(10)
tcp/ip(9)
dubbo(9)
数据处理(9)
xml(8)
android(8)
开源(8)
运维(8)
安全(8)
php(7)
消息队列 CMQ 版(7)
mongodb(7)
游戏(7)
压力测试(7)
文件存储(6)
hadoop(6)
mybatis(6)
dns(6)
网站(5)
hashmap(5)
rpc(5)
socket编程(5)
负载均衡(4)
ios(4)
memcached(4)
打包(4)
tomcat(4)
深度学习(4)
aop(4)
rabbitmq(4)
https(4)
网站建设(4)
hbase(4)
面试(4)
html(3)
nosql(3)
mvc(3)
自动化(3)
spark(3)
udp(3)
小程序(3)
数据分析(3)
腾讯云开发者社区(3)
innodb(3)
synchronized(3)
优化(3)
区块链(2)
NLP 服务(2)
自动驾驶(2)
javascript(2)
git(2)
github(2)
云直播(2)
访问管理(2)
黑客(2)
爬虫(2)
shell(2)
正则表达式(2)
spring boot(2)
kernel(2)
spring cloud(2)
nest(2)
Elasticsearch Service(2)
int(2)
io(2)
nio(2)
select(2)
semaphore(2)
磁盘(2)
前端(2)
线程(2)
线程安全(2)
线程池(2)
硬件(2)
原理(2)
源码(2)
云点播(1)
弹性伸缩(1)
人脸识别(1)
DNS 解析 DNSPod(1)
c 语言(1)
c++(1)
c#(1)
go(1)
lua(1)
.net(1)
servlet(1)
react(1)
css(1)
ajax(1)
webview(1)
qt(1)
oracle(1)
postgresql(1)
access(1)
ide(1)
maven(1)
unix(1)
负载均衡缓存(1)
神经网络(1)
mapreduce(1)
实时音视频(1)
互动直播(1)
命令行工具(1)
TDSQL MySQL 版(1)
短信(1)
腾讯云测试服务(1)
es 2(1)
图像处理(1)
数据备份(1)
日志数据(1)
在线旅游(1)
出行(1)
devops(1)
html5(1)
图像识别(1)
强化学习(1)
gui(1)
yum(1)
jdbc(1)
推荐系统(1)
自动化测试(1)
cdn(1)
敏捷开发(1)
jenkins(1)
zabbix(1)
机器人(1)
物联网(1)
nat(1)
图片加速(1)
云计算(1)
任务调度(1)
虚拟化(1)
mvcc(1)
数据脱敏(1)
即时通信 IM(1)
bug(1)
client(1)
count(1)
cron(1)
db(1)
ddd(1)
equals(1)
feed(1)
feign(1)
handler(1)
input(1)
integer(1)
mobile(1)
output(1)
ribbon(1)
server(1)
simpledateformat(1)
spi(1)
tcp(1)
token(1)
volatile(1)
编程语言(1)
编码(1)
并发编程(1)
操作系统(1)
插件(1)
登录(1)
对象(1)
多线程(1)
服务端(1)
高可用(1)
工具类(1)
工作(1)
后端(1)
计算机科学(1)
架构(1)
架构师(1)
监控(1)
解决方案(1)
接口(1)
客户端(1)
框架(1)
链表(1)
论文(1)
内核(1)
前后端分离(1)
认证授权(1)
设计(1)
设计模式(1)
生命周期(1)
视频(1)
事务(1)
数据(1)
数学(1)
同步(1)
网关(1)
效率(1)
异步(1)
搜索文章
搜索
搜索
关闭
Hadoop完全分布式搭建
hadoop
网络安全
xml
zookeeper
jdk
一、介绍 Hadoop2.0中,2个NameNode的数据其实是实时共享的。新HDFS采用了一种共享机制,Quorum Journal Node(JournalNode)集群或者Nnetwor
用户1263954
2018-06-22
1.3K
0
单集群10万节点 走进腾讯云分布式调度系统VStation
分布式
hadoop
云计算并非无中生有的概念,它将普通的单台PC计算能力通过分布式调度软件连接起来。其最核心的问题是如何把一百台、一千台、一万台机器高效地组织起来,灵活进行任务调度和管理,从而像使用单台机器一样方便地使用多台机器。目前,业界已存在多种分布式调度实现方案,比较知名的有 Hadoop YARN、Mesos、Google Borg 等。 区别于以上调度系统,腾讯云的 VStation 从诞生之初,便肩负着大规模调度、海量并发和支持异构计算的历史使命,历经五年的打磨和历练,VStation 通过消息压缩、镜像缓存、快照
用户1263954
2018-05-30
2.9K
0
大数据查询——HBase读写设计与实践
大数据
hbase
hadoop
分布式
背景介绍 本项目主要解决 check 和 opinion2 张历史数据表(历史数据是指当业务发生过程中的完整中间流程和结果数据)的在线查询。原实现基于 Oracle 提供存储查询服务,随着数据量的不断增加,在写入和读取过程中面临性能问题,且历史数据仅供业务查询参考,并不影响实际流程,从系统结构上来说,放在业务链条上游比较重。本项目将其置于下游数据处理 Hadoop 分布式平台来实现此需求。下面列一些具体的需求指标: 数据量:目前 check 表的累计数据量为 5000w+ 行,11GB;opinion 表的
用户1263954
2018-01-30
1.3K
0
教你玩转Hadoop分布式集群搭建,进击大数据
hadoop
大数据
终于要开始玩大数据了,之前对haoop生态几乎没有太多的了解,现在赶鸭子上架,需要完全使用它来做数据中心,这是我的haoop第一篇文章,以后估计会写很多大数据相关的文章。 Hadoop的搭建有三种方式,单机版适合开发调试;伪分布式版,适合模拟集群学习;完全分布式,生产使用的模式。这篇文件介绍如何搭建完全分布式的hadoop集群,一个主节点,三个数据节点为例来讲解。 基础环境 环境准备 1、软件版本 四台服务器配置,系统:centos6.5、内存:1G、硬盘:20G 四台服务器分配的IP地址:192.168.
用户1263954
2018-01-30
820
0
Apache Hadoop入门
数据库
hadoop
spark
介绍 本文要介绍的Apache Hadoop是一个使用简单高级编程模型实现的对大型数据集进行分布式存储和处理的软件框架。文章涵盖了Hadoop最重要的概念,对其架构的描述,并指导如何使用它,以及在Hadoop上编写和执行各种应用程序。 简而言之,Hadoop是Apache Software Foundation的开源项目,可以安装在一组标准机器上,以便这些机器可以通信并协同工作来存储和处理大型数据集。近年来,Hadoop已经非常成功,因为它有能力有效地处理大数据。它允许公司将其所有数据存储在一个系统中,并对
用户1263954
2018-01-30
1.5K
0
Kafka消费者架构
kafka
编程算法
hadoop
Kafka消费者组 您可以通过用例或功能将消费者组合成消费者组。一个消费者组可能负责将记录传送到高速的、基于内存的微服务,而另一个消费者组将这些记录传输到Hadoop。消费者组有自己的名称以便于从其它消费者组中区分出来。 消费者组具有唯一的ID。每个消费者组是一个或多个Kafka主题的订阅者。每个消费者组维护其每个主题分区的偏移量。如果您需要多个订阅者,那么您有多个消费者组。一个记录只交付给消费者组中的一个消费者。 消费者组中的每个消费者处理记录,并且该组中只有一个消费者将获得相同的记录。消费组内的
用户1263954
2018-01-30
1.5K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档