腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
cwl_Java
专栏作者
举报
2423
文章
2146120
阅读量
64
订阅数
订阅专栏
申请加入专栏
全部文章（999+）
编程算法（441）
java（351）
sql（303）
数据库（281）
c++（139）
spring（117）
http（116）
网站（110）
jdk（110）
xml（90）
javascript（89）
存储（86）
api（81）
网络安全（77）
php（75）
linux（75）
tcp/ip（71）
云数据库 SQL Server（65）
html（64）
容器（63）
打包（60）
postgresql（58）
android（57）
协议（54）
ide（51）
面向对象编程（49）
腾讯云测试服务（48）
https（48）
node.js（46）
数据结构（45）
apache（39）
css（38）
hive（36）
algorithm（36）
区块链（35）
unix（35）
微服务（35）
jar（33）
jvm（33）
大数据（33）
windows（33）
文件存储（30）
缓存（30）
主机（29）
python（28）
mvc（28）
mapreduce（28）
git（27）
vue.js（26）
maven（26）
hadoop（26）
json（24）
开源（24）
servlet（23）
mybatis（23）
程序（23）
jquery（22）
分布式（21）
数据分析（21）
ip（21）
容器镜像服务（20）
语法（20）
mongodb（19）
kafka（18）
github（17）
shell（17）
路由器（17）
scala（16）
jdbc（16）
zookeeper（16）
Elasticsearch Service（16）
对象存储（15）
负载均衡（15）
bash（15）
ecmascript（15）
oracle（15）
TDSQL MySQL 版（15）
其他（14）
ajax（14）
云数据库 MongoDB（14）
tomcat（13）
nginx（13）
排序（13）
云数据库 Redis（12）
负载均衡缓存（12）
访问管理（12）
云推荐引擎（12）
数据结构与算法（12）
消息队列 CMQ 版（11）
企业（11）
bit（11）
服务器（11）
go（10）
jsp（10）
react（10）
lucene/solr（10）
npm（10）
aop（10）
系统架构（10）
云数据库 postgresql（10）
任务调度（10）
ascii（10）
max（10）
代理（10）
数字货币（9）
机器学习（9）
access（9）
eclipse（9）
bash 指令（9）
solaris（9）
渲染（9）
dns（9）
udp（9）
jenkins（9）
spring cloud（9）
数据处理（9）
架构设计（9）
table（9）
对象（9）
工具类（9）
连接（9）
全文检索（8）
SSL 证书（8）
hashmap（8）
uml（8）
hbase（8）
public（8）
定时器（8）
进程（8）
设计模式（8）
数组（8）
c 语言（7）
游戏（7）
ssh（7）
正则表达式（7）
yum（7）
rpc（7）
云计算（7）
es（7）
object（7）
费用中心（6）
命令行工具（6）
ftp（6）
grep（6）
单元测试（6）
rabbitmq（6）
安全（6）
count（6）
excel（6）
for循环（6）
select（6）
set（6）
snmp（6）
string（6）
system（6）
队列（6）
函数（6）
基础（6）
集合（6）
开发（6）
配置（6）
索引（6）
嵌入式（5）
memcached（5）
laravel（5）
spring boot（5）
break（5）
byte（5）
data（5）
db（5）
default（5）
host（5）
key（5）
map（5）
min（5）
replication（5）
root（5）
search（5）
sentinel（5）
变量（5）
登录（5）
管理（5）
继承（5）
命令行（5）
权限（5）
搜索（5）
统计（5）
文件系统（5）
异常（5）
以太坊（5）
自动驾驶（4）
perl（4）
c#（4）
单片机（4）
analyzer（4）
thinkphp（4）
数据安全（4）
express（4）
serverless（4）
运维（4）
html5（4）
sql server（4）
二叉树（4）
socket编程（4）
虚拟化（4）
case（4）
char（4）
command（4）
dom（4）
gc（4）
heap（4）
line（4）
mysql（4）
nacos（4）
network（4）
poi（4）
return（4）
service（4）
遍历（4）
动态代理（4）
计算机（4）
加密（4）
客户端（4）
内存（4）
前端（4）
事件（4）
数据（4）
系统（4）
线程（4）
硬件（4）
注解（4）
字符串（4）
比特币（3）
ios（3）
regex（3）
jquery ui（3）
textview（3）
nosql（3）
struts（3）
搜索引擎（3）
centos（3）
深度学习（3）
数据备份（3）
webpack（3）
yarn（3）
自动化（3）
gui（3）
gradle（3）
防火墙（3）
utf8（3）
实时监控（3）
archive（3）
block（3）
branch（3）
class（3）
code（3）
es5（3）
exists（3）
file（3）
filter（3）
flume（3）
function（3）
init（3）
integer（3）
limit（3）
load（3）
nfs（3）
null（3）
private（3）
protected（3）
setter（3）
socket（3）
static（3）
tail（3）
timeout（3）
var（3）
void（3）
报表（3）
分页（3）
垃圾回收（3）
流量（3）
调试（3）
通信（3）
网关（3）
性能优化（3）
域名（3）
原型（3）
指针（3）
作用域（3）
云服务器（2）
云点播（2）
人脸识别（2）
erlang（2）
bootstrap（2）
webview（2）
listview（2）
opengl（2）
composer（2）
ubuntu（2）
windows server（2）
神经网络（2）
人工智能（2）
图像处理（2）
电商（2）
eslint（2）
xslt & xpath（2）
黑客（2）
数据迁移（2）
spark（2）
监督学习（2）
asp（2）
自动化测试（2）
dubbo（2）
kernel（2）
gcc（2）
kerberos（2）
微信（2）
小程序（2）
机器人（2）
canvas（2）
swoole（2）
mvcc（2）
sdk（2）
性能测试（2）
数据库管理（2）
abstract（2）
app（2）
autowired（2）
border（2）
cat（2）
clone（2）
commit（2）
config（2）
console（2）
dao（2）
deadlock（2）
debug（2）
dijkstra（2）
distinct（2）
elasticsearch（2）
event（2）
exception（2）
fibonacci（2）
freemarker（2）
hdfs（2）
hystrix（2）
include（2）
innodb（2）
interface（2）
io（2）
list（2）
lock（2）
md5（2）
media（2）
memory（2）
multicast（2）
mycat（2）
numbers（2）
path（2）
port（2）
post（2）
project（2）
prototype（2）
ps（2）
sequence（2）
session（2）
shutdown（2）
src（2）
stream（2）
sum（2）
synchronous（2）
telnet（2）
transactions（2）
transfer（2）
tree（2）
txt（2）
vr（2）
web（2）
window（2）
word（2）
百度（2）
编程（2）
编译器（2）
表格（2）
并发（2）
操作系统（2）
插件（2）
产品（2）
程序员（2）
单例模式（2）
服务端（2）
工具（2）
后端（2）
集群（2）
脚本（2）
接口（2）
模型（2）
内核（2）
日志（2）
软件（2）
数据类型（2）
同步（2）
效率（2）
虚拟机（2）
优化（2）
源码（2）
终端（2）
语音识别（1）
官方文档（1）
NLP 服务（1）
objective-c（1）
mac os（1）
.net（1）
angularjs（1）
makefile（1）
sqlite（1）
svn（1）
apt-get（1）
delphi（1）
专用宿主机（1）
归档存储（1）
日志服务（1）
检测工具（1）
数据加密服务（1）
短信（1）
视频处理（1）
redux（1）
babel.js（1）
压力测试（1）
爬虫（1）
erp（1）
推荐系统（1）
cdn（1）
flash（1）
ddos（1）
无监督学习（1）
物联网（1）
安全漏洞（1）
nat（1）
processing（1）
unicode（1）
ipv6（1）
raft（1）
ghost（1）
adapter（1）
admin（1）
aes（1）
agent（1）
aggregation（1）
analysis（1）
ansi（1）
append（1）
arguments（1）
aspectj（1）
attr（1）
auto（1）
avro（1）
bat（1）
bind（1）
binding（1）
boolean（1）
build（1）
cascade（1）
center（1）
channel（1）
checksum（1）
chmod（1）
constructor（1）
controller（1）
cpu（1）
cursor（1）
cut（1）
daemon（1）
decimal（1）
delay（1）
device（1）
distance（1）
distribution（1）
driver（1）
dynamic（1）
edit（1）
editor（1）
element（1）
encoding（1）
equals（1）
esb（1）
etl（1）
execute（1）
execution（1）
export（1）
extjs（1）
fedora（1）
footer（1）
frame（1）
free（1）
gateway（1）
get（1）
getter（1）
glib（1）
hash（1）
having（1）
histogram（1）
history（1）
import（1）
input（1）
insert（1）
instance（1）
int（1）
intel（1）
interpolation（1）
iso（1）
jetty（1）
jit（1）
jobs（1）
join（1）
jpa（1）
jsch（1）
jsoup（1）
jwt（1）
localhost（1）
log4j（1）
logic（1）
logout（1）
lombok（1）
mac（1）
mapping（1）
match（1）
math（1）
matrix（1）
message（1）
microsoft（1）
monitoring（1）
navigation（1）
nlog（1）
ole（1）
oop（1）
oozie（1）
openmp（1）
outlook（1）
overloading（1）
overriding（1）
padding（1）
pdf（1）
perfect（1）
php7（1）
pic（1）
pid（1）
ping（1）
plugin（1）
plugins（1）
pojo（1）
polymorphism（1）
position（1）
powerpoint（1）
proc（1）
progress（1）
properties（1）
push（1）
radix（1）
random（1）
range（1）
ref（1）
reference（1）
refresh（1）
registry（1）
release（1）
report（1）
request（1）
response（1）
restart（1）
restore（1）
sax（1）
self（1）
sendmail（1）
server（1）
sh（1）
sha（1）
shift（1）
smtp（1）
sort（1）
sorting（1）
spa（1）
spi（1）
state（1）
statistics（1）
status（1）
storage（1）
subscription（1）
sudo（1）
super（1）
syntax（1）
target（1）
tcpdump（1）
terminal（1）
thrift（1）
timer（1）
timestamp（1）
truncate（1）
union（1）
unsigned（1）
url（1）
usb（1）
vector（1）
vhosts（1）
vim（1）
vmware（1）
width（1）
wizard（1）
worker（1）
wrapper（1）
zsh（1）
备份（1）
编程语言（1）
编辑器（1）
编码（1）
表单（1）
并发编程（1）
布局（1）
部署（1）
程序设计（1）
磁盘（1）
代理服务器（1）
递归（1）
定时任务（1）
多线程（1）
二进制（1）
服务（1）
规范化（1）
行业（1）
技巧（1）
架构（1）
监控（1）
局域网（1）
开发工具（1）
可视化（1）
快捷键（1）
框架（1）
量化（1）
流媒体（1）
乱码（1）
模块化（1）
内存管理（1）
日志分析（1）
软件架构（1）
软件开发（1）
设计（1）
生命周期（1）
事务（1）
数据仓库（1）
数据存储（1）
数据恢复（1）
数据同步（1）
数学（1）
算法（1）
推荐算法（1）
网络（1）
网页爬虫（1）
文件上传（1）
系统设计（1）
线程安全（1）
线程池（1）
响应式（1）
性能（1）
序列化（1）
虚拟主机（1）
需求分析（1）
压缩（1）
异常处理（1）
源码分析（1）
重定向（1）
组件库（1）
搜索文章
搜索
搜索
关闭
快速学习-Azkaban入门
hive
网站
任务调度
hadoop
mapreduce
1）一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；
cwl_java
2020-03-25
576
0
快速学习-Kylin环境搭建
apache
hadoop
hbase
面向对象编程
TDSQL MySQL 版
1）将apache-kylin-2.5.1-bin-hbase1x.tar.gz上传到Linux 2）解压apache-kylin-2.5.1-bin-hbase1x.tar.gz到/opt/module
cwl_java
2020-03-24
485
0
快速学习-Kylin概述
编程算法
hadoop
sql
mapreduce
Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
cwl_java
2020-03-24
526
0
presto环境搭建
node.js
hive
hadoop
https
http
1、环境准备 支持操作系统： Linux or Mac OS X Java 8, 64-bit Python 2.4+
cwl_java
2020-03-24
1.6K
0
快速学习-Sqoop入门与简介
hadoop
mapreduce
python
大数据
数据库
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
cwl_java
2020-03-20
556
0
快速学习-Hive企业级调优
hive
mapreduce
hadoop
Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如：SELECT * FROM employees;在这种情况下，Hive 可以简单地读取 employee 对应的存储目录下的文件，然后输出查询结果到控制台。 在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默认是 more，老版本 hive默认是 minimal，该属性修改为 more 以后，在全局查找、字段查找、limit 查找等都不走mapreduce。
cwl_java
2020-02-21
889
0
快速学习-HDFS HA高可用
大数据
yarn
node.js
hadoop
zookeeper
1）所谓HA（High Available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SPOF）。 4）NameNode主要在以下两个方面影响HDFS集群 NameNode机器发生意外，如宕机，集群将无法使用，直到管理员重启 NameNode机器需要升级，包括软件、硬件升级，此时集群也将无法使用 HDFS HA功能通过配置Active/Standby两个NameNodes实现在集群中对NameNode的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将NameNode很快的切换到另外一台机器。
cwl_java
2020-02-21
668
0
快速学习-HBase安装
hbase
TDSQL MySQL 版
zookeeper
hadoop
提示：如果集群之间的节点时间不同步，会导致regionserver无法启动，抛出ClockOutOfSyncException异常。 修复提示： a、同步时间服务 请参看帮助文档：《尚硅谷大数据技术之Hadoop入门》 b、属性：hbase.master.maxclockskew设置更大的值
cwl_java
2020-02-21
625
0
快速学习-Hive 基本概念
mapreduce
hadoop
数据库
sql
hive
Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序
cwl_java
2020-02-21
504
0
快速学习-Oozie常见问题总结
hadoop
云数据库 SQL Server
xml
大数据
数据库
第5章 Oozie常见问题总结 Mysql权限配置 授权所有主机可以使用root用户操作所有数据库和数据表 mysql> grant all on *.* to root@'%' identified by '000000'; mysql> flush privileges; mysql> exit; workflow.xml配置的时候不要忽略file属性 jps查看进程时，注意有没有bootstrap 关闭oozie 如果bin/oozied.sh stop无法关闭，则可以使用kill -9 [pid
cwl_java
2020-02-20
495
0
快速学习-HDFS客户端操作
大数据
api
hadoop
面向对象编程
需要在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入
cwl_java
2020-02-19
535
0
快速学习-HDFS的数据流
大数据
编程算法
hadoop
文件存储
缓存
1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 Block上传到哪几个DataNode服务器上。 4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。 5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。 6）dn1、dn2、dn3逐级应答客户端。 7）客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。 8）当一个Block传输完成之后，客户端再次请求NameNode上传第二个Block的服务器。（重复执行3-7步）。
cwl_java
2020-02-19
481
0
快速学习-DataNode
hadoop
大数据
xml
编程算法
1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。 2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。 3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。 4）集群运行中可以安全加入和退出一些机器。
cwl_java
2020-02-19
574
0
快速学习HDFS2.X新特性
linux
hadoop
xml
（2）归档文件 把/user/atguigu/input目录里面的所有文件归档成一个叫input.har的归档文件，并把归档后文件存储到/user/atguigu/output路径下。
cwl_java
2020-02-19
301
0
大数据-Azkaban介绍
任务调度
hive
hadoop
各任务单元之间存在时间先后及前后依赖关系, 为了很好地组织起这样的复杂执行计划， 需要一个工作流调度系统来调度执行；
cwl_java
2019-12-30
1.7K
0
大数据-MapReduce中的计数器
mapreduce
hadoop
计数器是收集作业统计信息的有效手段之一，用于质量控制或应用级统计。计数器还可辅 助诊断系统故障。如果需要将日志信息传输到 map 或 reduce 任务， 更好的方法通常是看 能否用一个计数器值来记录某一特定事件的发生。对于大型分布式作业而言，使用计数器 更为方便。除了因为获取计数器值比输出日志更方便，还有根据计数器值统计特定事件的 发生次数要比分析一堆日志文件容易得多。
cwl_java
2019-12-26
1.1K
0
大数据-Hive 的三种交互方式
sql
hive
hadoop
hive官方推荐使用hiveserver2的这种交互方式，需要我们启动hiveserver2这个服务端，然后通过客户 端去进行连接
cwl_java
2019-12-26
833
0
大数据-HDFS的元信息和SecondaryNameNode
http
大数据
xml
hadoop
当 Hadoop 的集群当中, 只有一个 NameNode 的时候,所有的元数据信息都保存在了 FsImage 与 Eidts 文件当中,这两个文件就记录了所有的数据的元数据信息, 元数据信息的保存目录配置在了hdfs-site.xml 当中
cwl_java
2019-12-25
333
0
大数据-HDFS 文件副本和 Block 块存储
大数据
缓存
linux
hadoop
所有的文件都是以 block 块的方式存放在 HDFS 文件系统当中, 在 Hadoop1当中, 文件的 block 块默认大小是 64M, hadoop2 当中, 文件的 block块大小默认是 128M, block 块的大小可以通过 hdfs-site.xml当中的配置文件进行指定
cwl_java
2019-12-25
1.3K
0
大数据-HDFS基本介绍
hadoop
大数据
apache
爬虫
HDFS（Hadoop Distributed File System） 是一个 Apache Software Foundation项目, 是 Apache Hadoop 项目的一个子项目. Hadoop 非常适于存储大型数据(比如 TB 和 PB), 其就是使用 HDFS 作为存储系统. HDFS使用多台计算机存储文件, 并且提供统一的访问接口,像是访问一个普通文件系统一样使用分布式文件系统. HDFS对数据文件的访问通过流的方式进行处理, 这意味着通过命令和 MapReduce程序的方式可以直接使用 HDFS. HDFS 是容错的,且提供对大数据集的高吞吐量访问.
cwl_java
2019-12-25
391
0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天，分 10000 元奖品池！
立即发文
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档