腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
cwl_Java
专栏作者
举报
2423
文章
2147277
阅读量
64
订阅数
订阅专栏
申请加入专栏
全部文章(999+)
编程算法(441)
java(351)
sql(303)
数据库(281)
c++(139)
spring(117)
http(116)
网站(110)
jdk(110)
xml(90)
javascript(89)
存储(86)
api(81)
网络安全(77)
php(75)
linux(75)
tcp/ip(71)
云数据库 SQL Server(65)
html(64)
容器(63)
打包(60)
postgresql(58)
android(57)
协议(54)
ide(51)
面向对象编程(49)
腾讯云测试服务(48)
https(48)
node.js(46)
数据结构(45)
apache(39)
css(38)
hive(36)
algorithm(36)
区块链(35)
unix(35)
微服务(35)
jar(33)
jvm(33)
大数据(33)
windows(33)
文件存储(30)
缓存(30)
主机(29)
python(28)
mvc(28)
mapreduce(28)
git(27)
vue.js(26)
maven(26)
hadoop(26)
json(24)
开源(24)
servlet(23)
mybatis(23)
程序(23)
jquery(22)
分布式(21)
数据分析(21)
ip(21)
容器镜像服务(20)
语法(20)
mongodb(19)
kafka(18)
github(17)
shell(17)
路由器(17)
scala(16)
jdbc(16)
zookeeper(16)
Elasticsearch Service(16)
对象存储(15)
负载均衡(15)
bash(15)
ecmascript(15)
oracle(15)
TDSQL MySQL 版(15)
其他(14)
ajax(14)
云数据库 MongoDB(14)
tomcat(13)
nginx(13)
排序(13)
云数据库 Redis(12)
负载均衡缓存(12)
访问管理(12)
云推荐引擎(12)
数据结构与算法(12)
消息队列 CMQ 版(11)
企业(11)
bit(11)
服务器(11)
go(10)
jsp(10)
react(10)
lucene/solr(10)
npm(10)
aop(10)
系统架构(10)
云数据库 postgresql(10)
任务调度(10)
ascii(10)
max(10)
代理(10)
数字货币(9)
机器学习(9)
access(9)
eclipse(9)
bash 指令(9)
solaris(9)
渲染(9)
dns(9)
udp(9)
jenkins(9)
spring cloud(9)
数据处理(9)
架构设计(9)
table(9)
对象(9)
工具类(9)
连接(9)
全文检索(8)
SSL 证书(8)
hashmap(8)
uml(8)
hbase(8)
public(8)
定时器(8)
进程(8)
设计模式(8)
数组(8)
c 语言(7)
游戏(7)
ssh(7)
正则表达式(7)
yum(7)
rpc(7)
云计算(7)
es(7)
object(7)
费用中心(6)
命令行工具(6)
ftp(6)
grep(6)
单元测试(6)
rabbitmq(6)
安全(6)
count(6)
excel(6)
for循环(6)
select(6)
set(6)
snmp(6)
string(6)
system(6)
队列(6)
函数(6)
基础(6)
集合(6)
开发(6)
配置(6)
索引(6)
嵌入式(5)
memcached(5)
laravel(5)
spring boot(5)
break(5)
byte(5)
data(5)
db(5)
default(5)
host(5)
key(5)
map(5)
min(5)
replication(5)
root(5)
search(5)
sentinel(5)
变量(5)
登录(5)
管理(5)
继承(5)
命令行(5)
权限(5)
搜索(5)
统计(5)
文件系统(5)
异常(5)
以太坊(5)
自动驾驶(4)
perl(4)
c#(4)
单片机(4)
analyzer(4)
thinkphp(4)
数据安全(4)
express(4)
serverless(4)
运维(4)
html5(4)
sql server(4)
二叉树(4)
socket编程(4)
虚拟化(4)
case(4)
char(4)
command(4)
dom(4)
gc(4)
heap(4)
line(4)
mysql(4)
nacos(4)
network(4)
poi(4)
return(4)
service(4)
遍历(4)
动态代理(4)
计算机(4)
加密(4)
客户端(4)
内存(4)
前端(4)
事件(4)
数据(4)
系统(4)
线程(4)
硬件(4)
注解(4)
字符串(4)
比特币(3)
ios(3)
regex(3)
jquery ui(3)
textview(3)
nosql(3)
struts(3)
搜索引擎(3)
centos(3)
深度学习(3)
数据备份(3)
webpack(3)
yarn(3)
自动化(3)
gui(3)
gradle(3)
防火墙(3)
utf8(3)
实时监控(3)
archive(3)
block(3)
branch(3)
class(3)
code(3)
es5(3)
exists(3)
file(3)
filter(3)
flume(3)
function(3)
init(3)
integer(3)
limit(3)
load(3)
nfs(3)
null(3)
private(3)
protected(3)
setter(3)
socket(3)
static(3)
tail(3)
timeout(3)
var(3)
void(3)
报表(3)
分页(3)
垃圾回收(3)
流量(3)
调试(3)
通信(3)
网关(3)
性能优化(3)
域名(3)
原型(3)
指针(3)
作用域(3)
云服务器(2)
云点播(2)
人脸识别(2)
erlang(2)
bootstrap(2)
webview(2)
listview(2)
opengl(2)
composer(2)
ubuntu(2)
windows server(2)
神经网络(2)
人工智能(2)
图像处理(2)
电商(2)
eslint(2)
xslt & xpath(2)
黑客(2)
数据迁移(2)
spark(2)
监督学习(2)
asp(2)
自动化测试(2)
dubbo(2)
kernel(2)
gcc(2)
kerberos(2)
微信(2)
小程序(2)
机器人(2)
canvas(2)
swoole(2)
mvcc(2)
sdk(2)
性能测试(2)
数据库管理(2)
abstract(2)
app(2)
autowired(2)
border(2)
cat(2)
clone(2)
commit(2)
config(2)
console(2)
dao(2)
deadlock(2)
debug(2)
dijkstra(2)
distinct(2)
elasticsearch(2)
event(2)
exception(2)
fibonacci(2)
freemarker(2)
hdfs(2)
hystrix(2)
include(2)
innodb(2)
interface(2)
io(2)
list(2)
lock(2)
md5(2)
media(2)
memory(2)
multicast(2)
mycat(2)
numbers(2)
path(2)
port(2)
post(2)
project(2)
prototype(2)
ps(2)
sequence(2)
session(2)
shutdown(2)
src(2)
stream(2)
sum(2)
synchronous(2)
telnet(2)
transactions(2)
transfer(2)
tree(2)
txt(2)
vr(2)
web(2)
window(2)
word(2)
百度(2)
编程(2)
编译器(2)
表格(2)
并发(2)
操作系统(2)
插件(2)
产品(2)
程序员(2)
单例模式(2)
服务端(2)
工具(2)
后端(2)
集群(2)
脚本(2)
接口(2)
模型(2)
内核(2)
日志(2)
软件(2)
数据类型(2)
同步(2)
效率(2)
虚拟机(2)
优化(2)
源码(2)
终端(2)
语音识别(1)
官方文档(1)
NLP 服务(1)
objective-c(1)
mac os(1)
.net(1)
angularjs(1)
makefile(1)
sqlite(1)
svn(1)
apt-get(1)
delphi(1)
专用宿主机(1)
归档存储(1)
日志服务(1)
检测工具(1)
数据加密服务(1)
短信(1)
视频处理(1)
redux(1)
babel.js(1)
压力测试(1)
爬虫(1)
erp(1)
推荐系统(1)
cdn(1)
flash(1)
ddos(1)
无监督学习(1)
物联网(1)
安全漏洞(1)
nat(1)
processing(1)
unicode(1)
ipv6(1)
raft(1)
ghost(1)
adapter(1)
admin(1)
aes(1)
agent(1)
aggregation(1)
analysis(1)
ansi(1)
append(1)
arguments(1)
aspectj(1)
attr(1)
auto(1)
avro(1)
bat(1)
bind(1)
binding(1)
boolean(1)
build(1)
cascade(1)
center(1)
channel(1)
checksum(1)
chmod(1)
constructor(1)
controller(1)
cpu(1)
cursor(1)
cut(1)
daemon(1)
decimal(1)
delay(1)
device(1)
distance(1)
distribution(1)
driver(1)
dynamic(1)
edit(1)
editor(1)
element(1)
encoding(1)
equals(1)
esb(1)
etl(1)
execute(1)
execution(1)
export(1)
extjs(1)
fedora(1)
footer(1)
frame(1)
free(1)
gateway(1)
get(1)
getter(1)
glib(1)
hash(1)
having(1)
histogram(1)
history(1)
import(1)
input(1)
insert(1)
instance(1)
int(1)
intel(1)
interpolation(1)
iso(1)
jetty(1)
jit(1)
jobs(1)
join(1)
jpa(1)
jsch(1)
jsoup(1)
jwt(1)
localhost(1)
log4j(1)
logic(1)
logout(1)
lombok(1)
mac(1)
mapping(1)
match(1)
math(1)
matrix(1)
message(1)
microsoft(1)
monitoring(1)
navigation(1)
nlog(1)
ole(1)
oop(1)
oozie(1)
openmp(1)
outlook(1)
overloading(1)
overriding(1)
padding(1)
pdf(1)
perfect(1)
php7(1)
pic(1)
pid(1)
ping(1)
plugin(1)
plugins(1)
pojo(1)
polymorphism(1)
position(1)
powerpoint(1)
proc(1)
progress(1)
properties(1)
push(1)
radix(1)
random(1)
range(1)
ref(1)
reference(1)
refresh(1)
registry(1)
release(1)
report(1)
request(1)
response(1)
restart(1)
restore(1)
sax(1)
self(1)
sendmail(1)
server(1)
sh(1)
sha(1)
shift(1)
smtp(1)
sort(1)
sorting(1)
spa(1)
spi(1)
state(1)
statistics(1)
status(1)
storage(1)
subscription(1)
sudo(1)
super(1)
syntax(1)
target(1)
tcpdump(1)
terminal(1)
thrift(1)
timer(1)
timestamp(1)
truncate(1)
union(1)
unsigned(1)
url(1)
usb(1)
vector(1)
vhosts(1)
vim(1)
vmware(1)
width(1)
wizard(1)
worker(1)
wrapper(1)
zsh(1)
备份(1)
编程语言(1)
编辑器(1)
编码(1)
表单(1)
并发编程(1)
布局(1)
部署(1)
程序设计(1)
磁盘(1)
代理服务器(1)
递归(1)
定时任务(1)
多线程(1)
二进制(1)
服务(1)
规范化(1)
行业(1)
技巧(1)
架构(1)
监控(1)
局域网(1)
开发工具(1)
可视化(1)
快捷键(1)
框架(1)
量化(1)
流媒体(1)
乱码(1)
模块化(1)
内存管理(1)
日志分析(1)
软件架构(1)
软件开发(1)
设计(1)
生命周期(1)
事务(1)
数据仓库(1)
数据存储(1)
数据恢复(1)
数据同步(1)
数学(1)
算法(1)
推荐算法(1)
网络(1)
网页爬虫(1)
文件上传(1)
系统设计(1)
线程安全(1)
线程池(1)
响应式(1)
性能(1)
序列化(1)
虚拟主机(1)
需求分析(1)
压缩(1)
异常处理(1)
源码分析(1)
重定向(1)
组件库(1)
搜索文章
搜索
搜索
关闭
快速学习-Azkaban入门
hive
网站
任务调度
hadoop
mapreduce
1)一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序、hive脚本等 2)各任务单元之间存在时间先后及前后依赖关系 3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;
cwl_java
2020-03-25
577
0
快速学习-Kylin概述
编程算法
hadoop
sql
mapreduce
Apache Kylin是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
cwl_java
2020-03-24
526
0
快速学习-Sqoop入门与简介
hadoop
mapreduce
python
大数据
数据库
Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
cwl_java
2020-03-20
556
0
快速学习-Hive企业级调优
hive
mapreduce
hadoop
Fetch 抓取是指,Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如:SELECT * FROM employees;在这种情况下,Hive 可以简单地读取 employee 对应的存储目录下的文件,然后输出查询结果到控制台。 在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默认是 more,老版本 hive默认是 minimal,该属性修改为 more 以后,在全局查找、字段查找、limit 查找等都不走mapreduce。
cwl_java
2020-02-21
890
0
快速学习-HBaseAPI操作
hbase
TDSQL MySQL 版
hive
mapreduce
数据库
通过HBase的相关JavaAPI,我们可以实现伴随HBase操作的MapReduce过程,比如使用MapReduce将数据从本地文件系统导入到HBase的表中,比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。
cwl_java
2020-02-21
433
0
快速学习-Hive 基本概念
mapreduce
hadoop
数据库
sql
hive
Hive:由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并 提供类 SQL 查询功能。 本质是:将 HQL 转化成 MapReduce 程序
cwl_java
2020-02-21
506
0
快速学习-Hive查询
数据库
sql
hive
mapreduce
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select 查询语句语法:
cwl_java
2020-02-21
1.6K
0
快速学习-Oozie的使用
xml
ios
jar
mapreduce
linux
目标:使用Oozie调度MapReduce任务 分步执行: 1)找到一个可以运行的mapreduce任务的jar包(可以用官方的,也可以是自己写的) 2)拷贝官方模板到oozie-apps
cwl_java
2020-02-20
956
0
快速学习-Azkaban概述
任务调度
mapreduce
数据库
sql
hive
Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的 key:value 对的方式,通过配置中的 Dependencies 来设置依赖关系。Azkaban 使用 job 配置文件建立任务之间的依赖关系,并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。
cwl_java
2020-02-19
469
0
快速学习-Azkaban实战
网站
java
jar
mapreduce
hive
注意: 目前,Azkaban 上传的工作流文件只支持 xxx.zip 文件。zip 应包含 xxx.job 运行作业所需的文件和任何文件(文件名后缀必须以.job 结尾,否则无法识别)。作业名称在项目中必须是唯一的。
cwl_java
2020-02-18
459
0
快速学习ES6新特性-map和reduce
mapreduce
编程算法
reduce() :接收一个函数(必须)和一个初始值(可选),该函数接收两个参数:
cwl_java
2020-02-14
817
0
快速学习-ES6语法指南
ecmascript
mapreduce
javascript
node.js
编程算法
后端项目搭建完毕,接下来就是前端页面了。不过在这之前需要一些准备工作。我们需要学习ES6的语法标准。
cwl_java
2020-02-11
948
0
大数据-Hive的基本概念
mapreduce
hive
存储
jdbc
大数据
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供类 SQL查询功能。
cwl_java
2019-12-26
442
0
大数据-Hive排序
mapreduce
Distribute By:类似MR中partition,进行分区,结合sort by使用。
cwl_java
2019-12-26
777
0
大数据-Hive联表语句
mapreduce
hive
数据库
sql
左外连接:JOIN操作符左边表中符合WHERE子句的所有记录将会被返回。 查询老师对应的课程
cwl_java
2019-12-26
614
0
大数据-[案例]Reduce端实现JOIN
mapreduce
假如数据量巨大,两表的数据是以文件的形式存储在 HDFS 中, 需要用 MapReduce 程 序来实现以下 SQL 查询运算
cwl_java
2019-12-26
292
0
大数据-Shuffle过程
mapreduce
map 阶段处理的数据如何传递给 reduce 阶段,是 MapReduce 框架中最关键的一个流 程,这个流程就叫 shuffle
cwl_java
2019-12-26
3.5K
0
大数据-ReduceTask工作机制和ReduceTask并行度
mapreduce
Reduce 大致分为 copy、sort、reduce 三个阶段,重点在前两个阶段。copy 阶段包含一 个 eventFetcher 来获取已完成的 map 列表,由 Fetcher 线程去 copy 数据,在此过程中 会启动两个 merge 线程,分别为 inMemoryMerger 和 onDiskMerger,分别将内存中的 数据 merge 到磁盘和将磁盘中的数据进行 merge。待数据 copy 完成之后,copy 阶段就 完成了,开始进行 sort 阶段,sort 阶段主要是执行 finalMerge 操作,纯粹的 sort 阶段, 完成之后就是 reduce 阶段,调用用户定义的 reduce 函数进行处理
cwl_java
2019-12-26
348
0
大数据-MapTask运行机制
javascript
mapreduce
简单概述:inputFile通过split被逻辑切分为多个split文件,通过Record按行读取内容给 map(用户自己实现的)进行处理,数据被map处理结束之后交给OutputCollector收集 器,对其结果key进行分区(默认使用hash分区),然后写入buffer,每个map task都有 一个内存缓冲区,存储着map的输出结果,当缓冲区快满的时候需要将缓冲区的数据以一 个临时文件的方式存放到磁盘,当整个map task结束后再对磁盘中这个map task产生的所 有临时文件做合并,生成最终的正式输出文件,然后等待reduce task来拉数据
cwl_java
2019-12-26
368
0
大数据-经典案例上行流量倒序排序(递减排序)
mapreduce
分析,以需求一的输出数据作为排序的输入数据,自定义FlowBean,以FlowBean为map输 出的key,以手机号作为Map输出的value,因为MapReduce程序会对Map阶段输出的key 进行排序
cwl_java
2019-12-26
572
0
点击加载更多
社区活动
腾讯技术创作狂欢月
“码”上创作 21 天,分 10000 元奖品池!
立即发文
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档