腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
cwl_Java
专栏作者
举报
2423
文章
2155658
阅读量
64
订阅数
订阅专栏
申请加入专栏
全部文章（999+）
编程算法（441）
java（351）
sql（303）
数据库（281）
c++（139）
spring（117）
http（116）
网站（110）
jdk（110）
xml（90）
javascript（89）
存储（86）
api（81）
网络安全（77）
php（75）
linux（75）
tcp/ip（71）
云数据库 SQL Server（65）
html（64）
容器（63）
打包（60）
postgresql（58）
android（57）
协议（54）
ide（51）
面向对象编程（49）
腾讯云测试服务（48）
https（48）
node.js（46）
数据结构（45）
apache（39）
css（38）
hive（36）
algorithm（36）
区块链（35）
unix（35）
微服务（35）
jar（33）
jvm（33）
大数据（33）
windows（33）
文件存储（30）
缓存（30）
主机（29）
python（28）
mvc（28）
mapreduce（28）
git（27）
vue.js（26）
maven（26）
hadoop（26）
json（24）
开源（24）
servlet（23）
mybatis（23）
程序（23）
jquery（22）
分布式（21）
数据分析（21）
ip（21）
容器镜像服务（20）
语法（20）
mongodb（19）
kafka（18）
github（17）
shell（17）
路由器（17）
scala（16）
jdbc（16）
zookeeper（16）
Elasticsearch Service（16）
对象存储（15）
负载均衡（15）
bash（15）
ecmascript（15）
oracle（15）
TDSQL MySQL 版（15）
其他（14）
ajax（14）
云数据库 MongoDB（14）
tomcat（13）
nginx（13）
排序（13）
云数据库 Redis（12）
负载均衡缓存（12）
访问管理（12）
云推荐引擎（12）
数据结构与算法（12）
消息队列 CMQ 版（11）
企业（11）
bit（11）
服务器（11）
go（10）
jsp（10）
react（10）
lucene/solr（10）
npm（10）
aop（10）
系统架构（10）
云数据库 postgresql（10）
任务调度（10）
ascii（10）
max（10）
代理（10）
数字货币（9）
机器学习（9）
access（9）
eclipse（9）
bash 指令（9）
solaris（9）
渲染（9）
dns（9）
udp（9）
jenkins（9）
spring cloud（9）
数据处理（9）
架构设计（9）
table（9）
对象（9）
工具类（9）
连接（9）
全文检索（8）
SSL 证书（8）
hashmap（8）
uml（8）
hbase（8）
public（8）
定时器（8）
进程（8）
设计模式（8）
数组（8）
c 语言（7）
游戏（7）
ssh（7）
正则表达式（7）
yum（7）
rpc（7）
云计算（7）
es（7）
object（7）
费用中心（6）
命令行工具（6）
ftp（6）
grep（6）
单元测试（6）
rabbitmq（6）
安全（6）
count（6）
excel（6）
for循环（6）
select（6）
set（6）
snmp（6）
string（6）
system（6）
队列（6）
函数（6）
基础（6）
集合（6）
开发（6）
配置（6）
索引（6）
嵌入式（5）
memcached（5）
laravel（5）
spring boot（5）
break（5）
byte（5）
data（5）
db（5）
default（5）
host（5）
key（5）
map（5）
min（5）
replication（5）
root（5）
search（5）
sentinel（5）
变量（5）
登录（5）
管理（5）
继承（5）
命令行（5）
权限（5）
搜索（5）
统计（5）
文件系统（5）
异常（5）
以太坊（5）
自动驾驶（4）
perl（4）
c#（4）
单片机（4）
analyzer（4）
thinkphp（4）
数据安全（4）
express（4）
serverless（4）
运维（4）
html5（4）
sql server（4）
二叉树（4）
socket编程（4）
虚拟化（4）
case（4）
char（4）
command（4）
dom（4）
gc（4）
heap（4）
line（4）
mysql（4）
nacos（4）
network（4）
poi（4）
return（4）
service（4）
遍历（4）
动态代理（4）
计算机（4）
加密（4）
客户端（4）
内存（4）
前端（4）
事件（4）
数据（4）
系统（4）
线程（4）
硬件（4）
注解（4）
字符串（4）
比特币（3）
ios（3）
regex（3）
jquery ui（3）
textview（3）
nosql（3）
struts（3）
搜索引擎（3）
centos（3）
深度学习（3）
数据备份（3）
webpack（3）
yarn（3）
自动化（3）
gui（3）
gradle（3）
防火墙（3）
utf8（3）
实时监控（3）
archive（3）
block（3）
branch（3）
class（3）
code（3）
es5（3）
exists（3）
file（3）
filter（3）
flume（3）
function（3）
init（3）
integer（3）
limit（3）
load（3）
nfs（3）
null（3）
private（3）
protected（3）
setter（3）
socket（3）
static（3）
tail（3）
timeout（3）
var（3）
void（3）
报表（3）
分页（3）
垃圾回收（3）
流量（3）
调试（3）
通信（3）
网关（3）
性能优化（3）
域名（3）
原型（3）
指针（3）
作用域（3）
云服务器（2）
云点播（2）
人脸识别（2）
erlang（2）
bootstrap（2）
webview（2）
listview（2）
opengl（2）
composer（2）
ubuntu（2）
windows server（2）
神经网络（2）
人工智能（2）
图像处理（2）
电商（2）
eslint（2）
xslt & xpath（2）
黑客（2）
数据迁移（2）
spark（2）
监督学习（2）
asp（2）
自动化测试（2）
dubbo（2）
kernel（2）
gcc（2）
kerberos（2）
微信（2）
小程序（2）
机器人（2）
canvas（2）
swoole（2）
mvcc（2）
sdk（2）
性能测试（2）
数据库管理（2）
abstract（2）
app（2）
autowired（2）
border（2）
cat（2）
clone（2）
commit（2）
config（2）
console（2）
dao（2）
deadlock（2）
debug（2）
dijkstra（2）
distinct（2）
elasticsearch（2）
event（2）
exception（2）
fibonacci（2）
freemarker（2）
hdfs（2）
hystrix（2）
include（2）
innodb（2）
interface（2）
io（2）
list（2）
lock（2）
md5（2）
media（2）
memory（2）
multicast（2）
mycat（2）
numbers（2）
path（2）
port（2）
post（2）
project（2）
prototype（2）
ps（2）
sequence（2）
session（2）
shutdown（2）
src（2）
stream（2）
sum（2）
synchronous（2）
telnet（2）
transactions（2）
transfer（2）
tree（2）
txt（2）
vr（2）
web（2）
window（2）
word（2）
百度（2）
编程（2）
编译器（2）
表格（2）
并发（2）
操作系统（2）
插件（2）
产品（2）
程序员（2）
单例模式（2）
服务端（2）
工具（2）
后端（2）
集群（2）
脚本（2）
接口（2）
模型（2）
内核（2）
日志（2）
软件（2）
数据类型（2）
同步（2）
效率（2）
虚拟机（2）
优化（2）
源码（2）
终端（2）
语音识别（1）
官方文档（1）
NLP 服务（1）
objective-c（1）
mac os（1）
.net（1）
angularjs（1）
makefile（1）
sqlite（1）
svn（1）
apt-get（1）
delphi（1）
专用宿主机（1）
归档存储（1）
日志服务（1）
检测工具（1）
数据加密服务（1）
短信（1）
视频处理（1）
redux（1）
babel.js（1）
压力测试（1）
爬虫（1）
erp（1）
推荐系统（1）
cdn（1）
flash（1）
ddos（1）
无监督学习（1）
物联网（1）
安全漏洞（1）
nat（1）
processing（1）
unicode（1）
ipv6（1）
raft（1）
ghost（1）
adapter（1）
admin（1）
aes（1）
agent（1）
aggregation（1）
analysis（1）
ansi（1）
append（1）
arguments（1）
aspectj（1）
attr（1）
auto（1）
avro（1）
bat（1）
bind（1）
binding（1）
boolean（1）
build（1）
cascade（1）
center（1）
channel（1）
checksum（1）
chmod（1）
constructor（1）
controller（1）
cpu（1）
cursor（1）
cut（1）
daemon（1）
decimal（1）
delay（1）
device（1）
distance（1）
distribution（1）
driver（1）
dynamic（1）
edit（1）
editor（1）
element（1）
encoding（1）
equals（1）
esb（1）
etl（1）
execute（1）
execution（1）
export（1）
extjs（1）
fedora（1）
footer（1）
frame（1）
free（1）
gateway（1）
get（1）
getter（1）
glib（1）
hash（1）
having（1）
histogram（1）
history（1）
import（1）
input（1）
insert（1）
instance（1）
int（1）
intel（1）
interpolation（1）
iso（1）
jetty（1）
jit（1）
jobs（1）
join（1）
jpa（1）
jsch（1）
jsoup（1）
jwt（1）
localhost（1）
log4j（1）
logic（1）
logout（1）
lombok（1）
mac（1）
mapping（1）
match（1）
math（1）
matrix（1）
message（1）
microsoft（1）
monitoring（1）
navigation（1）
nlog（1）
ole（1）
oop（1）
oozie（1）
openmp（1）
outlook（1）
overloading（1）
overriding（1）
padding（1）
pdf（1）
perfect（1）
php7（1）
pic（1）
pid（1）
ping（1）
plugin（1）
plugins（1）
pojo（1）
polymorphism（1）
position（1）
powerpoint（1）
proc（1）
progress（1）
properties（1）
push（1）
radix（1）
random（1）
range（1）
ref（1）
reference（1）
refresh（1）
registry（1）
release（1）
report（1）
request（1）
response（1）
restart（1）
restore（1）
sax（1）
self（1）
sendmail（1）
server（1）
sh（1）
sha（1）
shift（1）
smtp（1）
sort（1）
sorting（1）
spa（1）
spi（1）
state（1）
statistics（1）
status（1）
storage（1）
subscription（1）
sudo（1）
super（1）
syntax（1）
target（1）
tcpdump（1）
terminal（1）
thrift（1）
timer（1）
timestamp（1）
truncate（1）
union（1）
unsigned（1）
url（1）
usb（1）
vector（1）
vhosts（1）
vim（1）
vmware（1）
width（1）
wizard（1）
worker（1）
wrapper（1）
zsh（1）
备份（1）
编程语言（1）
编辑器（1）
编码（1）
表单（1）
并发编程（1）
布局（1）
部署（1）
程序设计（1）
磁盘（1）
代理服务器（1）
递归（1）
定时任务（1）
多线程（1）
二进制（1）
服务（1）
规范化（1）
行业（1）
技巧（1）
架构（1）
监控（1）
局域网（1）
开发工具（1）
可视化（1）
快捷键（1）
框架（1）
量化（1）
流媒体（1）
乱码（1）
模块化（1）
内存管理（1）
日志分析（1）
软件架构（1）
软件开发（1）
设计（1）
生命周期（1）
事务（1）
数据仓库（1）
数据存储（1）
数据恢复（1）
数据同步（1）
数学（1）
算法（1）
推荐算法（1）
网络（1）
网页爬虫（1）
文件上传（1）
系统设计（1）
线程安全（1）
线程池（1）
响应式（1）
性能（1）
序列化（1）
虚拟主机（1）
需求分析（1）
压缩（1）
异常处理（1）
源码分析（1）
重定向（1）
组件库（1）
搜索文章
搜索
搜索
关闭
快速学习-Azkaban入门
hive
网站
任务调度
hadoop
mapreduce
1）一个完整的数据分析系统通常都是由大量任务单元组成：shell脚本程序，java程序，mapreduce程序、hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；
cwl_java
2020-03-25
578
0
快速学习-Presto优化
hive
1）合理设置分区 与Hive类似，Presto会根据元信息读取分区数据，合理的分区能减少Presto数据读取量，提升查询性能。 2）使用列式存储 Presto对ORC文件读取做了特定优化，因此在Hive中创建Presto使用的表时，建议采用ORC格式存储。相对于Parquet，Presto对ORC支持更好。 3）使用压缩 数据压缩可以减少节点间数据传输对IO带宽压力，对于即席查询需要快速解压，建议采用Snappy压缩。 4）预先排序 对于已经排序的数据，在查询的数据过滤阶段，ORC格式支持跳过读取不必要的数据。比如对于经常需要过滤的字段可以预先排序。
cwl_java
2020-03-24
1.9K
0
快速学习-Presto安装部署
hive
node.js
jvm
大数据
http
支持以下文件类型：Text, SequenceFile, RCFile, ORC 此外，需要有远程的Hive元数据。 不支持本地或嵌入模式。 Presto不使用MapReduce，只需要HDFS。
cwl_java
2020-03-24
3.2K
0
快速学习-Presto简介
数据分析
数据库
sql
云数据库 SQL Server
hive
Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。
cwl_java
2020-03-24
1.8K
0
快速学习-Kylin入门
hive
在Hive中创建数据，分别创建部门和员工外部表，并向表中导入数据。 （1）原始数据
cwl_java
2020-03-24
393
1
presto环境搭建
node.js
hive
hadoop
https
http
1、环境准备 支持操作系统： Linux or Mac OS X Java 8, 64-bit Python 2.4+
cwl_java
2020-03-24
1.6K
0
快速学习-Sqoop一些常用命令及参数
大数据
hive
数据库
html
jquery
这里给大家列出来了一部分Sqoop操作时的常用参数，以供参考，需要深入学习的可以参看对应类的源代码。
cwl_java
2020-03-19
1.4K
0
快速学习-Hive企业级调优
hive
mapreduce
hadoop
Fetch 抓取是指，Hive 中对某些情况的查询可以不必使用 MapReduce 计算。例如：SELECT * FROM employees;在这种情况下，Hive 可以简单地读取 employee 对应的存储目录下的文件，然后输出查询结果到控制台。 在 hive-default.xml.template 文件中 hive.fetch.task.conversion 默认是 more，老版本 hive默认是 minimal，该属性修改为 more 以后，在全局查找、字段查找、limit 查找等都不走mapreduce。
cwl_java
2020-02-21
897
0
快速学习-Hive 安装
hive
编程算法
xml
云数据库 SQL Server
数据库
（3）修改 apache-hive-1.2.1-bin.tar.gz 的名称为 hive
cwl_java
2020-02-21
1K
0
快速学习-HBaseAPI操作
hbase
TDSQL MySQL 版
hive
mapreduce
数据库
通过HBase的相关JavaAPI，我们可以实现伴随HBase操作的MapReduce过程，比如使用MapReduce将数据从本地文件系统导入到HBase的表中，比如我们从HBase中读取一些原始数据后使用MapReduce做数据分析。
cwl_java
2020-02-21
438
0
快速学习-Hive 基本概念
mapreduce
hadoop
数据库
sql
hive
Hive：由 Facebook 开源用于解决海量结构化日志的数据统计。 Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并 提供类 SQL 查询功能。 本质是：将 HQL 转化成 MapReduce 程序
cwl_java
2020-02-21
515
0
快速学习-Hive 数据类型
hive
java
数据结构
编程算法
对于 Hive 的 String 类型相当于数据库的 varchar 类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储 2GB 的字符数。
cwl_java
2020-02-21
721
0
快速学习-DDL数据定义
数据库
sql
大数据
hive
python
1）创建一个数据库，数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db。
cwl_java
2020-02-21
524
0
快速学习-DML数据操作
大数据
hive
sql
（1）load data:表示加载数据 （2）local:表示从本地加载数据到 hive 表；否则从 HDFS 加载数据到 hive 表 （3）inpath:表示加载数据的路径 （4）overwrite:表示覆盖表中已有数据，否则表示追加 （5）into table:表示加载到哪张表 （6）student:表示具体的表 （7）partition:表示上传到指定分区
cwl_java
2020-02-21
434
0
快速学习-Hive函数
jar
hive
java
编程算法
1）Hive 自带了一些函数，比如：max/min 等，但是数量有限，自己可以通过自定义 UDF来方便的扩展。 2）当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。 3）根据用户自定义函数类别分为以下三种：
cwl_java
2020-02-21
629
0
快速学习-Hive查询
数据库
sql
hive
mapreduce
https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select 查询语句语法：
cwl_java
2020-02-21
1.6K
0
快速学习-Azkaban概述
任务调度
mapreduce
数据库
sql
hive
Azkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的 key:value 对的方式，通过配置中的 Dependencies 来设置依赖关系。Azkaban 使用 job 配置文件建立任务之间的依赖关系，并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。
cwl_java
2020-02-19
469
0
快速学习-Azkaban实战
网站
java
jar
mapreduce
hive
注意： 目前，Azkaban 上传的工作流文件只支持 xxx.zip 文件。zip 应包含 xxx.job 运行作业所需的文件和任何文件（文件名后缀必须以.job 结尾，否则无法识别）。作业名称在项目中必须是唯一的。
cwl_java
2020-02-18
462
0
快速学习-Flume企业开发案例
tcp/ip
编程算法
大数据
java
hive
在job文件夹下创建Flume Agent配置文件flume-telnet-logger.conf。 [atguigu@hadoop102 job]$ touch flume-telnet-logger.conf
cwl_java
2020-02-18
470
0
大数据-sqoop数据迁移
hive
大数据
云数据库 SQL Server
数据库
sql
sqoop是apache旗下一款“Hadoop和关系数据库服务器之间传送数据”的工具。
cwl_java
2019-12-30
1.8K
0
点击加载更多
社区活动
RAG七天入门训练营
鹅厂大牛手把手带你上手实战
立即学习
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档