腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
最新优惠活动
返回腾讯云官网
Hadoop数据仓库
专栏成员
举报
530
文章
773030
阅读量
110
订阅数
订阅专栏
申请加入专栏
全部文章(530)
sql(174)
数据库(147)
云数据库 SQL Server(94)
编程算法(65)
大数据(42)
数据处理(42)
hive(39)
mysql(38)
hadoop(37)
http(32)
正则表达式(32)
oracle(29)
云数据库 Redis(23)
网络安全(18)
字符串(18)
bash(17)
regexp(17)
bash 指令(16)
存储(16)
脚本(16)
数据(16)
java(15)
linux(15)
spark(15)
数据分析(15)
数据挖掘(14)
unix(14)
tcp/ip(14)
https(14)
node.js(13)
函数(13)
mongodb(12)
set(12)
apache(10)
云数据库 MongoDB(10)
云推荐引擎(10)
缓存(10)
hbase(10)
es(10)
sed(10)
html(9)
mapreduce(9)
网站(9)
分布式(9)
数据迁移(9)
date(9)
机器学习(8)
xml(8)
postgresql(8)
面向对象编程(8)
数据库管理(8)
schema(8)
专用宿主机(7)
TDSQL MySQL 版(7)
腾讯云测试服务(7)
shell(7)
数据可视化(7)
product(7)
测试(7)
索引(7)
其他(6)
api(6)
神经网络(6)
深度学习(6)
人工智能(6)
线性回归(6)
awk(6)
null(6)
table(6)
部署(6)
配置(6)
语法(6)
内容分发网络 CDN(5)
负载均衡(5)
打包(5)
文件存储(5)
ssh(5)
数据结构(5)
实时数仓(5)
kettle(5)
select(5)
集合(5)
集群(5)
事务(5)
javascript(4)
jquery(4)
json(4)
nosql(4)
spring(4)
yarn(4)
zookeeper(4)
Elasticsearch Service(4)
clickhouse(4)
data(4)
insert(4)
it(4)
redis(4)
row(4)
rows(4)
编码(4)
产品(4)
连接(4)
数据同步(4)
数组(4)
搜索(4)
ios(3)
jar(3)
容器镜像服务(3)
容器(3)
开源(3)
kafka(3)
迁移(3)
extract(3)
grid(3)
innodb(3)
ram(3)
session(3)
text(3)
对象(3)
镜像(3)
命令行(3)
数据仓库(3)
c++(2)
php(2)
go(2)
ecmascript(2)
ruby on rails(2)
lucene/solr(2)
windows server(2)
负载均衡缓存(2)
日志服务(2)
命令行工具(2)
数据安全(2)
express(2)
sql server(2)
jdbc(2)
决策树(2)
安全(2)
windows(2)
unicode(2)
alpha(2)
connect(2)
count(2)
csv(2)
db(2)
disk(2)
fetch(2)
h2(2)
ip(2)
key(2)
model(2)
predict(2)
project(2)
substr(2)
txt(2)
xls(2)
变量(2)
服务器(2)
后台(2)
解决方案(2)
客户端(2)
内存(2)
统计(2)
弹性伸缩(1)
官方文档(1)
python(1)
ruby(1)
lua(1)
arm(1)
嵌入式(1)
memcached(1)
git(1)
github(1)
搜索引擎(1)
analyzer(1)
centos(1)
apt-get(1)
SSL 证书(1)
数据备份(1)
日志数据(1)
云数据库 MySQL(1)
serverless(1)
parcel(1)
运维(1)
爬虫(1)
yum(1)
推荐系统(1)
rabbitmq(1)
gcc(1)
socket编程(1)
机器人(1)
nest(1)
任务调度(1)
sdn(1)
聚类算法(1)
分类算法(1)
utf8(1)
ascii(1)
学习方法(1)
数据集成(1)
add(1)
amp(1)
apollo(1)
authentication(1)
byte(1)
cat(1)
code(1)
counter(1)
crontab(1)
d3(1)
deadlock(1)
debezium(1)
delimiter(1)
digits(1)
etl(1)
factory(1)
greenplum(1)
host(1)
hostname(1)
im(1)
init(1)
join(1)
matrix(1)
min(1)
monitor(1)
ode(1)
panel(1)
partition(1)
performance(1)
position(1)
proc(1)
production(1)
progress(1)
replace(1)
sentinel(1)
sequence(1)
server(1)
sh(1)
split(1)
state(1)
status(1)
storage(1)
string(1)
swap(1)
system(1)
tar(1)
tree(1)
version(1)
view(1)
zip(1)
备份(1)
插件(1)
程序(1)
程序设计(1)
磁盘(1)
存储过程(1)
代理(1)
服务(1)
工作(1)
规范化(1)
监控(1)
进程(1)
权限(1)
入门(1)
设计(1)
实践(1)
视频(1)
数据类型(1)
树形结构(1)
同步(1)
系统(1)
效率(1)
协议(1)
性能(1)
优化(1)
原理(1)
指针(1)
标签(1)
搜索文章
搜索
搜索
关闭
Oracle 10.2 流复制问题(四)—— ORA-01341: LOGMINER OUT-OF-MEMORY in Oracle Streams
数据分析
系统配置:Linux CentOS 5、Oracle Enterprise Edition Release 10.2.0.1.0、表级单向流复制 问题现象:流复制失效,源表更新,目标表没有更新 排错过程:
用户1148526
2022-05-07
224
0
hive动态分区插入实验
数据分析
实验目的 1. 验证对分区表进行动态分区插入功能 2. 验证是否可以使用load进行动态分区插入 实验步骤 1. 在本地文件/home/grid/a.txt中写入以下4行数据: aaa,US,CA aaa,US,CB bbb,CA,BB bbb,CA,BC 2. 建立非分区表并加载数据
用户1148526
2022-05-07
608
0
Greenplum 实时数据仓库实践(8)——事实表技术
数据库
数据分析
sql
上一篇里介绍了几种基本的维度表技术,并用示例演示了每种技术的实现过程。本篇说明多维数据仓库中常见的事实表技术。我们将讲述五种基本事实表扩展技术,分别是周期快照、累积快照、无事实的事实表、迟到的事实和累积度量。和讨论维度表一样,也会从概念开始认识这些技术,继而给出常见的使用场景,最后以销售订单数据仓库为例,给出实现代码和测试过程。
用户1148526
2022-04-13
1.5K
0
Greenplum 实时数据仓库实践(2)——数据仓库设计基础
数据库管理
数据库
数据分析
数据结构
sql
本篇首先介绍关系数据模型、多维数据模型和Data Vault模型这三种常见的数据仓库模型和与之相关的设计方法,然后讨论数据集市的设计问题,最后说明一个数据仓库项目的实施步骤。规划实施过程是整个数据仓库设计的重要组成部分。
用户1148526
2021-12-07
1.8K
0
Kettle构建Hadoop ETL实践(九):事实表技术
大数据
sql
数据库
数据分析
编程算法
上两篇里介绍了几种基本的维度表技术,并用示例演示了每种技术的实现过程。本篇说明多维数据仓库中常见的事实表技术。我们将讲述五种基本事实表扩展,分别是周期快照、累积快照、无事实的事实表、迟到的事实和累积度量。和讨论维度表一样,也会从概念开始认识这些技术,继而给出常见的使用场景,最后以销售订单数据仓库为例,给出Kettle实现的作业、转换和测试过程。
用户1148526
2020-11-26
5.9K
0
Kettle构建Hadoop ETL实践(四):建立ETL示例模型
hive
日志数据
数据分析
数据处理
数据库
从本篇开始,介绍使用Kettle实现Hadoop数据仓库的ETL过程。我们会引入一个典型的订单业务场景作为示例,说明多维模型及其相关ETL技术在Kettle上的具体实现。本篇首先介绍一个小而典型的销售订单示例,描述业务场景,说明示例中包含的实体和关系,并在MySQL数据库上建立源数据库表并生成初始的数据。我们要在Hive中创建源数据过渡区和数据仓库的表,因此需要了解与Hive创建表相关的技术问题,包括使用Hive建立传统多维数据仓库时,如何选择适当的文件格式,Hive支持哪些表类型,向不同类型的表中装载数据时具有哪些不同特性。我们将以实验的方式对这些问题加以说明。在此基础上,我们就可以编写Hive的HiveQL脚本,建立过渡区和数据仓库中的表。本篇最后会说明日期维度的数据装载方式及其Kettle实现。
用户1148526
2020-09-08
2K
0
Kettle构建Hadoop ETL实践(一):ETL与Kettle
大数据
数据分析
数据可视化
编程算法
命令行工具
我在2017年写了一本名为《Hadoop构建数据仓库实践》的书。在这本书中,较为详细地讲解了如何利用Hadoop(Cloudera's Distribution Including Apache Hadoop,CDH)生态圈组件构建传统数据仓库。例如,使用Sqoop从关系数据库全量或增量抽取数据到Hadoop系统,使用Hive进行数据转换和装载处理等等。作为进阶,书中还说明了数据仓库技术中的渐变维、代理键、角色扮演维度、层次维度、退化维度、无事实事实表、迟到事实、累计度量等常见问题在Hadoop上的处理。它们都是通过Hive SQL来实现的,其中有些SQL语句逻辑复杂,可读性也不是很好。
用户1148526
2020-08-17
4.6K
0
基于Hadoop生态圈的数据仓库实践 —— 环境搭建(三)
hadoop
数据分析
hive
数据库
sql
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51783410
用户1148526
2019-05-25
1.1K
1
让Hive支持行级insert、update、delete
hive
https
网络安全
apache
数据分析
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51483674
用户1148526
2019-05-25
4.6K
0
基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化(四)
专用宿主机
数据分析
数据可视化
hadoop
网站
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/52352818
用户1148526
2019-05-25
1.1K
0
MADlib——基于SQL的数据挖掘解决方案(3)——数据类型之向量
编程算法
数据挖掘
数据分析
通常数据挖掘操作的数据集可以看作数据对象的集合。数据对象有时也叫做记录、点、向量、模式、事件、案例、样本、观测或实体。数据对象用一组刻画对象基本特征(如物体质量或事件发生的时间)的属性描述。属性有时也叫做变量、特性、字段、特征或维。而在数学上,向量和矩阵可以用来表示数据对象及其属性。
用户1148526
2019-05-25
1.8K
0
Oracle Dimension (Oracle 维)
数据分析
在数据仓库环境中,我们通常利用物化视图强大的查询重写功能来提升统计查询的性能,但是物化视图的查询重写功能有时候无法智能地判断查询中一些相关联的条件,以至于影响性能。比如我们有一张销售表sales,用于存储订单的详细信息,包含交易日期、顾客编号和销售量。我们创建一张物化视图,按月存储累计销量信息,假如这时候我们要查询按季度或者按年度统计销量信息,Oracle是否能够智能地转换查询重写呢?我们知道交易日期中的日期意味着月,月意味着所处的季度,季度意味着年度,但是Oracle却是无法智能地判断这其中的关系,因此无法利用物化视图查询重写来返回我们季度或年度的销量信息,而是直接查询基表,导致性能产生问题。
用户1148526
2019-05-25
817
0
Oracle流复制配置最佳实践
数据库
sql
数据分析
tcp/ip
云推荐引擎
(2) 配置本地归档目标路径,log_archive_dest_1参数,不要使用flash recovery area。
用户1148526
2019-05-25
1.2K
0
MADlib——基于SQL的数据挖掘解决方案(10)——数据探索之主成分分析
数据分析
编程算法
数据挖掘
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/79160959
用户1148526
2019-05-25
1K
0
联机分析处理简介
数据库
数据结构
大数据
数据处理
数据分析
联机分析处理(OLAP)的概念最早是由关系数据库之父E.F.Codd于1993年提出的。当时,Codd认为联机事务处理(OLTP)已不能满足终端用户对数据库查询分析的需要,SQL对大数据库进行的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果,E.F.codd提出了多维数据库和多维分析的概念,即OLAP。
用户1148526
2019-05-25
1.2K
0
没有更多了
社区活动
【纪录片】中国数据库前世今生
穿越半个世纪,探寻中国数据库50年的发展历程
立即查看
Python精品学习库
代码在线跑,知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·千货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档