腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

Hadoop数据仓库

专栏作者

511

文章

707605

阅读量

108

订阅数

redis全局遍历替换特征字符串

https http 网络安全云数据库 Redis java

需求：将一个redis实例（如10.10.10.1:6379）范围内所有key值中的 .letssing.net 替换为 .kaixinvv.com。

2023-03-08

5310

MySQL 8 复制（七）——组复制基本原理

java 数据库云数据库 SQL Server sql 分布式

3. 数据操作语言（Data Manipulation Language，DML）

2022-05-07

1.2K0

hive安装配置实验

hive java xml apache linux

一、安装前准备 1. 安装配置Hadoop，见http://blog.csdn.net/wzy0623/article/details/50681554 2. 下载安装包 mysql-5.7.10-linux-glibc2.5-x86_64 apache-hive-1.2.1-bin.tar.gz mysql-connector-java-5.1.38.tar.gz 二、安装MySQL 1. 解压 tar -zxvf mysql-5.7.10-linux-glibc2.5-x86_64.tar.gz 2. 建立软连接 ln -s /home/grid/mysql-5.7.10-linux-glibc2.5-x86_64 mysql 3. 建立数据目录 mkdir /home/grid/mysql/data 4. 编辑配置文件~/.my.cnf内容如下 [mysqld] basedir=/home/grid/mysql datadir=/home/grid/mysql/data log_error=/home/grid/mysql/data/master.err log_error_verbosity=2 5. 初始化安装，并记下初始密码 mysqld --defaults-file=/home/grid/.my.cnf --initialize 6. 启动MySQL mysqld --defaults-file=/home/grid/.my.cnf --user=grid & 7. 登录MySQL，修改初始密码 mysql -u root -p mysql> ALTER USER USER() IDENTIFIED BY 'new_password'; mysql> exit; 8. 在/etc/profile中添加环境变量 export PATH=$PATH:/home/grid/mysql/bin 三、安装配置hive 1. 解压 tar -zxvf apache-hive-1.2.1-bin.tar.gz 2. 建立软连接 ln -s /home/grid/apache-hive-1.2.1-bin hive 3. 建立临时目录 mkdir /home/grid/hive/iotmp 4. 建立配置文件hive-site.xml cp ~/hive/conf/hive-default.xml.template ~/hive/conf/hive-site.xml 5. 新建配置文件hive-site.xml，内容如下：

2022-05-07

2600

Kettle构建Hadoop ETL实践（二）：安装与配置

大数据 java jar linux 数据库

在前一篇里介绍了ETL和Kettle的基本概念，内容偏重于理论。从本篇开始，让我们进入实践阶段。工欲善其事，必先利其器。既然我们要用Kettle构建Hadoop ETL应用，那么先要做的就是安装Kettle。本篇首先阐述选择安装环境所要考虑的因素，之后详细介绍Kettle的安装过程，最后说明Kettle配置文件、启动脚本和JDBC驱动管理。本专题后面的实践部分都是基于这里所安装的Kettle之上完成的。

2020-08-26

7.1K0

Kettle与Hadoop（八）执行Oozie作业

https 网络安全 java

/root/big_data/job.properties文件的内容如下：

2020-06-10

5540

Kettle与Hadoop（七）执行Sqoop作业

云数据库 SQL Server 数据库 sql 大数据 java

1. 建立一个作业，将HDFS文件导出到MySQL数据库。（1）打开PDI，新建一个作业，如图1所示。

2020-06-08

8270

Kettle与Hadoop（五）执行MapReduce

mapreduce java express 网站

本示例说明如何使用Pentaho MapReduce把原始web日志解析成格式化的记录。

2020-06-04

4830

Kettle与Hadoop（二）Kettle安装配置

大数据 java jar xml 数据库

本文描述在CentOS 7.2上安装和运行Kettle 8.3的步骤。

2020-06-01

6K0

Galera Cluster for MySQL 详解（一）——基本原理

java 数据库云数据库 SQL Server sql 缓存

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

2019-10-22

5K0

MySQL 8 复制（十）——组复制性能与限制

java 云数据库 SQL Server 数据库 sql https

组复制的基本保证是，只有在组中的大多数节点接收到事务并且就并发事务的相对顺序达成一致之后，才会提交事务。其对事务的基本处理流程为：

2019-08-14

1.9K0

MySQL 8 复制（七）——组复制理论基础

java 数据库云数据库 SQL Server sql 分布式

MySQL Group Replication（MGR）是MySQL 5.7.17版本引入的一个服务器插件，可用于创建高可用、可扩展、容错的复制拓扑结构。组复制可以在单主模式下操作，其中只有一个服务器接受更新，这个单主是系统自动选举出来的。对于高级用户，也可以部署为多主模式，其中所有服务器都可以接受更新。内置的组成员服务可以在任何给定的时间点保持组的视图一致并可供所有服务器使用。当服务器加入或离开组时，视图也会相应更新。当服务器宕机，故障检测机制会检测到此情况并通知组其视图已更改。这些都是自动进行的。

2019-07-11

1.8K0

使用Oracle外部表对大文件排序

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/53906115

2019-05-25

6770

基于Hadoop生态圈的数据仓库实践 —— 环境搭建（二）

ssh java 数据库云数据库 SQL Server sql

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51768968

2019-05-25

4280

CDH 5.7.0 离线安装详解

ssh java 数据库云数据库 SQL Server sql

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/wzy0623/article/details/51601989

2019-05-25

1.7K0

基于Hadoop生态圈的数据仓库实践 —— ETL（三）

网站 hadoop mapreduce php java

三、使用Oozie定期自动执行ETL 1. Oozie简介（1）Oozie是什么 Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统，其工作流作业是由一系列动作构成的有向无环图（DAGs），协调器作业是按时间频率周期性触发的Oozie工作流作业。Oozie支持的作业类型有Java map-reduce、Streaming map-reduce、Pig、 Hive、Sqoop和Distcp，及其Java程序和shell脚本等特定的系统作业。第一版Oozie是一个基于工作流引擎的服务器，通过执行Hadoop Map/Reduce和Pig作业的动作运行工作流作业。第二版Oozie是一个基于协调器引擎的服务器，按时间和数据触发工作流执行。它可以基于时间（如每小时执行一次）或数据可用性（如等待输入数据完成后再执行）连续运行工作流。第三版Oozie是一个基于Bundle引擎的服务器。它提供更高级别的抽象，批量处理一系列协调器应用。用户可以在bundle级别启动、停止、挂起、继续、重做协调器作业，这样可以更好地简化操作控制。（2）为什么需要Oozie

2019-05-25

9600

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态