hadoop数据库操作解析及注意事项

1 从mysql读数据到hdfs:

    mapreduce读数据库数据到hdfs使用map读取,连接数和map数对应,读的时候会锁表读取全量数据,此时,其它更新或者写入操作就会处于等待状态。所以读的数据库尽量不能为主库,而是用从库,主库主要负责写,从库主要负责读。若锁表读取主库全量数据,其它业务操作就会处于等待状态。

2 从hdfs写入数据到mysql:

    mapreduce从hdfs写数据到数据库,连接数对应reduce数据量。刚开始将hdfs数据读到数据库机器的内存中,最后通过事物将内存中所有数据写入到数据库。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏lgp20151222

consul怎么在windows下安装

1.去官网下载:https://www.consul.io/downloads.html 2.解压:

1944
来自专栏禁心尽力

下载安装ActiveMQ(消息队列)

安装步骤: 第一步、安装jdk环境,因为ActiveMQ是使用java语言编写。 第二步、将下载好的activemq压缩包上传至Linux系统,进行解压。 第三...

2265
来自专栏醉梦轩

Ubuntu安装VNC Server

4194
来自专栏不想当开发的产品不是好测试

通过maven test 报org.apache.ibatis.binding.BindingException: Invalid bound statement

背景 直接使用eclipse工具去执行,没有问题,通过testng.xml去执行,没有问题,但通过mvn clean test执行,就报错,提示org.apac...

21810
来自专栏Pythonista

mysql+centos7+主从复制

1373
来自专栏我的博客

查找修改时间在指定区间的文件并打包

#!/bin/bash # find file and tar # joyousphper@gmail.com # find_and_tar.sh read ...

2633
来自专栏magicsoar

mac下使用marsedit写博客

在Windows习惯了使用Windows live write写好博客,然后发布上去,到了mac下,发现了一个很好的替代品  MarseEdit 下载安装后,打...

3049
来自专栏玄魂工作室

Hacker基础之Linux篇:基础Linux命令二

1. mv mv命令是move的缩写,可以用来移动文件或者将文件改名(move (rename) files)。 是Linux系统下常用的命令,经常用来备份文...

36710
来自专栏运维前线

CentOS6.X/RedHat6.X yum安装jenkins

配置jenkins源 sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/red...

25010
来自专栏WindCoder

Eclipse创建AIDL文件

在学习Android的Service时,需要用到个AIDL文件,Eclipse中Android Tools并没有Create Aidl preprocess f...

1541

扫码关注云+社区

领取腾讯云代金券