腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
将大量
MySQL
数据
导入
Hadoop
mysql
、
hadoop
、
import
我计划使用一个使用Hadoop、Hive和Impala的堆栈来分析大
数据
。我已经准备好了设置,现在我正在尝试从
MySQL
表中
导入
数据
。表大小超过500 GB,我计划使用Sqoop,如下所示: sqoop import --connect jdbc:
mysql
://remote_host_ip/database_name --usernamehive-import --compression-codec=snappy --as-parquetfile --warehouse-d
浏览 26
提问于2016-08-24
得票数 1
5
回答
缓慢
导入
Mysql
linux
、
mysql
我
导入
一个
数据
库,当我运行mytop时,我只看到一个线程在运行一个insert。在一个80 On的大型
数据
库上,这需要很长的时间。是否有任何增加线程数量的工具或选项?
浏览 0
提问于2012-01-31
得票数 2
回答已采纳
4
回答
sqoop中的减速器数
mapreduce
、
sqoop
sqoop中默认的映射器和还原器有多少?(4-映射器,0-减缩器)。在本地集群中,它显示的是使用0后的--where or --query condition减速器。
浏览 7
提问于2017-10-08
得票数 1
回答已采纳
2
回答
向
mysql
数据
库添加
数据
时无法访问网站
php
、
mysql
我有大约17000行和6列的
数据
添加到
数据
库的4个不同的表中。这是通过上传excel文件并单击
导入
按钮来完成的。注意!我使用的是一个excel到
mysql
的插件,这对于该项目是必要的,因为它是程序的功能之一。通常情况下,插入到表中的
数据
不会那么多。虽然需要很长时间,但一切工作正常。
浏览 32
提问于2019-02-22
得票数 2
9
回答
加速
mysql
转储和
导入
mysql
、
backup
、
restore
是否有记录在案的加速
mySQL
转储和
导入
的技术?只寻找记录在案的技术,最好是具有显示潜在加速的基准测试。
浏览 1
提问于2008-09-15
得票数 50
回答已采纳
2
回答
sqoop import-当少数表没有主键时,所有表都具有
并行
性
hive
、
sqoop
我想从
Mysql
的模式中
导入
所有具有
并行
性的表。模式中有主键的表很少,没有主键的表很少。如果我们设置了no of mappers(--m>1),那么没有主键的表就会失败。如何
导入
所有具有
并行
性的表?
浏览 3
提问于2021-06-10
得票数 2
1
回答
如何更快地执行更大的.sql文件到
数据
库?
python
、
mysql
、
sql
、
mysql-python
我目前正在处理一个4 4gb的dump.sql文件,所以我尝试使用
mysql
服务器控制台从它创建一个
数据
库。以下是我在终端中使用的命令:
mysql
-u username -ppassword
mysql
> use test;
mysql
> source在那之后,我可以毫无问题地访问创建的
数据
库。 规格: 16核英特尔处理器,60 16内存,120 16固态硬盘。我也尝试过用python来实
浏览 15
提问于2020-01-24
得票数 0
1
回答
在DML和提交阶段的批处理执行过程中,磁盘上的批
数据
持久性在哪里发生?
java
、
sql
、
jdbc
、
relational-database
、
persistence
我计划编写一个程序,在关系
数据
库中
并行
地更新或
导入
一串
数据
,比如Oracle或Server、
Mysql
等。以下是Java中每个
并行
线程中的执行代码模型://a batch of DMLstatement.commit关切:这两个阶段的实施可能已经
并行
进行。如果是这样的话,那么
并行
地实现这个程序可能没有什么大意义,因
浏览 0
提问于2018-03-10
得票数 0
1
回答
Bash Jobs :如何输出包含错误的作业进程信息?
bash
、
error-handling
、
stdout
、
jobs
我使用bash脚本将一些
数据
导入
到
MySQL
数据
库中。我正在使用作业
并行
加载... for i in *.sql; do echo "importing $i"
mysql
--defaults-extra-file
浏览 15
提问于2020-12-14
得票数 1
3
回答
为什么Sqoop中默认的最大映射数是4?我们可以在-m参数中提供4个以上的映射器吗?
hadoop
、
sqoop
我正在尝试理解sqoop作业中默认的最大映射器背后的原因,以及我们是否可以在sqoop作业中设置四个以上的映射器以实现更多的
并行
性。
浏览 1
提问于2017-04-21
得票数 4
2
回答
是否将大型
数据
库
导入
aws RDS?
amazon-web-services
、
amazon-rds
我需要将大小约为25 GB的
MySQL
数据
库
导入
到aws rds.How。我可以这样做吗?我尝试使用RDS的phpmyadmin。但是我的浏览器挂起了on.Also我的AWS没有公网IP。
浏览 0
提问于2018-07-19
得票数 1
2
回答
如何从sql dump
导入
到MongoDB?
mysql
、
sql-server
、
mongodb
、
hadoop
、
dbmigrate
我正在尝试从
MySQL
转储.sql文件
导入
数据
,以便
导入
到MongoDB中。但是我看不到任何从关系型
数据
库到NoSQL
数据
迁移的机制。我曾尝试将
数据
转换为JSON and CSV,但在MongoDB中没有给m提供所需的输出。除了我已经尝试过的东西之外,还有什
浏览 3
提问于2017-02-08
得票数 9
回答已采纳
1
回答
HowTo将MSSQL转储转换为
MySql
mysql
、
sql-server
、
debian
、
converter
我正在寻找一种将
MySql
转储转换为
MySql
的方法。 由于我运行的是Debian,所以无法选择
并行
设置
MySql
和
MySql
,因此不能使用taps或ODBC方法。
浏览 4
提问于2013-10-29
得票数 1
2
回答
优化
MySQL
以
并行
导入
大量
数据
文件。每个表1个连接
mysql
、
import
、
parallel-processing
数据
库的大小约为10 in,有几个表包含超过1500万条记录。不幸的是,由于客户关系超出了我的职责范围,这只出现在一个大型的SQL格式的mysqldump文件中,但是您知道这是怎么回事。我的目标是最大限度地减少停机时间,从而尽可能快地
导入
数据
。我尝试使用标准的
MySQL
命令行界面,如下所示:然而,这是非常慢的。为了加快速度,我使用awk将文件分成块,用于每个表和相关
数据</em
浏览 2
提问于2011-03-15
得票数 6
1
回答
亚马逊Aurora RDS的大
数据
分析
apache-spark
、
amazon-s3
、
hive
、
amazon-aurora
我需要执行大
数据
分析,比如查找两个表之间的差异。到目前为止,我一直在使用文件系统上的HIVE来完成这项工作,但是现在我们已经将所有文件行插入到Aurora中。但仍然每月我需要做同样的事情,找到差异。将Aurora
数据
作为文件导出回S3,然后对其运行单元查询(将所有Aurora行导出到S3需要多长时间)? 我可以在Aurora表上运行蜂箱查询吗?
浏览 1
提问于2018-10-09
得票数 0
2
回答
如何在python中减少追加到SQL
数据
库所需时间
python
、
pandas
我想追加大约7亿行和2列到一个
数据
库。在R中,我一直在使用data.table包加载大型
数据
集,这只需要1分钟。Python中有没有类似的包?作为切点,我还希望将此文件物理存储在我的桌面上。现在,我假设'data‘被存储为一个临时文件。另外,假设我将
数据
加载到
数据
库中,我希望查询立即或更短时间内执行。):从本质上讲,我返回的是一组给定users.Is的屏幕数量
数据</
浏览 0
提问于2016-04-24
得票数 1
2
回答
装载巨大的mysqldump (500克)
mysql
、
mysqldump
数据
库是在HDD硬盘中设置的。我有
mysql
(Ver 8.0.29-0ubuntu0.20.04.3)设置如下:innodb_log_buffer_size = 512M
浏览 0
提问于2022-06-26
得票数 1
回答已采纳
2
回答
Sqoop -
数据
分割
hadoop
、
sqoop
Sqoop能够使用--query子句从多个表
导入
数据
,但不清楚它是否能够
导入
下面的查询。按部门从emp组中选择deptid、avg(薪资) $CON
浏览 8
提问于2016-05-05
得票数 2
2
回答
将
数据
从CSV插入到
MySQL
DB中非常缓慢。
mysql
、
ruby
、
performance
尝试使用
MySQL
将
数据
从CSV文件插入到Ruby,而且速度非常慢。请注意,这不是一个Rails应用程序,只是独立的Ruby脚本。fileend@connection = ActiveRecord::Base.establish_connection( :adapter=> "
mysql
2
浏览 4
提问于2015-10-23
得票数 2
回答已采纳
2
回答
SSIS
并行
性- Microsoft HPC Cluster?
sql-server
、
ssis
、
soa
、
hpc
、
parallel-processing
我是SSIS的新手,我正在尝试使用它的
并行
特性从
数据
库
导入
数据
。 我的工作是:尽快将一个to级的
数据
库
导入
到一组平面文件中。我正在考虑编写一个HPC SOA作业,以便所有三个计算节点都可以独立连接到SQL Server,并
并行
导入
一部分
数据
。当然,这与SSIS无关,是一个独立的实用程序。然后我遇到了SSIS,以及它的
并行
导入
特性。我的SSIS服务器不是很高端-只有4 4GB的机器。不知何故,我倾向于
浏览 2
提问于2011-05-19
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
mysql导入数据
Navicat for MySQL导入与导出数据库
如何从 MySQL数据库中导入导出数据
利用sqoop将hive和mysql数据互导入
java入门019 springboot批量导入excel数据到mysql
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券