mysql问题的Sqoop访问控制
Sqoop是一个用于在Hadoop和关系型数据库之间传输数据的工具。它可以将关系型数据库中的数据导入到Hadoop集群中，也可以将Hadoop集群中的数据导出到关系型数据库中。
Sqoop的访问控制是通过Sqoop的配置文件和命令行参数来实现的。以下是一些常见的Sqoop访问控制问题和解决方案：
- 如何限制Sqoop的访问权限？
- 可以通过配置Sqoop的安全认证机制，如Kerberos认证，来限制Sqoop的访问权限。
- 可以使用Sqoop的命令行参数，如--username和--password，来指定访问数据库的用户名和密码。
- 如何控制Sqoop导入和导出的数据范围？
- 可以使用Sqoop的命令行参数，如--where和--query，来指定导入和导出数据的条件。
- 可以使用Sqoop的命令行参数，如--split-by和--num-mappers，来指定数据的切分和并行导入导出。
- 如何保护Sqoop传输的数据的安全性？
- 可以使用Sqoop的命令行参数，如--ssl，来启用SSL加密传输数据。
- 可以使用Sqoop的命令行参数，如--direct，来启用直接模式传输数据，减少数据暴露的风险。
- 如何监控和管理Sqoop的任务？
- 可以使用Sqoop的命令行参数，如--verbose和--log-file，来查看和记录Sqoop任务的详细日志。
- 可以使用Sqoop的监控工具，如Sqoop Job和Sqoop Metastore，来管理和监控Sqoop任务的状态和进度。
推荐的腾讯云相关产品：
- 腾讯云数据库MySQL：提供稳定可靠的云数据库服务，支持高可用、备份恢复、性能优化等功能。详情请参考：腾讯云数据库MySQL
- 腾讯云数据传输服务DTS：提供数据迁移、数据同步、数据订阅等功能，可用于将关系型数据库中的数据导入到Hadoop集群中。详情请参考：腾讯云数据传输服务DTS
相关·内容
1回答
我正在尝试将一个表"employee“从MySQL(安装在我的笔记本上)导入到HDFS(也安装在我的笔记本上的VM上)
我也给了MySQL所有的许可成功地使用以下命令
授予所有特权。将root@192.168.56.1用“root”和GRANT选项标识；
可能是什么问题..。
救命啊!！
下面的错误来了
[edureka@localhost sqoop-1.4.4]$ bin/sqoop import --connect jdbc:mysql://192.168.56.1/test --table employee --username root -P --target-dir /ou
浏览 0提问于2015-09-15得票数 0
回答已采纳
用例:需要将Talend的大型数据组件(即tSqoopImport )连接到驻留在MapR集群上的MySQL DB。
大数据开放工作室(5.6.2)驻留在我的工作站上.MySQL (5.5)数据库安装在5个节点MapR (M3-edition)集群上.群集是物理设置，可通过putty和MobaX等远程客户端访问。
->已附上代表我的用例的talend作业的快照。最初尝试从Talend上的Sqoop组件到MapR集群上的MapR数据库建立连接，以便从数据库表中提取数据。
下面是按tobi6 (StackOF用户)指定进行以下更改后的talend作业控制台的完整日志。
浏览 3提问于2017-05-02得票数 1
我正在尝试通过sqoop将一些数据从mysql导入到hive中。当sqoop和mysql数据库都在同一台主机上时，它可以工作，否则它会失败。这是我正在执行的查询。
[user@xyz ~]$ sqoop import --connect "jdbc:mysql://abc.something.com/test" --username user --password pass --table dataSql --hive-import --hive-table test.dataHive --target-dir /tmp/sqoop$RANDOM
请注意，我当前在主机xyz上，
浏览 4提问于2015-08-19得票数 2
即使存在错误日志中标记为不存在的表，Apache kylin也会失败并显示MySQLSyntaxErrorException。在第一步"SQoop to flat hive table“中，多维数据集构建失败。我使用的是在docker上运行的cloudera cdh5.7沙箱中的Apache Kylin2.5。 Kylin错误日志 java.io.IOException: OS command error exit with return code: 1, error message: SLF4J: Class path contains multiple SLF4J binding
浏览 21提问于2019-01-10得票数 1
1回答
在我们的网络中，我们对mysql数据库有非常清晰的访问控制。在编写sqoop命令后，我们发现sqoop正在尝试从hadoop集群中的一台服务器连接mysql。hadoop集群中的服务器将无法连接到mysql数据库。
有没有办法告诉sqoop从我们执行sqoop命令的本地机器上连接到我们的mysql？
浏览 24提问于2021-03-10得票数 0
3回答
我在sqoop/lib文件夹中复制了jar文件，我在sqoop中使用的命令是：
bin/sqoop导入-连接jdbc:mysql://localhost:3306/sqoop -用户名根密码管理-表城市
错误信息：
14/06/21 08:44:44 ERROR sqoop.Sqoop: Got异常运行Sqoop: java.lang.RuntimeException:未能加载db驱动程序类: com.mysql.jdbc.Driver java.lang.RuntimeException:无法加载db驱动程序类: com.mysql.jdbc.Driver at org.apache
浏览 3提问于2014-06-21得票数 0
从表employee将数据从MySQL sqoopdb导入到HDFS
命令
sqoop import --connect jdbc:mysql://localhost:3306/sqoopdb --username sqoop -P --table employee
sqoop import --connect jdbc:mysql://localhost:3306/sqoopdb --username sqoop -P --table employee --m 1
都会生成下面的错误：
Warning: /usr/local/sqoop/../hbase does not exist! HB
浏览 282提问于2019-03-24得票数 1
我使用Hadoop-1.2.1和Sqoop-1.4.6。使用以下命令，我使用sqoop将表test从数据库meshtree导入HDFS：
`sqoop import --connect jdbc:mysql://localhost/meshtree --username user --password password --table test`
但是，它显示了以下错误：
17/06/17 18:15:21 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider u
浏览 7提问于2017-06-15得票数 0
回答已采纳
1回答
我使用以下命令将mysql表中的数据提取到一个hive表中：
sqoop import \
--connect jdbc:mysql://xx.xx.xx.xx/orderdbms \
--username=orderuser \
--password=orderpass \
--table=order \
--where="DATE(created)='2015-08-20'" \
--hive-import \
--hive-table=orderstat.order \
--target-dir=/user/ordermanager/sqoopdata/o
浏览 2提问于2015-08-24得票数 0
3回答
以MySQL表dept_id为主键
|dept_id | dept_name |
| 2 | Fitness
| 3 | Footwear
| 4 | Apparel
| 5 | Golf
| 6 | Outdoors
| 7 | Fan Shop
Sqoop查询
sqoop import \
-m 2 \
--connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" \
--username retail_dba \
-P \
--query 'sel
浏览 3提问于2016-08-11得票数 1
回答已采纳
我试图通过sqoop从mysql导入一个表到hadoop文件系统。但是，sqoop import启动一个作业，并被困在0%的映射中。
一段时间后，作业失败，出现以下错误
2020-08-12 21:46:08,341 INFO mapreduce.Job: Running job: job_1597282205193_0005
2020-08-12 21:46:20,755 INFO mapreduce.Job: Job job_1597282205193_0005 running in uber mode : false
2020-08-12 21:46:20,758 INFO mapred
浏览 0提问于2020-08-13得票数 0
回答已采纳
即使connect参数中提供了远程服务器IP，Sqoop导入也始终尝试连接到本地mysql
我在下面尝试使用MySQL连接到远程MySQL服务器，它工作得很好。我能够探索这些表格。
mysql -u anuser -h 1.133.23.58 -p
当尝试下面的代码时，它尝试使用"anuser“连接到本地MySQL实例，该用户是远程MySQL实例的用户。
sqoop-import -m 1
--driver com.mysql.jdbc.Driver \\
--connect jdbc:mysql://1.133.23.58:3306/misp \
--username anuse
浏览 0提问于2018-04-29得票数 0
我已经推出了hadoop集群(5.5.0 - components - Hive，Hue)，但没有SQOOP。但是现在我需要sqoop也可以从mysql数据库中查询和转储数据。由于集群已经以大量的数据启动，所以想知道我是否也可以添加Sqoop。我在AWS控制台上没有看到这个选项。
谢谢
浏览 0提问于2017-06-20得票数 0
回答已采纳
1回答
我可以通过以下方式连接到远程服务器上的SQL实例
mysql -h ServerIP -u root -p dbNamE
但是，当我尝试使用以下命令通过Sqoop进行连接时：
sqoop list-tables --driver com.mysql.jdbc.Driver --connect jdbc:mysql://IP:port/dbName --username userName --password password
它抛出此错误：
16/05/06 16:46:46 ERROR manager.SqlManager: Error reading database metadata:
浏览 3提问于2016-05-06得票数 0
回答已采纳
我已经创建了一个带有hadoop、Sqoop和Spark配置的EMR集群。我正在尝试Sqoop，但是得到的错误“无法加载db驱动程序类: com.mysql.jdbc.Driver”。我的问题是，我们把Mysql驱动程序放在哪个位置？
I have tried putting the Jar at path
1. /etc/sqoop/conf/
2. /etc/sqoop/lib/ (after creating the lib folder)
sqoop导入--连接jdbc:mysql://
浏览 0提问于2019-03-26得票数 1
我已经安装了最近的cloudera集群CDH5.5单节点，在将db从mysql导入hdfs时，我面临以下错误。能够成功地执行list-dtabases命令。请告诉我以下问题的根本原因。
cloudera@quickstart ~$ sqoop导入--连接"jdbc:mysql://127.0.0.1/nvegesn“-用户名根-密码XXXX -表产品警告:/usr/lib/sqoop/./accumulo不存在！Accumulo的进口将失败。请将$ACCUMULO_HOME设置为Accumulo安装的根目录。15/12/10 20:14:00info sqoop.Sqoop:运行Sq
浏览 3提问于2015-12-11得票数 0
我正在学习Sqoop，我有一个疑问。Sqoop可以连接到哪些不同的RDBMS源来导入数据，它们的连接语法是什么。
例如，如果是MySQL，连接字符串可以指定为jdbc://mysql//Databasename。对于SQl服务器，需要将其指定为jdbc://sqlserver/servername:portnumber;database=databse_name.
可以请一些帮助我知道什么是不同的风格，这样的连接字符串可以提供给Sqoop。如果你有任何关于上述信息的信息，请分享指南或链接。
浏览 0提问于2016-03-25得票数 0
1回答
作为oozie作业运行时，Sqoop导入操作出现错误。 我使用的是一个伪分布式hadoop集群。我遵循了以下步骤。 1.启动oozie服务器 2.编辑的job.properties和workflow.xml文件 3.将workflow.xml复制到hdfs 4.运行oozie作业 我的job.properties文件 nameNode=hdfs://本地主机:8020 jobTracker=localhost:8021 queueName=default examplesRoot=examples oozie.use.system.libpath=true oozie.wf.applicat
浏览 15提问于2019-05-29得票数 0
我已经下载了连接器并将jar文件保存在sqoop/lib文件夹下，即使这样，我也面临着这个问题。
@ubuntu：~$ sqoop列表-数据库-连接"jdbc:mysql://localhost“-用户名根-密码根警告: /usr/lib/hcatalog不存在！HCatalog的工作将失败。请将$HCAT_HOME设置为HCatalog安装的根目录。14/01/08 16:20:45警告tool.BaseSqoopTool:在命令行设置密码是不安全的。考虑使用-P代替。14/01/08 16:20:45 INFO manager.MySQLManager:准备使用MySQL流结果集
浏览 10提问于2014-01-09得票数 0
2回答
Sqoop增量导入参数顺序？
、、、、
我正在尝试使用sqoop从mysql导入增量负载。下面是我在unix控制台上运行的命令：
sqoop job \
--create sample_job --import -Dmapred.job.queue.name=realtime \
--connect jdbc:mysql://hostname/db?zeroDateTimeBehavior=convertToNull \
--driver com.mysql.jdbc.Driver \
--table SAMPLE_TABLE -m 1 \
--username tony \
浏览 1提问于2018-04-25得票数 0
回答已采纳
我正在使用sqoop将数据从Mysql导入Hbase。它工作得很好，但有一个问题。正如我从Sqoop文档中读到的，sqoop将mysql数据转换为字符串，然后将其存储在Hbase中。然而，这对我来说是个问题，因为我必须将数据从Hbase导出回Mysql，同时，sqoop将如何推断Hbase数据的数据类型信息？请帮帮忙，解决这个问题。
浏览 1提问于2013-05-09得票数 0
7回答
我在本地机器上安装了Sqoop。下面是配置信息。
Bash.bashrc：
export HADOOP_HOME=/home/hduser/hadoop
export HBASE_HOME=/home/hduser/hbase
export HIVE_HOME=/home/hduser/hive
export HCAT_HOME=/home/hduser/hive/hcatalog
export SQOOP_HOME=/home/hduser/sqoop
export PATH=$PATH:$HIVE_HOME/bin
export PATH=$PATH:$HADOOP_HOME/bin
e
浏览 5提问于2014-03-30得票数 5
回答已采纳
我尝试使用Hadoop将数据库从mysql导入到Hive，并使用sqoop中的“--hive import”命令自动创建表并将数据加载到hive。
我使用下面的命令通过sqoop执行import
./sqoop-import --connect jdbc:mysql://localhost/paman -table bibis -m 1 -hive-import
执行此命令时：
hadoop@dewi:/opt/sqoop/bin$ ./sqoop-import --connect jdbc:mysql://localhost/paman -table bibis -m 1 -hive-imp
浏览 0提问于2012-06-11得票数 1
1回答
我正在尝试使用scoop将数据从MySQL数据库导入到hdfs，并且我得到了“不能为ClassWriter生成列”错误。
这是我的独家命令：
sqoop import --connect jdbc:mysql://xxxxx.xxxx.us-east-1.rds.amazonaws.com/xxxx --username xxxx --password xxxx --table xxxx --null-string 'NA' --null-non-string '\\N' --warehouse-dir /user/romeo/finalproject/card
浏览 1提问于2020-03-08得票数 0
回答已采纳
我想使用sqoop将MySQL数据传输到HDFS。ipv4 MySQL运行正常，但无法连接到ipv6 Mysql。
我相信MySQL和sqoop都没问题。sqoop使用这样图像：
并从这样的命令开始：
sudo docker run --network host -v /tmp/jdbc:/jdbc -it dvoros/sqoop:latest
驱动程序为mysql-connector-java-8.0.19.jar
以IPV6身份连接到MySQL。
用IPV4连接MySQL是正常的。
sqoop list-tables --connect jdbc:mysql://localhos
浏览 60提问于2021-02-19得票数 0
我想使用命令行选项来控制Hadoop作业重试策略。例如，我想要编写以下Sqoop作业，并使其对MySQL中断具有容错能力：
sqoop
GENERIC_SQOOP_OPTIONS
-Dmap.retry.exponentialBackOff=TRUE
-Dmap.retry.numRetries=10
对于一般的Hadoop作业，它可能如下所示：
hadoop job -submit
GENERIC_JOB_OPTIONS
-Dmap.retry.exponentialBackOff=TRUE
-Dmap.retry.numRetries=10
浏览 1提问于2012-09-29得票数 2
我正在执行下面的sqoop命令，以便从另一个aws rds实例中获取一个表，并将其传输到hdfs。 #!/bin/bash
sqoop import \
--connect jdbc:mysql://awsrds.cpclxrkdvwmz.us-east-1.rds.amazonaws.com/financials_data \
--username someuser \
--password somepwd \
--table member_score \
--m 1 \
--target-dir /capstone/member_score 我可以使用工作台连接到此服务器。但是，sqo
浏览 45提问于2020-01-03得票数 1
1回答
当前设置
mysql connector version-mysql-connector-java-5.1.13
sqoop version-sqoop-1.4.6
hadoop version-hadoop-2.7.3
java version- Jdk-8u171-linux-x64/jdk1.8.0_171(oracle JDK)
OS-Ubundu
注意:我也尝试过使用openjdk，这个版本也存在同样的问题。Sqoop命令: bin/sqoop import -connect jdbc:mysql://localhost:3306/testDb -username根目录-passwo
浏览 2提问于2018-05-03得票数 1
我所做的是：
安装UBUNTU 14.04
已安装HADOOP 2.7.1版本
安装SQOOP 1.4.6版本
安装XAMPP7.0.1版本(用于mysql)
在.bashrc中为hadoop和sqoop设置路径
将sqoop_env.sh文件HADOOP_COMMON_HOME和HADOOP_MAPRED_HOME中的路径更新为/usr/local/hadoop
移动jar文件/usr/lib/sqoop/lib/mysql-connector-java-5.1.30-bin.jar
最后，在sqoop中运行以下命令
sqoop import --conn
浏览 3提问于2016-01-10得票数 1
当我试图将存储在mysql数据库中的表存储到我的HDFS中时，
sqoop导入--连接jdbc:mysql://hostname1.com/mydb --用户名user1 --密码pwd1 -table emp1；
我得到了以下例外：
Warning: /opt/cloudera/parcels/CDH-5.4.3-1.cdh5.4.3.p0.6/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumu
浏览 3提问于2015-07-25得票数 1
回答已采纳
2回答
我的第一个Sqoop作业出错。
、、、、
这是我正在执行的命令。
$ sqoop import --connect jdbc:mysql://localhost/hadoopguide --table widgets -m 1
错误->>
$ sqoop import --connect jdbc:mysql://localhost/hadoopguide --table widgets -m 1
Warning: /media/akshay/MyMedia/sqoop-1.4.6.bin__hadoop-1.0.0/../hbase does not exist! HBase imports will fail.
Pl
浏览 1提问于2016-05-20得票数 0
我试图使用sqoop从MySQL导入数据到HDFS。为此，我使用以下命令。
sqoop import --connect jdbc:mysql://192.168.0.121:3306/snachitdb --username root --password root --table webdemo_vendorinfo --m 1 --target-dir /user/hduser/test/
JDBC中的IP地址或主机名是正确的。
JDBC中的端口号是正确的。
数据库服务器启动了。
DB服务器正在接受TCP/IP连接。
不过，我还是有以下错误:我搜索了很多，但无法解
浏览 0提问于2015-03-05得票数 4
当我连接到一个集群(aaaaaa1)上的mysql和另一个服务器(aaaaaa2)上的sqooop时，我得到了以下错误，尽管我在mySql中创建了一个具有授予另一个集群的完全权限的表。
请帮助我确定此问题的原因。谢谢!
**$sqoop import --connect jdbc:mysql://(address of mysql):11000/sqoopdemo --table widgets**
12/10/12 10:42:23 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
12/10/1
浏览 2提问于2012-10-12得票数 2
2回答
Rest与sqoop
、、、
我试图将数据从mysql导入到hdfs。我能够使用sqoop完成这一任务，但这也可以通过从api获取数据来完成。
我的问题是何时使用rest 来加载hdfs中的数据，而不是sqoop。
请与用例指定一些不同之处！
浏览 1提问于2018-09-04得票数 1
我有一个简单的Sqoop查询，用于导入表的id的最大值并将其存储在HDFS中。在HDFS中存储是客户要求的东西，所以我要考虑多种原因。
才能得到我用的最大
sqoop import \
--connect jdbc:mysql://abc.com/sqoopemp \
--username root \
--password root \
--e 'select max(id) from emp WHERE $CONDITIONS' \
--target-dir sqooplastmax \
--m 1 \
--driver com.mysql.jdbc.Driver
上面的查
浏览 7提问于2016-06-05得票数 0
回答已采纳
3回答
我使用Hadoop已经4天了，我正在尝试从我的本地数据库mysql导入一个表到learbn sqoop，我的机器是ubuntu 13.04，我的sqoop版本: 1.4.3-cdh4.7.0，mysql:5.5.34这是我在提示符中使用的命令：
sqoop import --connect jdbc:mysql://192.168.52.60:3306/saloni --username user --table pv --password xxxx;
这就是我得到的：
14/06/03 16:11:36 WARN conf.Configuration: bad conf file:
浏览 2提问于2014-06-03得票数 4
2回答
在运行Sqoop作业时，您能否帮助解决以下问题:我已经创建了一个Sqoop作业，如下所示：
sqoop job --create sqoop_inc_load -- import
--connect jdbc:mysql://localhost/product_schema
--username root
--password root
--table temp_value2
--split-by department_id
--target-dir /Sqoopimport/incm_load_new
--append
--incremental append
--chec
浏览 0提问于2019-03-17得票数 0
我正在使用hadoop 2.6.0，现在我正在尝试sqoop -1.4.5.bin__hadoop-2.0.4-alpha.tar.gz。我正在使用以下命令获取sqoop版本
sqoop version
2016-10-19 16:11:21,722 [myid:] - INFO [main:Sqoop@92] - Running Sqoop version: 1.4.5
Sqoop 1.4.5
但是如果我尝试任何sqoop命令，它会给出以下异常，
sqoop list-tables --connect jdbc:mysql://localhost/test --username root
浏览 6提问于2016-10-19得票数 1
2回答
我正在使用Hortonworks 2.4，我不能使用list-databases工具，尽管import正在工作。
sqoop list-databases --connect jdbc:mysql://<ip>:<port>/ --driver com.mysql.jdbc.Driver --username=myusername -P
这就是我得到的结果
16/08/11 07:44:47 WARN sqoop.ConnFactory: Parameter --driver is set to an explicit driver however appropria
浏览 4提问于2016-08-11得票数 1
回答已采纳
这是在保存增量导入状态时得到的。
16/05/15 21:43:05 INFO tool.ImportTool: Saving incremental import state to the metastore
16/05/15 21:43:56 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Error communicating with database
at org.apache.sqoop.metastore.hsqldb.HsqldbJobStorage.
浏览 6提问于2016-05-15得票数 2
回答已采纳
1回答
我使用Hadoop2.5.1和sqoop 1.4.6。
我使用sqoop导入从mysql数据库导入表，以便与hadoop一起使用。它显示了以下错误
Sqoop命令
sqoop import --connect jdbc:mysql://localhost/<dbname> --username hadoopsqoop --password hadoop@123 --table tablename -m 1
异常
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.fs.F
浏览 3提问于2015-05-27得票数 0
我在cloudera有个数据库。使用其中两个表，我尝试查找在accountdevice表中只记录了1个设备的account记录。为此，我生成了以下查询：
[training@localhost ~]$ sqoop import -P \
> --connect jdbc:mysql://localhost/loudacre \
> --username training \
> --target-dir /ZXS107020/loudacre/pset1 \
> --split-by accounts.acct_num \
> --query 'SELEC
浏览 0提问于2018-02-02得票数 0
1回答
我在sqoop中使用了导出命令，并在从hdfs导出到MySQL时遇到了此错误，命令如下：
sqoop export
--connect jdbc:mysql://localhost/property
--username root
--password root
--table xyz
--m 1
--export-dir abc.csv
错误是：
16/08/30 23:11:33 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P i
浏览 4提问于2016-08-30得票数 0
回答已采纳
我有一个MySQL表，其中varchar列中的一些值以'^M‘结尾(即回车或'\r')，而其他值则没有。MySQL数据库是我无法控制的生产环境的一部分，因此我无法使用简单的update mytable set mycol = trim(mycol);删除尾部回车。
当我将sqoop表放到集群中时，我注意到带有回车返回的记录最终出现了对齐错误，从而产生了一些奇怪的查询结果。sqoop (v1.4.4)命令如下所示：
sqoop import \
--connect jdbc:mysql://myhost:3306/mydb
--username myuse
浏览 3提问于2014-11-10得票数 1
回答已采纳
下面是我在sqoop中导入数据的代码：
sqoop import --connect jdbc:mysql://my_ip/databasename --username $USER_NAME --password $PASSWORD$ --table tablename --m 1
这将给出来自服务器的以下错误消息：
Host 'Dell-PC' is not allowed to connect to this MariaDB server
浏览 5提问于2017-07-18得票数 0
通过创建链接和作业，我已经能够在Sqoop 1.99.6中从Oracle导入数据。但是，我想知道是否可以使用以下语法来导入数据：
sqoop import \
--connect jdbc:mysql://mysql.example.com/sqoop \
--username sqoop \
--password sqoop \
--table cities
在/<sqoop_home>/bin目录下，我只能找到sqoop.sh文件，而没有sqoop文件。
谢谢。
浏览 2提问于2016-04-28得票数 0
2回答
下面是我创建的sqoop作业
sqoop job --create sqoop_incremental_job -- import --connect jdbc:mysql://quickstart.cloudera:3306/retail_db --username retail_dba --password cloudera --table categories --target-dir /user/cloudera/sqoop_incremental_job_categories --incremental append --check-column category_id --last
浏览 2提问于2016-12-01得票数 0
回答已采纳
我试图通过我的MySQL实例上的dataproc集群运行一个简单的查询。一切都在谷歌云上。
gcloud dataproc jobs submit hadoop \
--cluster=$cluster_name \
--region=us-central1 \
--class=org.apache.sqoop.Sqoop \
--jars=$bucket/sqoop_jars/sqoop_sqoop-1.4.7.jar,$bucket/sqoop_jars/sqoop_avro-tools-1.8.2.jar,file:///usr/share/java/my
浏览 3提问于2021-03-15得票数 1
我正在尝试使用Sqoop和PIG，所以我看到的几乎所有文档都说，Sqoop用于从MySQL获取数据，并将其放入HDFS存储库中，这样就可以使用PIG来获取这些数据。相反，我想知道我是否可以直接从MySQL表中读取。如果你的回答是肯定的，请你分享一个例子脚本。谢谢我很感激。
浏览 5提问于2017-05-09得票数 2
回答已采纳
1回答
sqoop是否支持使用hive进行动态分区？我尝试使用下面提到的选项：--hive-partition key和--hive=partition vlaue仅用于静态分区
例如: sqoop import --connect“jdbc:mysql://ickstart.cloudera:3306/prac”--username root --password cloudera --hive-import --query "select id，name，ts from student where city='Mumbai‘and \$CONDITIONS“--hive-parti
浏览 1提问于2017-09-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
