sparklyr将数据写入hdfs或配置单元

文章/答案/技术大牛

发布

3回答

sparklyr

我尝试使用sparklyr将数据写入hdfs或hive，但无法找到方法。是否有可能使用sparklyr将R数据帧写入hdfs或hive？请注意，我的R和hadoop运行在两个不同的服务器上，因此我需要一种从R写入远程hdfs的方法。向Rahul致敬

浏览 16提问于2017-06-28得票数 6

1回答

使用sparklyr删除/更新分区

r、hadoop、apache-spark、sparklyr、hadoop-partitioning

我使用sparklyr的spark_write_table函数将表写入到HDFS中，并使用partition_by参数定义如何存储它们： spark_write_tablemode="append", ) 但是，现在我想通过只更改一个分区来更新表，而不是再次写入整个表在spa

浏览 0提问于2018-01-26得票数 2

2回答

Spark连接Hive到HDFS* vs Spark直接连接HDFS，Hive在上面吗？*

apache-spark、hadoop、hive、hdfs、connector

问题摘要：当然，我希望使用配置单元上下文将数据馈送到HDFS。定义了模式，并按批或按行

浏览 0提问于2019-06-19得票数 1

2回答

R DBI Sparklyr* DBWritetable正在运行，但没有结果*

r、apache-spark、hive、sparklyr、r-dbi

从MS-SQL环境进入同样具有spark访问权限的配置单元环境。我已经使用spark和R包sparklyr进行了连接，并且可以使用带有spark连接的R包DBI连接到我们的配置单元集群，并将数据提取到R数据帧中：dbWriteTable(conn = sc, name = &quo

浏览 1提问于2017-09-01得票数 1

1回答

Drill可以查询打开的HDFS目录吗？

hive、apache-drill

我使用Drill.In成功查询配置单元和HBase表因为我从storm获取数据到HDFS目录，我正在为该目录创建配置单元结构并使用配置单元查询数据，而Drill.Whenever storm正在将数据写入该目录(意味着目录已打开并将数据写入hdfs)，则drill无法查询配置单元表，它给出错误

浏览 11提问于2017-01-04得票数 0

1回答

正在将flume接收器引发的异常发送回客户端

hadoop、bigdata、flume-ng

我计划使用Flume和HTTPSource来上传数据到HDFS。接收器将配置为将数据保存到配置单元/Hbase表。如果向HDFS写入数据时出现任何异常/错误，是否可以将其抛回给客户端？如果无法解析数据或无法将数据发送到内存通道，HTTPSourceHandler会抛出异常，但是接收器抛出的异常可以发送回客户端

浏览 1提问于2015-03-27得票数 0

1回答

Sparklyr copy_to失败

r、hadoop、apache-spark、sparklyr

我使用Sparklyr库从R到HDFS读取和写入数据。读取数据的工作原理是预期的，但是写入会带来问题。为此，我使用了sparklyr sdf_copy_to函数(也尝试过使用copy_to)。TRUE)错误：错误: org.apache.hadoop.mapred.InvalidInputException:输入路径不存在: hdfs一个可能的原因可能是sdf_c

浏览 2提问于2017-03-01得票数 3

1回答

Informatica BDE Hive动态分区

hadoop、hive、informatica、informatica-powercenter

Informatica是否有办法在完成配置单元映射后处理配置单元分区？例如，假设数据来自数据库，informatica BDE将文件写入HDFS目录。一个配置单元外部表位于该HDFS目录的顶部，现在需要添加该分区。

浏览 2提问于2015-08-26得票数 2

1回答

在sparklyr中使用spark_read_csv时出现“对象的方法csv无效”错误

r、hadoop、apache-spark、sparkr、sparklyr

我正在尝试从hdfs读取R中的数据。我在使用sparklyr时遇到的一件事就是破译错误消息，...because我不是java程序员。考虑这个例子：创建鲍鱼数据帧-鲍鱼是用于机器学习示例的数据集#check to see if the file is on the hdfs hdf

浏览 1提问于2017-05-31得票数 0

2回答

我如何添加一个罐子使用火花？

sparklyr

当我尝试使用Rstudio访问Hive表时，使用下面的代码来触发：library(dplyr)Add jar /usr/hdp/2.4.2.0-258/hive/lib/json-serde-1.3.7-jar-with-dependencies.jar;spark_d

浏览 2提问于2017-07-26得票数 3

回答已采纳

4回答

将Sqoop导入为OrC文件

hdfs、rdbms、sqoop

sqoop中是否有从RDMS导入数据并将其存储为HDFS中的ORC文件格式的选项？尝试的替代方案:以文本格式导入，并使用临时表将输入作为文本文件读取，然后作为配置单元中的orc写入hdfs

浏览 12提问于2015-05-01得票数 5

2回答

覆盖hdfs目录Sqoop导入

sqoop

在Sqoop导入时，是否可以自动覆盖HDFS目录，而不是每次手动覆盖？(我们是否有像"--overwrite“这样的选项，就像我们为hive import提供的"--hive-overwrite")

浏览 9提问于2016-10-19得票数 7

回答已采纳

2回答

是否可以将hive表与oracle表连接起来？

oracle、join、hadoop、hive

是否可以将hive表与oracle表连接起来？如果是，是如何实现的？如果没有，为什么？

浏览 20提问于2014-10-12得票数 1

1回答

将外部配置单元表从一个虚拟机导出到另一个虚拟机

hive

在Dev上，我有指向hbase表的外部配置单元表。我得把这张蜂窝桌导出到舞台上。没有强制要求hbase表也要迁移。如果创建了包含数据的托管配置单元表，则将足够。有没有人能建议我怎么做？我试过了：将配置单元表的数据转储到CSV文件中，并在舞台上将其加载到托管配置单元表中。但是数据具有日语字符(非UTF8)，导致在阶段w.r.t上有更高的行数。

浏览 1提问于2018-01-30得票数 1

1回答

是否可以在MR作业之外将数据写入HDFS，同时仍然使用配置单元进行查询？

java、hadoop、hive、hdfs

我必须使用这个框架，但我还必须将该作业中的数据写入HDFS。此外，我写的数据必须是可以通过Hive查询的。有没有办法做到这一点？我知道如何在Java中通过hadoop文件系统API导航和操作文件。

浏览 22提问于2019-08-24得票数 0

1回答

是否可以使用GPHDFS从Greenplum同时指向多个Hadoop群集？

hdfs、greenplum

我们有一个Greenplum环境，目前我们已将gphdfs配置为支持从Greenplum在HDFS上写入数据。对于不同的用户，需要写入不同的HDFS。是否可以为不同的用户配置不同的gphdfs配置，从而根据用户的不同，将数据写入其对应的已配置HDFS上？预期结果:从用户1开始，当我创建可写的外部表时，Location属性将类似于LOCATION

浏览 44提问于2019-05-02得票数 0

1回答

HDFS中来自twitter数据的配置单元查询

mysql、hadoop、twitter

我一直在关注这篇关于如何使用Hive分析推特数据的文章：我得到的响应如下: OK Time Time: 0.16秒。由于我不熟悉配置单元，我是希望在配置</e

浏览 0提问于2016-11-14得票数 0

3回答

创建表/数据库时配置单元抛出权限错误

hadoop、hive、permission-denied

我在配置单元中遇到权限错误。

浏览 1提问于2014-04-17得票数 8

回答已采纳

2回答

您可以使用HDFS作为主存储吗？

hadoop、hdfs、storage、data-lake

将数据保存在Hadoop中并使用Spark/Hive等方式使用可靠吗？使用HDFS作为您的主存储有哪些优势？

浏览 8提问于2019-04-07得票数 1

1回答

Hadoop:查询/读取Avro文件

java、hadoop、hdfs、avro、apache-nifi

我正在存储从复杂的JSON对象导入到Avro格式的数据。 "default" : {} ]我使用NiFi将JSON转换为Avro，并在Hadoop中存储序列化文件(目前我只使用纯Hadoop)：我的问题是：出于测试目的，我想查询存储HDFS (Avro格式)的数据。

浏览 2提问于2017-05-14得票数 0

点击加载更多