Hadoop表源详细信息

文章/答案/技术大牛

发布

1回答

hadoop、hive、hiveql、oozie、hue

我有一个hadoop表，我需要找到表的源类型(关系/平面文件/大型机)。我有权访问色调，桌子的日志。我可以知道如何提取这些详细信息吗？

浏览 13提问于2020-06-29得票数 1

1回答

突触无服务器池-Read外部表

azure-synapse

我正在尝试从外部表中读取数据，外部表是使用pyspark笔记本配置在突触无服务器池中的(我希望它在一个dataframe中)，但是我无法做到这一点。有人能指点我怎么做吗。我尝试了下面的代码。

浏览 4提问于2022-04-20得票数 0

1回答

使用Polybase在Server 2016中创建外部表时遇到的问题

sql-server、hadoop、sql-server-2016、polybase

创建外部表时会显示错误。有人能告诉我，这是否与核心-site.xml或其他文件中的Hadoop设置有关？对于Server端的设置，端口9000是否正确，还是应该使用另一个端口？误差由于引发‘>http://wiki.apache.org/hadoop/ConnectionRefused’类型的内部错误异常，无法检索 Msg 105036、级别16、状态1、第33行外部数据源信息xxxxxxxxxxxx/00.000.000.000到xxxxxx.xx.dev.net

浏览 8提问于2021-11-23得票数 0

1回答

用于将文件从HDFS复制到AWS S3的Hadoop服务器连接

java、amazon-web-services、hadoop、amazon-s3

要求是将hdfs文件从Hadoop集群(非亚马逊网络服务)复制到亚马逊网络服务S3存储桶，并使用独立的java应用程序安排每日CRON。如何指定源Hadoop集群的kerberized服务器连接详细信息，以便S3client可以访问源hdfs文件夹中的文件。下面的命令早些时候用过，但它不是安全的文件传输方式。hadoop distcp -Dfs.s3a.access.key=<<>> -Dfs.s3a.secret.key=<<>> hd

浏览 2提问于2018-06-16得票数 0

2回答

如何判断表是否另存为拼图文件？

hive、parquet、file-format、hive-metastore

对于另存为拼花的表，我希望获得更多信息，如拼花模式。那么，如何通过HiveMetaStoreClient获取配置单元表的文件格式呢？或者是否有其他接口可以做到这一点？我在想，也许我可以尝试用ParquetReader读取每个表并捕获异常。

浏览 3提问于2019-04-01得票数 0

1回答

错误:协议"gphdfs“不存在

hadoop、greenplum

当我 'gphdfs://xxxxx/gptest/lineitem.csv'ENCODING 'UTF8'它显示了我想知道如何配置

浏览 4提问于2016-12-15得票数 0

2回答

HDFS进入Cassandra

hadoop、cassandra、apache-pig

是否可以从本地HDFS (例如192.168.0.10)迁移/复制/复制/移动处理过的文件到cassandra (192.168.0.20)？还有其他办法吗？

浏览 1提问于2015-09-18得票数 0

1回答

使用Azure SQL数据仓库中的Polybase访问Hadoop (Azure IaaS) HDFS文件

azure、hadoop、hdfs、azure-sqldw、polybase

Azure SQLDW中的Polybase访问Cloudera集群中的HDFS中的分隔文件(在Azure中作为IaaS提供)，但是我遇到了以下错误： Msg 105019，级别16，状态1，第40行外部表访问由于内部错误而失败ch : java.nio.channels.SocketChannelconnection-pending remote=10.56.140.31/ 10.56.140.31:8020；有关详细信息，ch : java.nio.channels.SocketChannel[connection-pending remote

浏览 0提问于2017-03-24得票数 1

1回答

对于Hadoop，选择哪种数据存储，亚马逊S3还是Azure Blob Store？

azure、hadoop、amazon-web-services、emr

我正在从事一个Hadoop项目，并在我的本地集群中生成大量数据。不久之后，我将使用基于云的Hadoop解决方案，因为与实际工作负载相比，我的Hadoop集群非常小，但是到目前为止，我还没有选择我将使用哪一个，即基于Windows Azure、EMR或其他什么。我在本地生成了大量数据，并希望将这些数据存储到一些基于云的存储中，因为我稍后将在Hadoop中使用这些数据，但很快就会使用这些数据。我正在寻找建议，以决定根据某人的经验选择哪个云商店。提前谢谢。

浏览 0提问于2012-05-08得票数 2

回答已采纳

1回答

如何在使用NewHadoopRDD时给出文件名？

java、scala、apache-spark

我试图在Spark中使用newAPIHadoopRDD函数，但我发现构造函数中没有使用文件名的参数。那么，在这种情况下如何设置文件名呢？

浏览 4提问于2016-10-29得票数 0

回答已采纳

1回答

Hadoop与SAS的连接

hadoop、sas、hive、cloudera、olap-cube

如果它将蜂窝表导入到它的环境中，那么与普通的sql多维数据集相比，它的性能如何？我对sas完全陌生，我希望在2-4秒内生成我的报告，其中我的聚合数据位于Hive表中，然后我在此基础上创建了多维数据集。谢谢..。

浏览 4提问于2013-08-21得票数 2

回答已采纳

2回答

在hadoop中摄取数据后的标准过程

hadoop、hive、apache-pig、sqoop

我将从oracle导入数据到Hadoop，然后我想将这些数据保存到蜂巢中。如何在摄入的数据中执行数据清理或错误检查？

浏览 3提问于2016-08-29得票数 3

回答已采纳

2回答

如何通过hdfs (hadoop命令)导入/导出hbase数据

hadoop、hbase、local-files

然后，我通过命令将我的数据(hbase的一个表)直接从hdfs复制到某个本地目录。hadoop fs -CopyToLocal /hbase/input ~/Documents/outputhadoop fs -CopyFromLocal“mydata”名称的表。简单地说：然后，我想通过hadoop</

浏览 2提问于2014-09-18得票数 11

回答已采纳

1回答

如何将JDBC数据源连接添加到配置单元？

database、oracle、oracle11g、business-intelligence、hive

我正在尝试添加一个新的JDBC数据源连接到oracle BI publisher中的配置单元，我知道如何使用JDBC连接到配置单元，但问题是Oracle BI publisher不接受空用户名。如何在Oracle BI publisher中创建没有输入用户名的数据源？连接详细信息：连接字符串jdbc:hive://localhost:10000/default

浏览 0提问于2012-06-13得票数 0

回答已采纳

1回答

Tableau -已发布数据源的数据源连接信息

tableau-api

我有一个使用已发布数据源的twb文件。我想检查数据源的连接详细信息。twb文件只给出了已发布的数据源(tableau服务器细节)的详细信息。获取数据源连接详细信息的rest API只提供本地数据源的服务器详细信息。所有其他信息，如数据库、模式和表信息都丢失。如果我有一个twb直接连接到我的本地数据源，那么XML就拥有所有的连接信息，包括服务器、模式、数据库和表名。当twb文件使用已

浏览 15提问于2017-07-19得票数 1

2回答

Apache Falcon数据备份

hadoop、inmobi、apache-falcon

我无法使用Apache Falcon将数据从一个Hadoop集群备份到另一个集群。数据从一个集群备份到另一个集群的方法有哪些？

浏览 8提问于2015-06-02得票数 0

1回答

执行配置单元查询时出现权限被拒绝错误

hadoop、hive

我以hadoop用户的身份登录，该用户可以访问hadoop和配置单元。我已经为表所在的文件夹授予了完全权限：drwxrwxrwx- hadoop hadoop 0 2015-06-05 15:23 /tmp drwxrwxrwx - hadoop supergroup

浏览 4提问于2015-06-26得票数 1

1回答

如何在单元表中插入和检索十进制值

java、sql、hadoop、hive、hiveql

我希望在单元表中插入并检索一个十进制值。

浏览 3提问于2016-01-28得票数 0

回答已采纳

1回答

蜂箱更新效率(0.14版)

hadoop、hive

如何有效地处理未分区的列上的更新？

浏览 4提问于2015-04-23得票数 1

2回答

如何将流数据写入S3？

scala、amazon-web-services、apache-spark、amazon-s3、spark-streaming

我想使用Scala在星火流中将RDD[String]写到亚马逊S3。这些基本上是JSON字符串。不知道如何更有效地做这件事。我找到了，其中使用了库spark-s3。其想法是创建SparkContext，然后创建SQLContext。在此之后，文章的作者做了这样的事情： rdd.toDF().write .option("accessKey","s3_a

浏览 0提问于2016-10-10得票数 3

回答已采纳

点击加载更多