1回答
我在Cloudera集群中的Hive中有一些按daily_date列分区的外部表。 我还有DataStax Enterprise Cassandra集群，我在其中创建了与Hive表结构相同的表。问:我想将表格数据从Hive表格导出/写入相应的Cassandra表格。 有没有Hive到Cassandra的连接器？或者我需要在Spark中做这件事，如果是的话，怎么做？
浏览 35提问于2020-06-17得票数 0
回答已采纳
是否可以将外部表文件从hive外部表命令导出/创建到远程服务器。location '<Remote server A with IP XXXXX and with username and password>';
Requirement：我必须将这个文件/数据从hive导出到Cassandra (在另一个服务器上)。
浏览 6提问于2016-06-25得票数 1
回答已采纳
我有一个Cassandra集群，它有一个位于同一位置的星火集群，我可以通过编译它们、复制它们并使用./ Spark submit脚本来运行通常的星火作业。我编写了一个小作业，它接受SQL作为命令行参数，将它作为Spark提交给Spark，Spark针对Cassandra运行该SQL，并将输出写入csv文件。现在，我觉得我在兜圈子，试图找出是否可以在JDBC连接中通过Spark直接查询Cassandra (例如来自松鼠SQL)。但我想不出的是，我如何才能让该服务器连接到Cassandra<
浏览 4提问于2015-12-10得票数 1
回答已采纳
我想编写一个spark应用程序，在其中我可以从多个hive表中读取数据，并向多个hive表中写入数据。然而，这里有一个奇怪的地方。据我所知，我只能在全局级别设置属性fs.s3a.server-side-encryption algorithm。
我该怎么做呢？假设我正在从spark应用程序中的一个hive
浏览 2提问于2017-04-06得票数 0
2回答
我需要将数据从Hive导出到Kafka主题，基于另一个Kafka主题中的一些事件。我知道我可以用HQL从火星之工中读取蜂巢的数据，并将它从星火中写入卡夫卡，但是有更好的方法吗？
浏览 0提问于2019-01-15得票数 0
回答已采纳
2回答
是否可以从本地HDFS (例如192.168.0.10)迁移/复制/复制/移动处理过的文件到cassandra (192.168.0.20)？我想到的是，我确实创建了一个java应用程序来解析文件，并将它们重新插入cassandra中。非常感谢！
浏览 1提问于2015-09-18得票数 0
正如我们之前读到的关于Cassandra的文章，我们决定选择它作为我们的主要database.The --最重要、最有用和最特殊的特性--它鼓励我们选择这个数据库，它是可伸缩性，它帮助我们使用大量数据。我问了一些关于我们在Stackoverfolw中的需求以及如何使用Cassandra来响应它们的问题，答案是使用alternative tools on Cassandra作为Spark、Solr、DSE
浏览 0提问于2016-03-14得票数 1
1回答
我正在使用以下命令加载到一个表中：set hive.exec.dynamic.partition.mode=nonstrict;set hive.enforce.bucketing = true;
SET hive.exec.compress.outputFORMAT DELIMITED FIELDS TER
浏览 0提问于2016-06-11得票数 0
完整的错误日志是as；org.apache.hadoop.hive.ql.metadata.HiveException: Error in loading storage handler.
org.apache.hadoop.hive.cassandra.CassandraStorageHandlerCREATE EXTERNAL TABLE mktg_c
浏览 1提问于2016-04-15得票数 0
我有一个Postgres数据库，用于生产服务器，需要定期使用Hadoop进行分析。在Hadoop中进行的每一个查询都应该基于Postges数据库中可能的最新版本。不同步是可以接受的，但只能延迟几分钟。
浏览 4提问于2015-05-19得票数 2
回答已采纳
我使用org.apache.spark.sql.SparkSession将Cassandra表读取到Spark Dataset<Row>。dataset包含整个表信息，如果我将一个新行添加到Cassandra中，它似乎在后台异步工作，并使用该行更新数据集，而无需再次读取表。
对于从表中读取的数据是否有任何限制或内置的限制？如果Spark表的字节数是半兆字节，那么Cassand
浏览 2提问于2017-08-22得票数 0
回答已采纳
我们正在尝试使用Prometheus来管理我组织中的Cassandra集群(v2.1.x)。我有一个与读取或写入延迟指标相关的问题。对于节点级别的读取或写入延迟，我使用的指标是- org.apache.cassandra.metrics<type=(ClientRequest), scope=(Read|Write), name=(Latency)><>(OneMinuteRate)
对于表级，我使用- org.apache.cassan
浏览 9提问于2018-02-02得票数 2
我正在尝试将我的数据帧写入分区的hive表中，.Hive表的格式是parquet。 但我无法将df写到Hive表中。我正在尝试将我的数据帧写入分区的hive表中，.Hive表的格式是parquet。 但我无法将df写到Hive表中。partitionBy("mis_dt","country_codfe").
浏览 28提问于2019-05-27得票数 0
我有一个关于临时数据(写入数据库一次的数据，从数据库读取一次然后删除的数据)的Cassandra用法的问题。
我们使用Cassandra在运行在不同机器/不同容器上的进程之间交换数据。Process1正在向Cassandra写入一些数据，Process2正在读取这些数据。在此之后，可以删除数据。我们了解到，由于tombestones和性能问题，Cassandra不喜欢经常在一个表中写入和删除数据，因此我们正
浏览 20提问于2020-03-01得票数 0
1回答
cassandra列族自动映射到配置单元表。例如，我使用以下命令在hive中创建了一个外部表来映射列族。Hive > create external table A (rowkey string, column_name string, value string)
> STORED BY 'org.apache.hadoop.hive.cassandra
浏览 11提问于2011-08-04得票数 1
回答已采纳
在Hive表中存储Blob数据类型的最佳方式是字符串还是二进制？将BLOB数据存储到Hive二进制是推荐的方法，或者我们还有其他方法吗？是否有像HBase这样的大数据组件，Cassandra将支持BLOB
浏览 19提问于2018-09-26得票数 1
通过Sqoop将数据从Oracle DB加载到Cassandra之后，我可以通过Cassandra和Hive查看数据。我被告知，在这样做的同时，将为每个文件生成2个文件，从而产生空间问题。为了解决这个问题，我删除了Hive中的表，创建了一个外部表，并将它映射到Cassandra中的列家族。但我无法在Hive表中查看任何数据。我正在使用DataStaxEnterprise3.0.1。使用Sqoop，我将表't
浏览 0提问于2013-12-18得票数 1
我有一个大小约为150 GB的cassandra表。我想将表迁移到不同的cassandra集群。我这里有两种方法：
使用spark作业从旧集群读取数据并写入新集群。使用某种格式将cassandra数据保存到S3。将数据保存到S3后，使用spark再次读取数据，将数据保存到新集群。如果我采用这种方法，那么我应该以什么格式保存数据？因为我必须再次从S3读取数据。
浏览 1提问于2017-12-06得票数 0
我正在尝试配置一个5节点cassandra集群来运行Spark/Shark来测试一些Hive查询。我已经安装了火花，斯卡拉，鲨鱼和配置的Amplab 。我能够进入Shark，当我试图从我的Cassandra ColumnFamily表中创建一个外部表时，我一直会得到这个错误。加载存储org.apache.hadoop.hive.ql.metadata.HiveException:时出现异常handler.org.apache.hadoop.hive.c
浏览 3提问于2013-11-15得票数 2
回答已采纳
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
