1回答
我想知道从Spark读/写dynamodb最好的方法是什么。
我尝试过使用dynamodb的官方API，还有emr连接器(hadoop和hive)等。
浏览 28提问于2018-01-24得票数 1
我的用例是从Spark应用程序写入DynamoDB。由于我对DynamoDB的写入容量有限，并且不想因为成本问题而增加它，我如何将Spark应用程序限制为以规定的速度写入？编辑:当Spark应用程序在多节点EMR集群上运行时，需要实现这一点。
浏览 1提问于2018-05-18得票数 2
我希望我的Spark应用程序从DynamoDB读取一个表，做一些事情，然后用DynamoDB编写结果。将表读入DataFrame
现在，我可以将表从DynamoDB作为hadoopRDD读入Spark，并将其转换为DataFrame。但是，我必须使用正则表达式从AttributeValue中提取值。在AWS API中找不到任何东西。这些资源都没有实际演示如何向DynamoDB<em
浏览 6提问于2017-12-08得票数 9
2回答
我正尝试在amazon EMR实例上运行pyspark以从dynamodb读取数据，我想知道如何在我的代码中设置拆分和工作的数量？我按照下面两篇文档中的说明使用了下面的代码，该代码当前连接到dynamoDB并读取数据。": "dynamodb", "dynamodb.input.tableName":
"Table1", "
浏览 2提问于2017-12-03得票数 0
如何将PySpark数据写入DynamoDB表？没有找到多少这方面的信息。根据我的要求，我必须将PySpark数据写入Dynamo表。总的来说，我需要从我的PySpark代码中读写发电机。
浏览 1提问于2018-10-29得票数 3
回答已采纳
我想知道是否有任何java库支持从apache (Mesos)读取/写到dynamo db (AWS)，我知道在本文中有一些库支持EMR。
谢谢普拉迪普
浏览 0提问于2017-10-17得票数 5
DynamoDB是为表设置的读/写容量输入收费，还是只在使用时收费？
浏览 4提问于2017-08-08得票数 3
回答已采纳
我想从星火流应用程序中使用DynamoDB流。但是，是否有可能将这个库插入火花呢？我正在使用Spark2.1.0。谢谢
浏览 3提问于2017-04-16得票数 5
回答已采纳
下面是我试图从发电机数据库中读取数据并将其加载到数据帧中的代码。 使用scanamo也可以做到这一点吗？---+---------+------+|[5548]|[Romance]| [3.5]|
+------+---------+------+ 如何将此编辑-1 现在我可以使用下面的代码创建dataframe，并且能够从dynamodb表中读取数据(如果它不包含null )。j
浏览 25提问于2019-12-17得票数 1
回答已采纳
1回答
我正在尝试使用spark从亚马逊s3获取一个文件(以DataFrame或RDD的形式)，执行一些简单的转换，然后将文件发送到DynamoDB上的一个表中。在阅读了其他一些论坛帖子后，我开始了解到读/写DynamoDB需要使用hadoopRDD -这与spark中的RDD不同-也不同于我检索s3文件的方式。我该如何将DataFrame/RDD从s3中的文件更改为hadoopRDD，这样我才能将其发送
浏览 0提问于2016-05-26得票数 7
我正在尝试使用pyspark代码从aws emr上的Dynamodb创建一个外部配置单元表。当我在hive提示符上执行该查询时，它工作得很好，但当我将它作为pyspark作业执行时，它就失败了。代码如下：from pyspark.sql import SparkSessionspark.sql('u
浏览 2提问于2019-05-10得票数 2
1回答
需求：使用Scala从本地机器读取DynamoDB(不是本地的，而是在AWS上)的数据。当我们使用电子病历集群时，可以使用emr-hadoop-dynamodb.jar读取Understanding:数据。可以使用emr-dynamodb-hadoop.jar?EMR集群从DynamoDB(云上而不是本地)读取数据，而不是使用集群。",
"org.apache.spark"
浏览 0提问于2020-11-19得票数 2
我已经写了一个程序来写项目到DynamoDB表中。现在，我想使用PySpark从DynamoDB表中读取所有项。在Spark中有没有可以做到这一点的库？
浏览 0提问于2016-02-05得票数 8
我正在以每秒350次写入的速度写入DynamoDB表。我已经在它上面启用了流，并配置了多个使用者来读取每个分片。每个使用者只能处理100条记录/秒，这意味着我至少需要4个使用者来处理流。问题是，当写入/秒增加时，DynamoDB不会创建多个分片。想知道DynamoDB在什么时候开始创建多个分片(写入/秒的值) 我尝试在每秒100到350次写入之间向表中写入数据
浏览 18提问于2019-09-11得票数 0
回答已采纳
我想在不使用EMR集群的情况下运行本地Dynamodb spark作业，该作业从一些表中读取数据并将其写入到parquet / CSV文件中。(RDD.scala:1162)
at com.data.spark.dynamodb.copyDynamoTable$.delayedEndpoint$com$riskified$data$spark$dynamodb$copyDynamoTable$1(c
浏览 37提问于2018-09-05得票数 0
回答已采纳
(new AWSStaticCredentialsProvider(new BasicAWSCredentials("access_key", "secret_key"))).build()val table = dynamoDB.getTable("tbl_name")
def putItem(email: String, name: Stringrdd.repartition(40).map(row =&
浏览 4提问于2017-08-01得票数 1
val spark = SparkSession .appName("Spark Hive Example") .enableHiveSupport()当我使用spark-shell执行spark-sql从Hive查询表时，<em
浏览 1提问于2017-11-10得票数 1
情况：
如果我试图在使用GetItem withConsistenRead=true编写之后立即验证数据，它只保证数据已经写入大多数DB副本，而不是全部，因此，正在测试的服务在下一步仍然有机会从未更新的副本中<e
浏览 2提问于2017-02-10得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
