spark是否异步写入数据帧

文章/答案/技术大牛

发布

1回答

apache-spark、pyspark

我有两个spark数据帧df1和df2。我尝试将它们写到两个不同的文件路径。有人能告诉我，写操作是同步进行还是异步进行？这是因为它们是两个不同的数据帧写入两个不同的路径，写入是同时发生，还是必须等到它完成df1写出后才开始写df2？GlueContext(SparkContext.getOrCreate()) # updated 11/19/19 for error caused in error logging function

浏览 15提问于2020-02-17得票数 0

2回答

Apache Ignite到亚马逊S3的连接

ignite

我想知道如何将数据从亚马逊S3加载到Apache Ignite集群？是否需要单节点或多节点群集？

浏览 5提问于2017-05-02得票数 1

1回答

如何在使用Spark Java向Kafka Producer写入Spark Dataframe时控制记录数

dataframe、apache-spark、apache-kafka、spark-streaming、kafka-producer-api

我有一个包含两列的spark数据帧，'keyCol‘列和'valCol’列。数据帧的大小非常巨大，接近1亿行。我想以小批量的方式向kafka主题写入/产生数据帧，即每分钟10000条记录。此spark作业将每天运行一次，从而创建此数据帧如何在下面的代码中实现每分钟10000条记录的小批量写入，或者请建议是否有更好/更有效的

浏览 10提问于2020-04-27得票数 1

1回答

如何在Spark中加速大数据帧连接

python、scala、apache-spark

我在Spark 2.4中有两个数据帧，它们的大小几乎相同。每个都有大约4000万条记录。一种是通过简单地从S3加载数据帧生成的，另一种是加载一堆数据帧并使用sparkSQL生成大型数据帧。然后我将这两个数据帧多次连接到多个数据帧中，并尝试将它们作为CSV写入S3……然而，我看到我的写入时间超过了30分钟，我不确定它是否<

浏览 12提问于2020-05-14得票数 0

回答已采纳

3回答

在写入dataframe - pyspark之前从表中删除记录

sql-server、pyspark、apache-spark-sql、pyspark-dataframes、aws-glue-spark

在从dataframe向表中写入数据之前，我正在尝试从表中删除记录。这对我不起作用。我做错了什么？query = "(delete from xx_files_tbl)" .option("url", "jdbc:sqlserver

浏览 172提问于2020-10-14得票数 1

回答已采纳

2回答

spark增量覆盖特定分区

apache-spark、delta

所以我有一个数据帧，它有一个列，file_date。对于给定的运行，数据帧只有一个唯一file_date的数据。我使用以下代码编写此数据 .repartition(1) .format("delta") .mode("overwrite，并且必须覆盖特定FILE_DATE _ file_date的数据。不幸的是，在上面的代码中，如果我没有

浏览 4提问于2020-01-22得票数 4

1回答

使用Spark写入memsql的最佳实践

apache-spark、scalability、singlestore

我的用例如下:我们正在使用Spark从HDFS读取和转换数据。转换后的数据应保存在memsql中。长话短说: Spark</em

浏览 4提问于2016-01-15得票数 1

2回答

Spark DataFrameWriter ignoreNullFields不工作

apache-spark、apache-spark-sql

+----++----+----+----+----++----+----+----+----+但即使我使用spark</e

浏览 50提问于2020-02-27得票数 3

1回答

我的spark程序中有大量的阶段

apache-spark、amazon-s3、apache-spark-sql、spark-streaming

当我的spark程序执行时，它创建了1000个阶段。但是，我只看到推荐的是200。最后，我有两个动作将数据写入S3，之后我就得到了未持久化的数据帧。现在，当我的spark程序将数据写入S3时，它仍然多运行了近30分钟。为什么会这样呢？是因为我保存了大量的数据帧吗？ P.S ->我正在运行的程序只有5个输入记录。

浏览 0提问于2018-08-17得票数 1

1回答

对partitionBy创建的一个输出目录中的数据进行排序

scala、apache-spark、sorting、partitioning

我有一个很大的地理空间数据集partitionBy qk5的level 5。在每个quadkey级别的目录中，大约有1-50 Gb的数据，所以它不适合放在一个文件中。问:有没有一种方法可以在partitionBy批处理中对数据进行排序？part30000.parquet part40000.parquet 我想让part1.parquet，part2.parquet，part3.parquite，part4.parquite中的数据按列

浏览 19提问于2021-09-23得票数 2

回答已采纳

1回答

使用spark-redis加载数据集时出现问题

apache-spark、pyspark、redis、apache-spark-sql

我正在尝试使用spark-redis加载数据集，但操作总是失败。我尝试写入的spark dataframe有8500万行，但写入操作在2500万行之后大致失败。我想知道如何解决这类问题。下面是我在Python脚本中执行的操作： SPARK_JARS = ['/home/jovyan/jedis-3.6.0.jar', '/home/jovyan/spark-redis_2.

浏览 100提问于2021-06-11得票数 2

1回答

Databricks -将Spark* dataframe转换为表:它是相同的数据源吗？*

apache-spark、apache-spark-sql、sparktable

您将需要执行相当多的计算，从源数据帧，一个Spark表，不是吗？或者，dataframe和table都是指向相同数据的指针(即，在创建表时，不是在创建重复数据)？我猜我想要弄清楚的是，你是否可以从一个Spark数据帧到一个表‘开关开关’，或者这样做的计算量是否(非常)昂贵(毕竟这是大数据...)

浏览 26提问于2021-04-26得票数 0

1回答

使用JDBC Source和Redis Stream的Spark流

oracle、scala、redis、spark-streaming

现在，这两个对象都在Spark上运行，但我似乎不能确定为什么流不工作。也许是redis在写入流端时实现它的接收器的方式，也可能是我尝试做这项工作的方式。我在流媒体上找到的几乎所有示例都与Spark samples有关，比如文本流媒体或TCP，而我在关系数据库上找到的唯一解决方案是基于Kafka connect的，我现在不能使用它，因为该公司没有在kafka我基于spark redis的示例构建了我的代码，并使用示例代码尝试实现针对我的情况的解决方案。我每天加载Oracle数据，并将其发

浏览 21提问于2020-08-12得票数 2

1回答

读取Hive表并写入Cassandra表

apache-spark、hive、cassandra、cloudera、spark-cassandra-connector

问:我想将表格数据从Hive表格导出/写入相应的Cassandra表格。有没有Hive到Cassandra的连接器？或者我需要在Spark中做这件事，如果是的话，怎么做？

浏览 35提问于2020-06-17得票数 0

回答已采纳

1回答

在linux机器上使用s3a对于>100列拼接失败

linux、scala、parquet、spark-shell、amazon-s3-access-points

我使用s3a从数据库读取数据帧并写入.parquet(s3a://bucketname//folder)。它适用于<100列的数据帧，但crashes.exits spark-shell适用于>100列的数据帧。如果是列限制/版本问题/内存问题，是否找不到任何材料？希望能从经验丰富的社区中找到一些方向。下面的代码可以在我的本地机器上的Eclips

浏览 15提问于2021-05-20得票数 1

回答已采纳

1回答

将数据帧从spark集群写入cassandra集群:分区和性能调优

scala、apache-spark、cassandra、datastax-java-driver、spark-cassandra-connector

Cloudera Hadoop- Spark作业在此处运行2.Cloud - Cassandra集群，多个DC<code>A0</code> 在我的多租户spark集群中，对于具有20M记录的spark批量加载，以及下面的配置，我看到了许多任务失败、

浏览 25提问于2020-06-08得票数 1

回答已采纳

1回答

如何在pyspark中将数据帧的输出写入CSV文件

pyspark、pyspark-sql

我正在研究使用pyspark的回归分类算法。我想将模型输出保存到CSV文件中。我用过但是它抛出一个错误，声明saveAstextFile属性不在列表中。请参阅以下代码并提出建议：from pyspark import SparkContextfrom pyspark.sql.types import * from pyspark.ml impor

浏览 18提问于2017-07-05得票数 0

1回答

Snowflake : SQL访问控制错误:权限不足，无法对架构进行操作

pyspark、aws-glue、snowflake-cloud-data-platform

我已经编写了aws glue job，我试图将雪花表作为spark数据帧读取，并尝试将spark数据帧写入snowflake表。在这两种情况下，我的工作都无法显示“操作模式的权限不足”。但是当我在雪花cli上直接写insert语句时，我能够插入数据。所以基本上我有插入权限。那么，当我尝试从dataframe中插入数据或从snowflake表中读取数据作为dataframe时，我的作业为什么会失败呢？下面是我将<em

浏览 0提问于2019-02-09得票数 0

1回答

是否有一种方法可以使用spark_write_csv在sparklyr中为csv文件设置名称？

r、sparklyr

我需要将数据帧写入单个csv文件，并发现可以使用sdf_coalesce()将该文件转换为单个分区。我想知道是否有任何方法可以更改spark_write_csv()生成的csv文件的名称提前谢谢。

浏览 0提问于2018-04-04得票数 3

回答已采纳

1回答

是否可以将es.batch.write.retry.count设置为零值

apache-spark、elasticsearch、pyspark、apache-spark-sql

我只想停止spark作业，如果在向ES写入数据时发生任何异常。有一个配置es.batch.write.retry.count的默认值是3。我们可以设置es.batch.write.retry.count =0，这样如果按照我的要求发生故障，spark数据帧写入ES就会停止吗？

浏览 16提问于2019-11-29得票数 1

点击加载更多