我想每天写大约10 GB的数据到Azure SQL server DB，使用PySpark.Currently，使用JDBC driver，这需要花费数小时逐个制作insert语句。我计划使用azure-sqldb-spark连接器，它声称可以使用批量插入来加速写入。import com.microsoft.azure.sqldb.spark.config.Config
浏览 2提问于2018-10-27得票数 7
我不确定这是正确的标题，所以请随时建议编辑。顺便说一句，我是Scala和Spark的新手。基本上，我有一个如下所示的DF df_1： | ID | name | city_id | | 0 | "abc"| 123 | | 1 | "cba"| 124 | ...在巨大的HBase中，city_id是一个关键： 123；纽约；....124；洛杉矶；....等。我的方法是在HBase上创建一
浏览 14提问于2019-12-12得票数 1
回答已采纳
我有两个数据帧，第一个数据帧包含实际数据(从CSV文件读取)，第二个数据帧包含一个具有多个关键字的列。即下面的Dataframe-1外观相似(我们必须搜索的地方)：数据帧-2：我想要的输出：我在这里使用spark scala。我想要一个与dataframe-1中的datafr
浏览 1提问于2021-02-12得票数 0
我正在使用Datastax spark- Cassandra -connector来访问Cassandra中的一些数据。我的需求是将RDD与Cassandra表连接起来，获取结果并将其存储在hive表中。 我正在使用joinWithCassandraTable加入cassadra表。加入后，生成的RDD如下所示 com.datastax.spark.connector.rdd.CassandraJoinRDD[org.apache.<
浏览 20提问于2020-07-17得票数 0
1回答
我有一个需求，我需要连接数据帧A和B，并计算一列，并在具有不同连接条件的相同2个数据帧之间的另一个连接中使用该计算值。DF_Combined = A_DF.join(B_DF,'Join-Condition',"left_outer").withColumn(col1,'value')
完成上述操作后，我需要执行相同的连接，但使用在前一个<
浏览 5提问于2019-11-22得票数 0
回答已采纳
几天后，数据带来了大量的功能。为了获得简短的数据摘要，人们将数据加载到数据框中，并使用head()方法显示数据。使用Jupyter Notebook( Toree for scala)进行实验是很常见的。Spark (scala)很适合处理大量数据，但是它的head()方法不能在水平滚动的notebook中显示
浏览 3提问于2018-06-13得票数 2
我使用的是Spark 1.3.1，其中连接两个数据帧会重复连接的列。我在外部连接两个数据帧，希望将结果数据帧发送到na().fill()方法，以便根据列的数据类型将空值转换为已知值。我有涉及多个列的连接。我是否只需要确保存在一组惟一的列名，而不管我应用na().fill()方法的</e
浏览 4提问于2016-02-28得票数 3
我有两个数据帧A和B。A有30列- reason1,reason2.......reason30现在，我需要在B中查找所有以reason*开头的列，并在数据帧A的一列中获取相应的值。因此，最终的数据帧将具有reason1,reason2.......reason30, value
我试图将每一列与其他数据帧</em
浏览 9提问于2021-05-17得票数 0
我正在使用spark structured来编写一些使用function的转换数据帧： .format("parquet") .start(dataPath)当我在代码中调用这个函数的次数较少时(编写了1或2个
浏览 7提问于2018-07-26得票数 1
我正试着从Spark数据帧中写给Cassandra。当我有一个简单的数据帧模式时，如示例中所示，它可以工作： |-- id: string (nullable = true)但是，当我尝试编写包含StructTypes的数据帧时，其模式如下： |-- crawl: struct (nullable = true)
|
浏览 4提问于2016-06-27得票数 1
我使用的是Spark 1.6，正在尝试将csv (或tsv)文件读取为数据帧。以下是我采取的步骤：scala> import sqlContext.implicits._scala> .format(
浏览 12提问于2016-07-27得票数 2
在我们的一个Pyspark作业中，我们有一个场景，我们在一个大的数据帧和相对较小的数据帧之间进行连接，我相信spark正在使用广播连接，我们遇到了以下错误 org.apache.spark.SparkException(SQLExecution.scala:98)
at org.apache.spark.sql.execution.exc
浏览 752提问于2020-04-22得票数 0
1回答
我试图使用spark csv lib在hdfs文件上创建一个dataframe对象，如所示。但是当我尝试获取DataFrame对象的计数时，它显示为0employee.csv：1000,Tom我使用以下命令加载了上述文件：
val empDf = sqlContext.read.format("com.databricks.spark.csv").option("header","true").option(
浏览 1提问于2016-08-09得票数 0
回答已采纳
我想将scala数据帧转换为pandas数据帧 collection.show()
#Should
浏览 19提问于2019-08-05得票数 0
我正在使用下面的内容创建一个使用hive外部表的dataframe (spark scala)。但数据帧也在其中加载了数据。我需要一个使用配置单元外部表的模式创建的空DF。我使用spark scala来解决这个问题。 val table1 = sqlContext.table("db.table") 如何使用配置单元外部配置单元表创建空数据帧？
浏览 20提问于2019-10-16得票数 1
目前，我正在从一个带有头的制表符分隔的文件中创建一个数据帧，如下所示。header", "true") .option("inferSchema","true").load(pathToFile)
我想做完全相同的事情
浏览 0提问于2019-03-07得票数 0
有一些函数可以删除Spark(SCALA)中的列和行，但是却找不到任何函数来删除整个数据frame.Is，有一种方法可以删除Spark(SCALA)中的数据帧吗？
浏览 0提问于2016-10-15得票数 3
我正在尝试用可能在count_2列中的数据替换count_1列中的所有空数据。下面是给定输入的预期输出。我如何在Spark Scala中做到这一点？输入数据帧 name count_1 count_2Python null 20000R nullnull
Swi
浏览 23提问于2021-09-05得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
