我正在尝试将行旋转到列。我正在使用pivot函数，但当我使用它时，它只给我提供相同的数据库，没有任何更改。代码运行良好，没有任何错误，但我想重新格式化数据并添加列属性和值，如下所示。Census_block_group attribute value//代码
import org.apache.spark.sql.SQLContext
浏览 17提问于2019-07-30得票数 0
回答已采纳
我正在尝试将一个大小为2734984行x11列的pyspark转换为一个名为toPandas()的熊猫数据。使用时，它完全可以正常工作(11秒)，但当我使用databricks-connect运行完全相同的代码(db-connect版本和Databricks运行时版本匹配，两者都是7.1)时，我会遇到java.lang.OutOfMemoryError我已经增加了火花驱动程序内存(100克)和maxResultSize (15g)。我认为这个错误<em
浏览 20提问于2020-12-09得票数 7
回答已采纳
在使用SQL databricks时，我尝试从增量表创建一个新表，并添加一个新的空列。Databricks不能生成空列，如果我填充新生成的列，它可以正常工作。如何在现有增量表的基础上向新表中添加空列？ Does not work when NULL 当我填充该列时，它起作用了。(DriverLocal.scala:51)
at com.databricks
浏览 45提问于2021-10-21得票数 1
回答已采纳
我正在尝试选择名称中包含散列的列。当我使用select * from时，它会返回数据，包括带有#的列。当我使用列名进行选择时，我收到一个错误。我正在使用数据库访问一些在临时视图中转换的.parquet文件。集群有3个节点，Spark版本是Apache Spark 2.4.3，Scala 2.11，我使用的是Pyspark。)).createOrReplaceTempView(tables) -错误m
浏览 14提问于2019-09-12得票数 0
我有一个pyspark dataframe，其中重要信息作为json字符串存储在列中，这些字符串具有类似但不一致的模式。如何将每个条目的不同长度和字段的json数组加载到单个列中？
这种情况既发生在databricks中，也发生在火花放电的本地安装中。我对这样做的最佳方法的理解是将字符串转换为数据帧中的struct，然后使用explode。这将创建5行(每个响应
浏览 6提问于2022-02-03得票数 0
我正在使用cld3来检测语言。我想把它应用到的一个列中。我正在使用databricks，这是我现在拥有的代码： return (cld3.get_language(text)).language当我将get_language函数应用于熊猫格式的列时，它运行平稳，如下所示：
pandas_dataframe['language&#
浏览 45提问于2022-03-01得票数 0
我正在尝试读取一个ORC格式文件，它在单个文件中有5000行。在databricks笔记本中，下面的命令工作display(data_df:221)我注意到的一件事是，orc文件中的数据的架构或头有错误的拼写。例如，在orc文件中
浏览 6提问于2021-10-15得票数 0
我正在尝试使用SBT读取XML文件，但是我在编译它时遇到了问题。+= "com.databricks" % "spark-avro_2.10" % "2.0.1"resolvers += Resolver.mavenLocal
.scala文件
浏览 6提问于2017-09-22得票数 0
回答已采纳
1回答
我正在尝试使用Apache Zeppelin笔记本使用spark-csv 1将CSV文件加载到Spark数据框中，当加载一个没有值的数值字段时，该行的解析器失败，并且该行被跳过。我原本希望行被加载，数据帧中的值加载行，并将值设置为NULL，这样聚合就会忽略该值。的日志中，我可以看到以下关于解析santa行的错误：
ERROR [2015-07-21 16:42:09,940] ({Executor task launch worker
浏览 4提问于2015-07-21得票数 6
我试图使用AWS的Databricks来执行SELECT命令。我浏览了自述并配置了：
%python
df = spark.read \
.format("com.databricks.spark.redshift运
浏览 16提问于2022-02-18得票数 0
回答已采纳
尽管来自DataStax 的最新的火花卡桑德拉连接器支持读/写TTL和WRITETIME，但我仍然收到一个SQL未定义函数错误。在9.1LTSML(包括ApacheSpark3.1.2、Scala2.12)集群上使用带有库com.datastax.spark:spark-cassandra-connector-assembly_2.12:3.1.0和Spark for CassandraSparkExtensions的数据库。spark.sql.extensions com.datastax.s
浏览 2提问于2021-11-11得票数 1
回答已采纳
1回答
我正在从spark中的拼图加载数据，其中一列是Binary Type。我想要将此列转换为几何类型，为此我使用Apache Sedona/GeoSpark。我使用st_geomfromwkb来完成此操作，但遇到错误 df = spark.read.parquet("dbfs:/FileStore/tables/geometry.parquet")at com.databricks.logging.UsageLogging.with
浏览 107提问于2021-09-19得票数 2
我完全是数据库和火花的新手。我使用的是数据砖、社区版和Spark2.4.5集群。我试图修改从Spark1.6.2到Spark2.4.5运行的代码，因为在社区版本中，不允许使用Spark1.6.2创建集群。有人能帮我把RDD对象转换成Spark2.4.5中的Dataframe吗？spark environemnt is set and sc is spark.sparkContext
schemaPeople = spark.createDataFrame(rddDat
浏览 1提问于2020-05-01得票数 0
回答已采纳
1回答
将红移表保存到s3中作为拼花文件.这是从日期字段传来的。现在，我将尝试将列转换为long，并将其存储为unix时间戳。:328)at org.apache.spark.sql.execution.datasources.DefaultWriterContainer.writeRows2.10:1.5.1'
compile 'org.apache</em
浏览 5提问于2015-11-05得票数 1
回答已采纳
temp = sc.parallelize(Seq(Array(43,53,266),Array(69,160,166),Array(266)))我想选择与以下数组相交的行：编辑:实际上，上面的代码通常都可以正常工作，而且这里没有必要使用广播变量。有些人提到“Scala类中的一个值不是可序列化的”，我同意这应该是问题所在，但是，我不知道如何解决它。以下是背景信息:我正在使用潜在的Dirichlet分配(LDA)对一个语料库进行主题分析：
浏览 1提问于2017-06-25得票数 1
嗨，我是Scala和Intellij的菜鸟，我只是想在Scala上这样做：import org.apache.spark.sql.SQLContexterror here */
df.show基本上，我正在尝试将XML转换成火花数据格式，我在‘.load(“shops.xml”)
浏览 11提问于2017-10-11得票数 2
回答已采纳
1回答
如何在Databricks中正确配置Spark插件和包含Spark插件类的jar？我在Scala，CustomExecSparkPlugin.scala中创建了以下Spark3plugin类：
import org.apache.spark.api.plugin并将其上传到DBFS，在DBR 7.3 (Spark 3.0.1，Scala 2.12)集群创建期间，我设置了以下Spark
浏览 4提问于2021-11-03得票数 3
回答已采纳
我正在尝试使用库来处理avro文件。我正在使用SBT：libraryDependencies ++= Seq( "com.databricks._import org.apache.spark.sql._
import com.<
浏览 3提问于2015-05-13得票数 0
回答已采纳
我试图在Databricks环境中设置Apache，并在Spark中执行MERGE语句时遇到错误。我能够阅读，附加和覆盖到冰山表，没有问题。 at com.databricks.sql.transaction.tahoe.PreprocessTab
浏览 6提问于2021-06-08得票数 2
我正在尝试使用validate_email包验证300000个邮件ids，并将其写入azure databricks中的csv，在那里我得到了超时错误。Python3和py3dns包的Azure Databricks。我是spark和azure databricks的新手。在设置DNS.default‘’server‘=’8.8.8.8‘，'8.8.4.4’之后，我也尝试了。但还是无法解决。下面是我尝试过的代码。").option(
浏览 24提问于2019-09-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
