我需要插入表字段的注释，我尝试使用结构字段，但它不起作用： 我的代码： Schema = StructType([ StructField("title", StringType(), True,
{'description': "Name of the category"})]) 当我在雅典娜中搜索表格时，注释</e
浏览 35提问于2021-08-17得票数 0
回答已采纳
1回答
我正在尝试向MySql表中插入记录。该表包含作为列的id和name。id = '103' l = [id,name]
pas
浏览 3提问于2017-10-04得票数 16
回答已采纳
嗯，我使用的是PySpark，我有一个Spark dataframe，我使用它将数据插入到mysql表中。df.write.jdbc(url=url, table="myTable", mode="append")
我希望通过列值和特定数字的
浏览 4提问于2015-09-16得票数 12
我在Azure SQL Server数据库中有一个表，该表是从我的Dataframe填充的。我想使用pyspark / pandas基于多条件数据库来更新这个表。我是PySpark / Databricks / Pandas的新手，有人能告诉我如何更新表吗？我已经将数据插入到表中-我可以想到的一种解
浏览 2提问于2020-04-20得票数 0
我正在使用PySpark通过下面的JDBC命令向PostgreSQL数据库写入一个DataFrame。如何获取插入的行id？它被设置为具有自动增量的标识列。我使用的是下面的命令，而不是单独插入每一行的for循环。(url=url, table="table1", mode=mode, properties=properties)
我知道我可以使用monotonicallyIncr
浏览 2提问于2019-09-18得票数 2
177070
我正在尝试将该DF保存到不存在配置单元表中$$anonfun$resolve$1.apply(DataFrame.scala:162) at scala.Opti
浏览 0提问于2017-01-20得票数 0
我正在尝试使用spark sql从pyspark dataframe创建一个hive paritioned表。下面是我正在执行的命令，但得到了一个错误。错误消息如下。df_view)
spark.sql("create table if not exists tablename PARTITION (date) AS select * from df_view") 错误：pyspark.sql.utils.ParseException:u"\nmismatched input
浏览 113提问于2021-09-19得票数 0
回答已采纳
我希望将数据从csv文件插入到postgreSQL表中。我编写了从csv文件中获取数据的代码，如下所示我得到了'myData‘变量中的文件内容，我编写了如下数据库连接。', properties=pro
浏览 0提问于2018-09-19得票数 1
回答已采纳
我试图使用Pyspark连接插入到现有的Mysql表中，但是我得到了以下错误 File "/usr/hdp/currentDataFrame(self.: 'Table or view not found: test_write; line 1 pos 1'
我能得到关于这个错误的帮助吗。该表</e
浏览 0提问于2020-07-17得票数 0
回答已采纳
1回答
我是PySpark新手，正在尝试读取HDFS文件(上面创建了hive表)并创建PySpark数据帧。通过PySpark读取配置单元表非常耗时。有没有什么方法可以动态获取hive列名(用作dataframe中的模式)？我希望将文件位置、表名和数据库名作为输入传递给aa程序/函数，以便从配置单元元数据(可能是元数据xml)中获取模式/列名称，并作为dataframe
浏览 15提问于2019-03-06得票数 0
回答已采纳
2回答
我正在使用spark sql开发一个SPARK应用程序，我的工作之一是从两个表中选择值，并将其插入到一个空表中，这就是我的结果。下面是我的情况代码from pyspark.sql.types import StructType,StructField,StringType=sqlc.createDataFrame([],schema)
dataframe
浏览 2提问于2016-08-03得票数 0
回答已采纳
2回答
我将Glue目录中的数据作为动态数据读取，并将其转换为Pyspark dataframe以进行自定义转换。为了重新插入新的/更新的数据，我打算使用delta表。但我只找到从路径读取数据作为增量表的选项。为了执行合并操作，我需要将我的Pyspark转换为Delta表。有办法这样做吗？
浏览 7提问于2021-08-30得票数 3
回答已采纳
如何向现有表中插入新数据？from pyspark import SparkContext
sc = SparkContext表“人员”中的数据不能更改。|
浏览 0提问于2018-11-08得票数 3
我一直试图复制源表的内容，将NULLS转换为0并将其插入目标表中。当在线阅读时，Spark似乎不支持INSERT INTO，但是，我一直在读到您可以使用dataframe并将其附加到表中。这是我的原始代码：from pyspark.context import SparkContext
df = sqlContext.sql("SELECT * FROM test_t
浏览 0提问于2018-10-15得票数 1
回答已采纳
1回答
在Postgres中，我有一个名为"mytable“的表，其中有两个列，id (bigint)和value (varchar(255))。PySpark应用程序接受一个dataframe并使用postgresql(PostgreSQL42.1.4.jar)将数据插入到"mytable“中。下面是我目前如何编写从Pyspark到Postgres的数据：
df.write.format("j
浏览 0提问于2018-01-21得票数 2
回答已采纳
2回答
我想插入一些数据，我的表“测试”通过一个pySpark脚本(火种的python)。我首先在HUE的图形界面中为Hive创建了一个表"animals“，感谢下面的查询：于是我买了一张新桌子。我写这个脚本是为了给它添加一个新行(1，dog)：fro
浏览 2提问于2018-01-25得票数 0
我知道我可以用 %pysparkselect C.name, count(C.name) from orderitems as A
left join clientpagemodules as C onunix_timestamp(NOW()) - 3600*24*30) *1000
浏览 30提问于2019-02-15得票数 0
我是通过从RDD中的文本文件加载数据来创建PySpark的。现在，我想将这个RDD转换成一个dataframe，但是我不知道RDD中有多少列和列。我试图了解如何创建schema，但大多数示例都显示了一个硬编码模式创建示例。现在，由于我不知道列是什么，所以如何将rdd转换为dataframe？到目前为止，我的代码如下：sqlContext
浏览 9提问于2017-04-07得票数 2
我想使用PySpark (Spark1.6.2)对存在于Hive表中的数值数据执行主成分分析(PCA)。我能够将Hive表导入到：>>> hiveContext = HiveContext(sc)
>>> dataframe有一篇优秀的StackOverflow文章展示了如何在PySpark<
浏览 1提问于2016-10-06得票数 4
回答已采纳
我尝试运行upsert/delete命令来插入/删除DB2数据库源表中的一些值，这是DB2上的一个现有表。是否可以使用Pyspark/Spark SQL/Dataframes。
浏览 2提问于2019-05-10得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
