腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
具有
多种
数据类型
的
Pyspark
SQL
数据
框架
映射
dataframe
、
pyspark
、
apache-spark-sql
、
aws-glue
、
aws-glue-spark
我在glue中有一个
pyspark
代码,我想要创建一个
具有
整数和字符串组合
的
映射
结构
的
dataframe。示例
数据
: { "Candidates": [ "jobLevel": 6, }, { "name": "Abby&
浏览 57
提问于2021-04-14
得票数 3
回答已采纳
1
回答
具有
列表
数据类型
的
列: Spark HiveContext
pyspark
、
spark-dataframe
、
pyspark-sql
下面的代码聚合并创建一个
数据类型
为list
的
列: "column_name_1" expr("collect_list(column_name_2) " ) 因此,似乎可以将“list”作为dataframe中
的
列
数据类型
。我想知道我是否可以写一个返回自定义
数据类型</em
浏览 2
提问于2016-07-15
得票数 0
2
回答
是否有一种方法可以将类型字典
的
列添加到火花放电中
的
星体
数据
?
python
、
pyspark
、
apache-spark-sql
这就是我如何在
pyspark
中创建
具有
原始
数据类型
的
数据
for i in range(3)]现在,如果我想有第三列
的
字典
数据
我想要创建这个
数据<
浏览 2
提问于2020-05-31
得票数 5
回答已采纳
1
回答
使用pysprak处理struct
数据类型
amazon-web-services
、
pyspark
、
amazon-dynamodb
我计划在
pyspark
中处理struct
数据类型
,它
映射
dynamodb中
的
数据类型
。由于我计划在dynamodb表中执行转换,该表
具有
一个map属性,因此我希望使用
pyspark
实现相同
的
转换。
浏览 2
提问于2020-05-29
得票数 0
2
回答
无法在文件中转换拼花列,预期: bigint,查找: INT32
apache-spark
、
pyspark
、
amazon-emr
、
parquet
、
aws-glue
我有一个带有tlc列
的
胶水表,它
的
数据类型
是Bigint。我试图使用
PySpark
执行以下操作:我
的
代码看起来是:
浏览 4
提问于2020-03-24
得票数 10
1
回答
SQL
和Entity Framework之间
的
映射
编号。我应该使用什么类型?
sql
、
sql-server
、
entity-framework
我需要在
SQL
表列上保存一些值,并将它们
映射
到实体
框架
实体。我应该使用哪种
SQL
数据类型
,以及我应该将其
映射
到哪种网络
数据类型
?我可以使用
SQL
float来获得双精度...但它是被挪用
的
吗?
浏览 0
提问于2014-09-16
得票数 0
1
回答
如何正确地使用
PySpark
创建新
的
数据
格式?
python
、
dataframe
、
pyspark
我试图通过以下方式创建一个
数据
框架
,使用
PySpark
,:nb_col = predictions_nb.selectspark.createDataFrame([lr_col, nb_col]) AssertionError:位于0x00000237C7D2B550
的
dataTypepy4j.java_gateway.JavaMember对象应该是类
浏览 0
提问于2019-06-20
得票数 0
1
回答
Sql
用户在实体
框架
中定义类型字段忽略
sql-server
、
asp.net-mvc
、
c#-4.0
、
entity-framework-6
我在
sql
server DB中创建了用户定义类型,现在在一个表列中使用,当我在实体
框架
中添加此表时,带有此
数据类型
的
字段将被忽略并显示错误消息- 警告2错误6005:目标实体
框架
版本目前不支持
数据类型
'Type_Name‘;表'DB_Name’中
的
列'column_name‘被排除在外。因此,我们如何在实体
框架
中
映射
sql
用户定义类型,以便我们可以使用该
数据类型
添加
浏览 0
提问于2017-05-11
得票数 0
1
回答
合并两列,但在蜂巢中有不同
的
结构
hive
、
pyspark
、
hiveql
、
pyspark-sql
我已经加载了一个拼花文件并创建了一个
数据
框架
,如下所示 time-----------------因此,data1列
的
数据类型
是string->integer
映射
,其中data2列
浏览 0
提问于2019-06-12
得票数 1
回答已采纳
1
回答
Entity Framework6.1本身是否支持XML
数据类型
?
.net
、
entity-framework
、
entity-framework-6
某些RDBMS(包括
SQL
Server)支持XML列。我不希望将这样
的
列
映射
到string
数据类型
。Entity Framework6.1本身是否支持XML?更具体地说,我可以将xml列
映射
到.NET
的
一种
数据类型
(比如XElement或XmlElement)吗?实体
框架
是否支持集成到普通LINQ查询中并转换为XQuery查询
的
SQL
?
浏览 0
提问于2014-08-09
得票数 22
回答已采纳
1
回答
SQLMetal是否支持
SQL
-Server2008
数据类型
?
sql-server-2008
、
sqlmetal
我在VS2K8
的
一个3.5
框架
项目中使用了LinqToSQL,它运行在MSSQL2k8上。 当我在Visual Studio中使用设计图面创建表
映射
时,一切工作正常。当我使用SQLMetal (来自Windows SDK v6.1)创建表
映射
时,SQLMetal抱怨我正在使用
的
SQL
Server2k8
数据类型
(例如,日期和时间)。SQLMetal是否支持
SQL
Server2k8
数据类型
?我需要更新版本吗?或者,我是否必须在可视化设
浏览 1
提问于2010-06-10
得票数 0
回答已采纳
1
回答
意外类型:<class‘_
python
、
apache-spark
、
dataframe
、
pyspark
、
apache-spark-sql
当我试图将一个StringType转换为上
的
一个StringType时出错:.withColumnRenamed("ProductionTmp",“生产”) /usr/local/src/spark20master/spark/python/
pyspark
/
sql</em
浏览 5
提问于2016-11-20
得票数 19
回答已采纳
1
回答
pyspark
.
sql
.utils.AnalysisException: Parquet
数据
源不支持空
数据类型
apache-spark
、
pyspark
、
types
、
parquet
、
void
我试图在
PySpark
中
的
dataframe
PySpark
中添加一个列。我试过
的
密码:df1 = df1.withColumn("empty_column", F.lit(None)) 但我知道这个错误:
pyspark
.
sql
.utils.AnalysisException: Parquet
数据
源不支持空
数据类型
。
浏览 23
提问于2022-10-18
得票数 3
回答已采纳
1
回答
Spark DataFrameWriter使用时间戳而不是日期时间
python
、
mysql
、
apache-spark
、
pyspark
、
mariadb
我正在将
数据
库从
SQL
Server迁移到MariaDB,但是遇到了MariaDB
的
时间戳范围限制
的
问题。我有一个填充
数据
库
的
PySpark
项目,在覆盖模式下使用DataFrameWriter.jdbc()创建表。WHen与
SQL
Server一起工作时,Spark将自己
的
时间戳
数据类型
转换为
SQL
Server
的
DATETIME2
数据类型
,这种
数据类型<
浏览 11
提问于2019-02-21
得票数 0
1
回答
MVC模型类应该使用什么
数据类型
来支持/表示类型为Image
的
数据
库列?
c#
、
entity-framework
、
image-processing
、
asp.net-mvc-4
、
types
在玩“编程剃刀”
的
过程中,我遇到了一个难题。如果我有一个包含以下列
的
表:Title nvarcharPhoto Image public string Body { get; set; }} ...but图像
的
字节数组
浏览 2
提问于2013-04-05
得票数 1
回答已采纳
1
回答
将星火DataFrame中
的
行收集到JSON对象中,然后将该对象放到另一个DF中
apache-spark
、
dataframe
、
apache-spark-sql
、
spark-dataframe
我有一个火花DataFrame,其中包含一些应用程序
的
使用
数据
。我
的
目标是从这个DataFrame中收集某些指标,然后将它们聚集在一起。例如,我可能希望在这个DataFrame中获得我
的
产品
的
总用户数:100500{ "totalUsers":100500, &q
浏览 0
提问于2018-03-20
得票数 0
1
回答
无法在
PySpark
项目中生成文档而不运行session
python
、
apache-spark
、
pyspark
、
apache-spark-sql
、
databricks
我有一个Python包,其中有一个模块,其中包含要在
PySpark
设置中使用
的
UDF。在运行单元测试时,我已经想出了一种初始化和关闭Spark会话
的
方法,但是我在创建文档时遇到了问题。我使用
的
是,所以我只需运行make clean docs并遇到以下错误: File "/usr/local/lib/python3.9/site-packages/
pyspark
/
sql
/pandas_wrappe
浏览 8
提问于2022-03-31
得票数 1
回答已采纳
1
回答
如何使实体
框架
截断
映射
到
SQL
类型
的
DateTime值
的
时间部分?
c#
、
.net
、
sql-server
、
entity-framework
我有一个基于现有
数据
库
的
实体
框架
模型(也称为“
数据
库代码优先”)。请注意,releaseDate列
具有
SQL
数据类型
date,因此它不包含时间部分。实体
框架
将此
数据类型
映射
到包含时间部分
的
CLR DateTime类型。 现在,我将向
数据
库中添加一个新
的
movie。movie存储在
数据
库中,显然,releaseDate
的
时间部分被
浏览 0
提问于2015-11-30
得票数 1
回答已采纳
1
回答
有点复杂
的
PySpark
选择和聚合查询
pyspark
、
pyspark-sql
我有一个
具有
以下
数据类型
的
pyspark
:[('TransactionDate', 'timestamp'), ('GroupByFld', 'int'), ('Amount('AdjustedTransactionDate'),max('AdjustedTransactionDate'), GroupByFld, sum('Amount'
浏览 0
提问于2019-01-03
得票数 0
3
回答
JPype和JayDeBeAPI返回jpype._jclass.java.lang.Long
python
、
jdbc
、
apache-spark
、
jpype
、
jaydebeapi
我在
PySpark
中使用
PySpark
( Python ),下面是我
的
代码
的
开头(注意,我实际上是通过与
PySpark
交互
的
shell来运行这一切
的
)。
SQL
“前端”。下面是
SQL
查询
的
Python代码:curs.execute('select "username",count("username") from "
浏览 5
提问于2014-11-13
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
一文读懂PySpark数据框
一文读懂 PySpark 数据框
什么是Java Mybatis框架?它的优点和缺点是什么?
手写mybatis彻底搞懂框架原理
Java三大框架SSH简介
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券