腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
从
Mysql
中读取
Spark
apache-spark
、
pyspark
、
apache-spark-sql
我有一个
spark
作业,它从
mysql
读取一个表,但出于某种原因,
spark
将int列定义为布尔值。如何在表读取期间强制
数据类型
?火花会议:.config("
spark
.sql.autoBroadcastJoinThreshold", -1).config
浏览 10
提问于2022-10-10
得票数 1
回答已采纳
1
回答
使用
Spark
Scala将SqlServer
数据类型
转换为Hive
数据类型
scala
、
apache-spark
、
mssql-jdbc
Spark
用于从SQL server DB中
获取
表的模式。由于
数据类型
不匹配,我在使用此模式创建配置单元表时遇到问题。如何在
Spark
Scala中将SQL Server
数据类型
转换为Hive
数据类型
。
浏览 48
提问于2019-07-19
得票数 1
1
回答
在
Spark
中显示在Hive表上创建表--将CHAR、VARCHAR视为字符串
apache-spark
、
hive
我试着用
Spark
和Beeline来完成这个任务。每条语句的直线时间大约为5-10秒,而斯派克在几毫秒内完成了同样的工作。我计划使用火花,因为它比直线更快。使用
spark
从hive
获取
DDL语句的一个缺点是,它将CHAR、VARCHAR字符视为字符串,并且不保留CHAR、VARCHAR
数据类型
的长度信息。同时直线保存CHAR、VARCHAR
数据类型
的
数据类型
和长度信息。我正在使用星火2.4.1和Beeline 2.1.1。 给出下面的示例create命令及其显示create输出。直线输出
浏览 1
提问于2022-03-10
得票数 0
3
回答
从Apache
Spark
中的模式
获取
数据类型
列表
python
、
apache-spark
、
types
、
schema
、
spark-dataframe
我在
Spark
-Python中使用以下代码从DataFrame的模式中
获取
名称列表,这很好用,但是如何
获取
数据类型
列表呢?columnNames = df.schema.namescolumnTypes = df.schema.types 有没有办法获得包含在DataFrame模式中的
数据类型
的单独列表
浏览 1
提问于2016-05-20
得票数 25
回答已采纳
1
回答
如何将
spark
查询结果转换为dataframe python
python-3.x
、
apache-spark
、
pyspark
、
apache-spark-sql
如何将
spark
.sql查询结果转换为dataframe,当我在代码行下面运行时,它给了object任何读取object的方法,给出了数据结果df =
spark
_session.sql
浏览 14
提问于2022-06-22
得票数 0
1
回答
无法隐式地将“Microsoft.
Spark
.CSharp.Sql.DataFrame”类型转换为“System.Collections.IEnumerable”
apache-spark
、
apache-spark-sql
、
mobius
我正在尝试使用
spark
从
MySQL
表中
获取
一些记录,我在执行该查询时得到了一个错误。我想根据列的日期
获取
数据,列的
数据类型
是
MySQL
中的日期时间,我正在与.Net技术合作老:得到了新的例外: 匿
浏览 5
提问于2017-09-22
得票数 0
回答已采纳
2
回答
检查列
数据类型
并仅对
Spark
SQL中的Integer和Decimal执行SQL
scala
、
apache-spark
、
apache-spark-sql
、
spark-streaming
我正在尝试检查来自输入Parquet文件的列的
数据类型
,如果
数据类型
是Integer或Decimal,则运行
Spark
SQL。)) //get the field name val dfs = x.map(field =>
spark
.sqlapprox_count_distinct($field)/count(1) from parquetDFTable) as Percentage
浏览 1
提问于2017-07-26
得票数 3
回答已采纳
6
回答
星火箱类-十进制型编码器错误“不能从十进制转换”。
scala
、
apache-spark
、
apache-spark-sql
我从
MySQL
/MariaDB中提取数据,在创建Dataset期间,
数据类型
发生错误 线程"main“org.apache.
spark
.sql.AnalysisException中的异常:不能从十进制(30,6)到十进制(38,18),因为它可能截断目标对象的类型路径是:- AMOUNT (类:"org.apache.
spark
.sql.types.Decimal",名称:”org.apache.
spark
.sql.types.Decimal“)-根类:"
浏览 16
提问于2016-12-03
得票数 13
回答已采纳
1
回答
加载蜂巢表中的火花org.apache.
spark
.sql.catalyst.analysis.UnresolvedException错误
apache-spark
、
apache-spark-sql
在尝试将数据集中的数据加载到Hive表时,
获取
错误: Datase
浏览 0
提问于2018-09-03
得票数 1
1
回答
在
spark
sql中,like操作符和group_concate操作符的交替是什么?
sql
、
apache-spark
、
dataframe
、
sql-like
在
mysql
中,我们在group_concat上使用can use like operator,例如但它在
spark
sql中不起作用,因为我使用了collect_set而不是group_concat。它显示了
数据类型
不匹配异常。
浏览 2
提问于2016-08-31
得票数 0
2
回答
对PHP的简单访问
php
、
ms-access-2007
如何从 (*.mdb)读取数据并
获取
列
数据类型
?更具体地说,将来自的数据插入到
MySQL
数据库中? 谢谢。
浏览 7
提问于2012-05-29
得票数 1
回答已采纳
1
回答
在Apache
Spark
2.0.0中,是否可以从外部数据库
获取
查询(而不是
获取
整个表)?
mysql
、
jdbc
、
apache-spark
、
pyspark
使用pyspark: .builder\ .getOrCreate() .format("jdbc")\
浏览 3
提问于2016-08-03
得票数 6
回答已采纳
1
回答
获取
Apache
spark
数据集中包含的列的列
数据类型
java
、
apache-spark
、
apache-spark-sql
我想知道是否有一种方法可以使用java
获取
Apache
spark
数据集中包含的列的
数据类型
?我编写了以下代码来修剪该列中的数据:我正在尝试
获取
SSN列的
数据类型
,以对照预期类型对其进行验证。
浏览 16
提问于2018-02-07
得票数 1
12
回答
如何
获取
mysql
表列的
数据类型
?
mysql
我想要
获取
mysql
表的列
数据类型
。我得到的错误是query was empty 如何
获取
列
数据类型
?
浏览 2
提问于2009-08-01
得票数 123
1
回答
在GKE上部署时,
Spark
无法连接到
mysql
apache-spark
、
kubernetes
、
apache-spark-sql
、
google-kubernetes-engine
我正在GKE上的Kubernetes上部署一个批处理
spark
作业。Job试图从
MySQL
(Google Cloud SQL)
获取
一些数据,但它给出了连接链接故障。我尝试通过从pod安装
mysql
客户端来手动连接到
mysql
,连接正常。我还需要配置什么吗?例外: Exception in thread "main" com.
mysql
.cj.jdbc.exceptions.CommunicationsException: Communications linkat
浏览 15
提问于2019-10-21
得票数 0
1
回答
如何使用
Spark
/Hive SQL中的DESCRIBE TABLE获得完整的data_type?
sql
、
apache-spark
、
hiveql
、
database-schema
、
sqldatatypes
在
Spark
/Hive SQL中,我们可以使用DESCRIBE TABLE table_name来
获取
表的模式。但是,如果data_type太长,data_type列可能不会返回完整类型。有没有办法使用
Spark
/Hive SQL
获取
完整的列
数据类型
?
浏览 28
提问于2021-03-10
得票数 0
8
回答
使用pyspark
获取
列的
数据类型
apache-spark
、
pyspark
、
apache-spark-sql
我正在尝试使用pyspark
获取
一个
数据类型
。1238 56.22345566677777789 21 实际上,我们没有为mongo集合的任何列定义
数据类型
浏览 42
提问于2017-07-11
得票数 62
回答已采纳
1
回答
Spark
中
mysql
查询的顺序
mysql
、
apache-spark
我在
Spark
中有一个需求,在那里我需要从
mysql
实例中
获取
数据,在经过一些处理之后,可以从一个不同的
mysql
数据库中
获取
更多的数据。但是,当我试图再次从map函数中访问数据库时,我会得到一个org.apache.
spark
.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:298)
浏览 0
提问于2018-03-12
得票数 1
回答已采纳
2
回答
获取
地理二进制PySpark的文本
python
、
pyspark
、
apache-spark-sql
、
geolocation
、
geospatial
我正在读取一个使用AWS DMS服务从
MySQL
表生成的parquet文件。此表有一个类型为Point (WKB)的字段。当我读取这个拼图文件时,
Spark
根据下面的代码将其识别为二进制类型: file_dataframe = sparkSession.read.format('parquet')\|U�...||@G|@G|@G| G| G| G| G U�...|
MySQL<
浏览 20
提问于2020-09-19
得票数 0
回答已采纳
5
回答
是否将
MySQL
查询结果作为其本机
数据类型
?
php
、
mysql
、
resultset
、
types
我曾尝试使用
mysql
_fetch_row()和
mysql
_result()
获取
MySQL
查询结果,结果返回的是字符串形式的数值。 有没有办法将数据作为存储在表中的
数据类型
来
获取
?应用程序将查询许多不同的查询,因此我无法将值转换为1×1的预期
数据类型
。
浏览 0
提问于2010-03-12
得票数 19
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Access获取字段的数据类型
MySQL中的数据类型及约束
Mysql数据类型及查询浅析实战
mysql基本数据类型和引擎
MySQL数据库之数据类型
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券