腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Scala
子
字符串
并
将其
存储
在
DF
中
。
string
、
scala
、
apache-spark
我尝试
在
scala
中
拆分一个
字符串
,并
将其
存储
在
一个
DF
中
,以便在Apache Spark中使用它。我拥有的
字符串
如下: fromTo: NT=xxx_bt_bsns_m,OD=ntis,OS=wnd,SX=xs,SZ=ddp,xxa_bt1_b1ns_m 然后
将其
存储
在
<
浏览 19
提问于2021-10-21
得票数 2
2
回答
MongoDB和Spark:无法将
字符串
转换为TimestampType
mongodb
、
apache-spark
我使用官方的MongoDB Spark Connector从MongoDB集合
中
读取Spark
中
的数据,代码如下: INFO DAGScheduler: Job 1 failed: count:234) at
scala
.collection.TraversableLike$$anonfun$map$1.apply(
浏览 12
提问于2018-11-28
得票数 1
3
回答
LInq查询集合内的集合
c#
、
linq
、
linq-to-objects
我喜欢获取所有
子
对象in并
将其
存储
在
字符串
数组
中
。MainObject包含父级列表
子
属性为(Id,Name) 如何使用linq查询MainObject
并
找到所有
子
it并
将其
存储
在
字符串
数组
中
?
浏览 0
提问于2011-05-31
得票数 7
回答已采纳
2
回答
应用Dataframe
中
的
子
串操作创建新列
scala
、
dataframe
、
apache-spark
我想根据字母的位置执行
子
字符串
操作,这样输出将如下所示 为了创建新列,我必须使用
子
字符串
操作 ? 我已经编写了一些spark
scala
代码,如下所示 val
df
=data.toDF("HI") val
df
1=
df
.select(col("*"), substring(col("HI"), 0, 2).as("c"
浏览 6
提问于2019-12-12
得票数 0
回答已采纳
3
回答
有没有办法
在
pyspark
中
处理时间?
apache-spark
、
pyspark
、
databricks
我有一个6个字符的
字符串
,应
将其
作为时间数据类型加载到SQL Server
中
。但是spark没有任何时间数据类型。我尝试了几种方法,但时间戳
中
没有返回数据类型。我将数据作为
字符串
读取,并
将其
转换为时间戳,最后尝试提取时间值,但它再次以
字符串
形式返回值。
df
.select('time_col').withColumn("time_col",to_timestamp(col("time_col")
浏览 33
提问于2020-07-08
得票数 0
5
回答
带有分隔符的
子
字符串
与
Scala
scala
、
apache-spark
、
apache-spark-sql
我是斯帕克和斯卡拉的新手,我想问你一个问题:具体来说,我想从“)”这个数字的最后一个字符开始,忽略它并提取整数,直到我找到一个空格。那就休息吧。
浏览 1
提问于2018-12-23
得票数 0
回答已采纳
1
回答
试图从UDF执行spark sql查询
scala
、
apache-spark
、
dataframe
、
hadoop
、
apache-spark-sql
我正在使用
scala
在
星火框架
中
编写一个内联函数,它将接受一个
字符串
输入,执行一个sql语句
并
返回一个
字符串
值。val testFunc_test = udf(testFunc) val
df
= sqlContext.table("some_table") 然后,我
在
withColumn
中
调用udf,
并
试图
将其
保存在一个新的
浏览 0
提问于2016-08-12
得票数 1
2
回答
如何将火花数据的结果
存储
到
scala
val
中
apache-spark
、
apache-spark-sql
有时它产生null,有时它产生0,有时它产生一个数字(BigInt)
df
: org.apache.spark.sql.DataFrame= [
浏览 0
提问于2020-04-02
得票数 0
回答已采纳
1
回答
用正则表达式替换列子
字符串
regex
、
apache-spark
、
apache-spark-sql
我
在
Scala
Spark有一张桌子,有以下几张:我希望
在
列STREET中将
浏览 0
提问于2020-11-26
得票数 0
回答已采纳
1
回答
尝试将"org.apache.spark.sql.DataFrame“对象转换为pandas dataframe会导致在数据库中出现错误"name 'dataframe‘is not defined
pandas
、
scala
、
apache-spark
、
jdbc
、
databricks
我正在尝试通过databricks
中
的jdbc连接来查询SQL数据库,并将查询结果
存储
为pandas dataframe。我在网上找到的所有方法都涉及到
将其
存储
为Spark对象的一种类型,首先使用
Scala
代码,然后
将其
转换为pandas。我试过1号牢房:val
df
_table1 = sqlContext.read.format("jdbc").options(Map( ("url" -
浏览 239
提问于2020-05-29
得票数 0
1
回答
Pandas / Python -合并数据帧,其中键位于2个
子
字符串
中
python
、
pandas
、
for-loop
、
merge
、
substring
这个问题我已经问了好几次了,似乎没有人能回答它…… 我正在寻找一个循环/函数或一个简单的代码,可以
在
不同的数据帧
中
查找2列,
并
输出第三列。这个示例与简单的合并或合并有很大不同,
在
合并
中
我们有一个
字符串
和一个
子
字符串
...
在
本例
中
,如果
存储
在
子
字符串
行
中
的一个键存在于不同数据帧的另一个
子
字符串<
浏览 10
提问于2020-11-12
得票数 1
回答已采纳
1
回答
火花读CSV -没有显示corroupt记录
apache-spark
、
apache-spark-sql
、
databricks
Spark有一个读取Permissive文件的CSV模式,它将corroupt记录
存储
到一个名为_corroupt_record的单独列
中
。允许--当所有字段遇到损坏的记录时,
将其
设置为null,并将所有损坏的记录放置
在
名为_corrupt_record的
字符串
列
中
。DecimalType}new StructField("value", DecimalType(25,10), false) ))
浏览 0
提问于2019-10-30
得票数 2
1
回答
Spark
Scala
拆分
字符串
语法问题
apache-spark
、
apache-spark-sql
我尝试使用SparkSQL和
Scala
拆分DataFrame列
中
的
字符串
,这两种拆分条件的工作方式似乎有所不同 使用
Scala
, 这是可行的- val seq = Seq("12.1")val
df
= seq.toDF("val") val afterSplit = <
浏览 18
提问于2019-01-08
得票数 0
回答已采纳
1
回答
如何将函数的返回值写入熊猫数据的新列
python
、
pandas
、
dataframe
、
apply
我有一个包含
字符串
(是逗号分隔子串)的列的熊猫数据文件。我希望移除一些
子
字符串
,并
将其
余的
子
字符串
写入同一dataframe
中
的新列
中
。这段代码背后的思想是获取
df
中
每一行的每个
字符串
,在逗号处
将其
拆分为
子
字符串
,并在结果列表
中
搜索我想要删除的
子
字符串
。删除后,我将列表重新组合到一个
字
浏览 5
提问于2015-12-10
得票数 1
回答已采纳
1
回答
从火花数据框架
中
读取结构
scala
、
apache-spark
我从星星之火DataFrame
中
读到了这一行:
scala
> t(0)(0)但不幸的是,我不知道如何访问Any
中
的包装数组虽然我可以
将其
转换为string
并
解析输出<
浏览 2
提问于2017-02-28
得票数 1
回答已采纳
5
回答
如何检查是否缓存了我的RDD或dataframe?
apache-spark
我已经创建了一个dataframe,比如
df
1。我通过使用
df
1.cache()来缓存它。如何检查这是否已缓存?还有一种方法,使我能够看到所有缓存的RDD或数据文件。
浏览 9
提问于2015-09-07
得票数 22
回答已采纳
1
回答
处理多个记录的
存储
过程
sql-server
、
tsql
、
stored-procedures
我正在尝试将一个
存储
过程转换为一个
存储
过程,该
存储
过程
在
特定记录
中
接受一个参数,
并
更新一个表列,并
将其
转换为一个
存储
过程,进行同样的更新,但进行批量更新。由于
在
存储
过程代码
中
设置了一个变量,所以当我移除该参数
并
运行它时,将得到一个错误,该错误如下:
子
查询返回的值超过一个。当
子
查询跟随=、!=、<、<=、>、>=或<em
浏览 1
提问于2017-08-18
得票数 0
回答已采纳
2
回答
加入数据帧时火花正则表达式
regex
、
scala
、
apache-spark
我需要在做一些连接的时候写一些状态检查的正则表达式,n3_testindia1 = test-india-1|stag-america-2|+--------------+val joindf =
df
1.join(
df
2,
df
1("location1") == regex(
df</em
浏览 2
提问于2018-12-21
得票数 1
回答已采纳
1
回答
Byte对Json对象的高效解析
scala
、
play-json
假设我有一个json格式的字节数组(例如,"{"key":"a0998
df
",“someVal”:45}),
并
希望
将其
转换为json对象。....val jsObject = Json.parse(str).as[JsObject] 但我在想,是否有更快的方法直接从字节数组
中
获取json对象,而不首先创建整个消息的
字符串
对象(无论是
在
Java还是
Scala
<e
浏览 3
提问于2020-06-23
得票数 0
回答已采纳
3
回答
函数
在
某些情况下工作,但在最长的
子
字符串
“重用”字符时失败。
java
、
linked-list
我有一个名为lengthOfLongestSubstring的函数,它的任务是
在
没有任何重复字符的情况下找到最长的
子
字符串
。
在
大多数情况下,它可以工作,但是当它得到像"dvdf“这样的输入时,它会打印出2(而不是3),
并
给出dv,
df
当它应该是d,vdf时。 所以,我首先遍历
字符串
,看看是否有任何唯一的字符。如果有,我
将其
附加到ans变量
中
。(我认为这部分需要修正)。如果存在重复,则
将其
存储</em
浏览 1
提问于2019-08-26
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
使用Spark将本地文件读取并封装为DataFrame的完整指南
遇见YI算法之初识Pyspark(二)
用Python做网页爬虫
Java从入门到架构师之九月哥再谈Java SE中Collection集合的子接口List
python将一列数据转成字符串并提取前几位
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券