Sparklyr中的Concat_ws()函数丢失
我正在学习一个关于web (Adobe)分析的教程，在那里我想要构建一个马尔可夫链模型。(http://datafeedtoolbox.com/attribution-theory-the-two-best-models-for-algorithmic-marketing-attribution-implemented-in-apache-spark-and-r/)。
在本例中，他们使用的是函数：concat_ws (来自库(Sparklyr))。但该函数似乎不存在(在安装包并调用库之后，我收到一个错误，该函数不存在.)。
评论博客的作者： concat_ws是一个sparklyr函数：https://spark.apache.org/docs/2.2.0/api/java/org/apache/spark/sql/functions.html，因此，您必须依赖sparklyr才能完成该函数的工作。
我的问题是:是否有其他方法可以访问concat_ws()函数？我试过：
- 如果我能找到函数(或源代码)的话，可以在Github (https://github.com/rstudio/sparklyr)上搜索。不幸的是没有结果。
函数的目标是什么？使用给定的分隔符将多个输入字符串列合并成一个字符串列。
回答 3
Stack Overflow用户
发布于 2018-10-12 21:02:25
您可以简单地使用基数R中的paste。
library(sparklyr)
library(dplyr)
config <- spark_config()
sc <- spark_connect(master = "local", config = config)
df <- as.data.frame(cbind(c("1", "2", "3"), c("a", "b", "c")))
sdf <- sdf_copy_to(sc, df, overwrite = T)
sdf %>%
mutate(concat = paste(V1, V2, sep = "-"))Stack Overflow用户
发布于 2018-10-13 00:54:22
您无法找到该函数，因为它不存在于sparklyr包中。concat_ws是一个Spark函数(org.apache.spark.sql.functions.concat_ws)。
sparklyr依赖于SQL转换层函数调用被转换为带有dbplyr的SQL表达式。
> dbplyr::translate_sql(concat_ws("-", foo, bar))
<SQL> CONCAT_WS('-', "foo", "bar")这意味着该函数只能在sparklyr上下文中应用：
sc <- spark_connect(master = "local[*]")
df <- copy_to(sc, tibble(x="foo", y="bar"))
df %>% mutate(xy = concat_ws("-", x, y))
# # Source: spark<?> [?? x 3]
# x y xy
# * <chr> <chr> <chr>
# 1 foo bar foo-barStack Overflow用户
发布于 2022-02-04 15:42:00
我对dbplyr (BigQuery数据库)也有类似的问题。
问题
我不断地发现错误：
my_dbplyr_object %>%
mutate(datetime_char = paste(date_char, time_char))
# failed x Function not found: CONCAT_WS at [1:147] [invalidQuery] 解决方案
我编写了自定义SQL并将其放在sql()中。
示例
一旦您知道了生成所需内容的SQL (在我的例子中是CONCAT(date_char, ' ', time_char))，那么只需将其放在sql()函数中，如下所示：
my_dbplyr_object %>%
mutate(datetime_char = sql("CONCAT(date_char, ' ', time_char)"))https://stackoverflow.com/questions/52781720
复制相似问题
腾讯云开发者
