GeoMesa Spark不能使用UDF函数

文章/答案/技术大牛

发布

1回答

apache-spark、geomesa

我想在GeoMesa中使用Java函数，但我似乎不能使用任何函数，我有以下与GeoMesa相关的导入： import org.locationtech.jts.geom.*;import org.locationtech.geomesa.spark.jts.*; 但我不能使用其中的任何UDF</em

浏览 15提问于2020-07-29得票数 0

回答已采纳

3回答

在spark中创建UDF

apache-spark、apache-spark-sql、user-defined-functions、geomesa

我正在尝试使用geomesa- spark -jts在spark中创建一个永久函数。Geomesa-spark-jts在更大的LocationTech社区中具有巨大的潜力。首先，我下载了geomesa-spark-jts，其中包含以下内容之后，我像这样启动了spark (我确保jar在路径中)现在，当我使用该软件包附带的ST_Translate时，它确实给了我一个结果

浏览 2提问于2018-05-08得票数 0

2回答

GeoMesa火花不能使用地散列

apache-spark、azure-databricks、geohashing、geomesa

我在一个Databricks集群上使用GeoMesa Spark，它引用了这个示例笔记本：。导入和使用UDF函数(如st_makePoint和st_intersects )没有问题。但是，当我尝试使用st_geoHash创建点的Geo散列时，我得到了以下错误： NoClassDefFoundError: Could not initialize class org.locationtech.geomesa.spark.jts.util

浏览 5提问于2021-09-30得票数 0

回答已采纳

1回答

通过Spark* RDDs向Cassandra写入SimpleFeature*

apache-spark、geomesa

下面调用的createFeature()函数在独立的单元测试中运行良好，我有另一个单元测试调用它，并使用它生成的SimpleFeature通过GeoMesa api成功地写入到Cassandra： . . .上下文中的RDD的map()函数中进行函数调用的事实是，由于Spark分区，导致了SimpleFeatureImpl

浏览 0提问于2018-02-12得票数 0

1回答

geomesa -无法使用geomesa pyspark初始化spark sql会话

geomesa

/lib/python3.7/site-packages/geomesa_pyspark/__init__.py in init_sql(spark) 114 def init_sql_jwrapped) 我已经使用以下代码进行了安装：geomesa_pyspark-2.4.0.tar.gz <e

浏览 10提问于2021-11-30得票数 0

1回答

ImportError:无法导入名称'st_makePoint‘

postgresql、pyspark、geospatial

我正在尝试使用pyspark在postgresql数据库中输入一些数据。postresql表中有一个字段，定义为数据类型地理(Point)。我编写了下面的pyspark代码来创建这个使用经度和纬度的字段。

浏览 0提问于2020-08-02得票数 0

回答已采纳

3回答

如何使用Spark/Geomesa将几何图形从一个EPSG投影到另一个EPSG？

apache-spark、geomesa

我正在“翻译”一些Postgis代码到Geomesa，我有一些Postgis代码，如下所示： select ST_Transform(ST_SetSRID(ST_Point(longitude, latitude在Geomesa-Spark-sql文档https://www.geomesa.org/documentation/user/spark/sparksql_functions.html上，我可以看到ST_Point，但我找不到任何等效的S

浏览 55提问于2020-06-24得票数 0

1回答

在数据库上安装GeoMesa

scala、maven、databricks、azure-databricks、geomesa

我正在尝试在Azure Databricks (Databricks V6.6/Scala2.11)中安装GeoMesa -尝试遵循this tutorial 我已经使用Maven坐标org.locationtech.geomesa:geomesa-spark-jts_2.11:2.3.2在DataBricks中安装了GeoMesa，如上所述。但是，当我运行import org.locationtech.geomesa.spark.GeoMe

浏览 25提问于2020-08-14得票数 0

回答已采纳

1回答

Spark& GeoMesa中地理空间表的左半连接

apache-spark-sql、geospatial、geomesa

包含地理空间点.我想执行以下查询：我使用Spark-SQL和GeoMesa & Accumulo来实现同样的功能。(Spark作为处理引擎，Accumulo作为数据存储库& GeoMesa用于GeoSpatial库)。上面的查询是某种left semi join，但我不确定如何使用Spark</

浏览 3提问于2017-03-23得票数 0

回答已采纳

2回答

在Spark3.3.0上安装哪个版本的geomesa* accumulo*

geomesa

我需要安装风水-accumulo在星火3.3.0使用一个码头容器。特别是，我使用的是jupyter/pyspark记事本映像，我已经尝试安装geomesa_2.11-2.0.0，但似乎存在一个不兼容的问题。我认为我应该使用另一个版本的geoserver-accumulo，但我找不到参考来确定要安装哪个版本。从这个代码片段中，我得到了以下错误。

浏览 9提问于2022-09-23得票数 0

1回答

有没有什么方法可以方便地在Geomesa中使用GeoJSON？

gis、geomesa

我不想构建一个Geomesa Datastore，我只想使用Geomesa Spark Core/SQL模块在spark上做一些空间分析处理。我的数据源是hdfs上的一些GeoJson文件。import org.geotools.data.Query "geomesa

浏览 4提问于2020-05-21得票数 0

1回答

如何在Apache Spark中将Scala UDF转换为Java版本？

java、scala、apache-spark、user-defined-functions、spark-dataframe

我在scala中编写了apache spark udf，如下所示：我想用java编写这个udf，如下所示： UserDefinedFuncti

浏览 4提问于2016-02-03得票数 1

1回答

如何使用(GeoMesa和spark)或(GeoMesa和mongoDB存储)显示地理空间数据

mongodb、apache-spark、geoserver、geomesa

我想知道使用GeoMesa显示geojson mongo LineString的最佳方法是什么，我发现GeoMesa可以从cassandra数据库中读取数据，但我的例子是数据存储在mongoDb中。因此，我看到GeoMesa可以与apache集成，而我已经在使用apache来导入这些数据。我的问题是，是否有人尝试或知道如何火花数据集的地理数据可以作为输入地a？

浏览 0提问于2018-04-09得票数 1

回答已采纳

1回答

为什么在使用返回类型为Option[Long]的对象的UDF时会出现类型不匹配错误？

scala、apache-spark、user-defined-functions、option

我正在尝试用Scala编写一个处理空值的用户定义函数(UDF)。对于我的示例，如果值不为null，我将尝试返回列的纪元。我发现Option[]用于从自定义函数返回空值。下面是我的UDF： def to_epoch(date: Timestamp) : Option[Long] = { Option.empty} val toEpoch: (Timestamp => Option[Long]) => UserDefinedFunction =

浏览 15提问于2020-09-07得票数 1

1回答

加快geomesa查询速度

scala、apache-spark、postgis、jts、geomesa

我一直在用简单的空间查询测试geomesa，并将其与Postgis进行比较。i, i*2) as geom from seriesselect st_distance(a.geom, b.geom) from points as a, points as bimport org.apache.spark.sql.SparkSession import org.locationtech.geomesa.spark.j

浏览 172提问于2019-12-01得票数 0

回答已采纳

2回答

数据库-创建永久用户定义函数(UDF)

apache-spark、databricks

我可以创建一个UDF函数，并使用spark.UDF方法注册到spark。但是，这仅适用于每个会话。如何在集群启动时自动注册python UDF函数？这些功能应该对所有用户都可用。

浏览 14提问于2019-02-16得票数 1

回答已采纳

1回答

如何使用Spark* SQL Java API注册不带参数的函数*

apache-spark-sql、user-defined-functions

可以使用Scala注册函数：现在，如果我使用Java API：spark.udf().register("uuid", ()=>java.util.UUID.randomUUID().toString()); 代码不能编译。

浏览 0提问于2018-03-07得票数 0

1回答

Spark UDF不适用于双精度字段中的空值

scala、apache-spark、apache-spark-dataset

我正在尝试编写一个spark UDF，它将双精度字段的空值替换为0.0。我正在使用Dataset API。下面是UDF：这是基于下面的函数，我测试该函数运行良好： def cz(value: Double): Double = if(Option(value).isDefined) value e

浏览 7提问于2017-07-25得票数 4

回答已采纳

1回答

用蜂箱和火花呢

apache-spark、pyspark、hive、hive-udf

问题在于如何在py火花代码中使用hive jar。我们正在遵循以下一组标准步骤spark.sql("create temporary function public_upper_case_udfas 'com.hive.udf.PrivateUpperCase' using JAR 'gs://hivebqjarbucket/UpperCa

浏览 25提问于2022-05-25得票数 0

1回答

如何高效、动态地从Python中注册Spark UDF

apache-spark、pyspark、apache-spark-sql、pyspark-sql

我需要实现一个动态的“自带代码”函数，用于注册从我自己的代码之外创建的UDF。这是容器化的，入口点是一个标准的python解释器(而不是pypsark)。基于启动时的配置设置，spark容器将使用如下所示进行自我初始化。我们事先不知道函数定义，但如果需要，我们可以在容器上预安装依赖项。zip_or_py_path) function_ref = module_ref[function_name] spark<

浏览 1提问于2020-01-30得票数 1

点击加载更多