如何将spark贴图与.net一起用于spark？nums.map(lambda x: x*x).collect); 在规模上： val input=sc.parallelize([1,2,3,4])
val res=input.map(x=>x*x) 但是.net数据帧没有名为map的函数 此文档(https://docs.microsoft.com/en-us/dotnet/
浏览 4提问于2020-07-06得票数 0
回答已采纳
1回答
例如，是我的代码: .config('spark.cassandra.connection.host', 'xx.xx.xx.xx') \ .config("spark.
浏览 3提问于2020-07-02得票数 0
我想将Spark Streaming与独立的Solr集成在一起。我在没有Zookeeper配置的windows上使用Spark 1.6.1和Solr 5.2 standalone。我能够找到一些解决方案，通过传递Zookeeper配置，他们可以从spark连接到Solr。如何将我的spark程序连接到独立的Solr？
浏览 3提问于2017-01-02得票数 0
3回答
我对使用Pig加载HCatalog感到很舒服，并且想知道是否有可能使用Spark来代替Pig。不幸的是，我对Spark还很陌生。
你能提供一些关于如何开始的材料吗？有没有什么Spark库可以使用？
浏览 0提问于2014-08-14得票数 3
有没有可能为Apache spark设置访问控制，这样我们就可以控制哪些用户可以通过spark-submit提交作业。
浏览 2提问于2016-04-29得票数 0
有没有人知道如何将信息从azure databricks delta湖泊表传递到Sql Server中的表？
浏览 48提问于2022-11-28得票数 0
回答已采纳
我需要为spark应用程序中的每个spark executor分配一个唯一的整数id。我需要从在executor上运行的任务中检索executor id。执行器id将与其它数据元素(时间戳、mac地址等)一起用于生成唯一的64位密钥。如何将唯一的整数键分配给Apache Spark Java应用程序中的每个Apache Spark Executor？
浏览 27提问于2018-01-18得票数 0
回答已采纳
1回答
我有一个脚本与下面的设置。我正在使用：从spark --> Pandas的转换很简单，但我正在为如何将Pandas数据帧转换回Spark而苦苦挣扎。appname)\ .config("hive.metastore.uris", "th
浏览 1提问于2018-10-23得票数 15
回答已采纳
提供了Spark2.4.5预构建并与Hadoop2.6或Hadoop2.7捆绑在一起。另一种选择是在用户提供的Hadoop中使用Spark，所以我尝试了这个方法。由于与用户提供的Hadoop一起使用，Spark也不包括Hive库。:106)$ cp .../.ivy2/jars/org.apache.avro_
浏览 1提问于2020-03-02得票数 6
我在pip中安装了pyflem2.2.0，但是我没有看到一个名为spark-env.sh的文件，也没有看到conf目录。我想在这个文件中定义像SPARK_WORKER_CORES这样的变量。
浏览 2提问于2017-10-22得票数 1
回答已采纳
我在Pyspark里有两个数据帧。一个有1000多行，而另一个只有4行。列也不匹配。 超过1000行的df1： +----+--------+--------------+-------------++----+--------+--------------+-------------+| 2 | time 2 | value2_col2 | value2_col3 |
+----+--------+---
浏览 5提问于2020-01-25得票数 0
1回答
已试过：
profile = spark_df_profiling.ProfileReport
浏览 0提问于2019-08-07得票数 1
回答已采纳
rs.next() print(" " + rs.getObject(i)) println()我想从Spark我不能使用spark.jdbc.load，因为Teradata的FASTEXPORT不适用于jdbc。它必须与PreparedStatement一起使用
如何做到这一点？如何将用户预置语句与SELECT语句一起加
浏览 6提问于2017-08-04得票数 1
1回答
我想运行一个从spark到Snowflake的查询，方法如下:-因此，我想知道在创建sparksession本身时，我可以在哪里指定以下snowflake> "", "sfSchema" -> "public",)
尽管我知道我可
浏览 6提问于2020-03-09得票数 1
mongo-hadoop和mongo-spark连接器有什么不同，pymongo只能和mango-hadoop一起使用吗？
pymongo只与mongo-hadoop一起使用吗？
浏览 2提问于2018-07-10得票数 0
根据标准的spark2 phoenix连接，它只需要phoenix-spark2作为依赖项，所有其他依赖项都将从类路径和hbase-site.xml属性中选取。现在，cdap spark phoenix应用程序需要哪些依赖项，以及如何将hbase-site.xml与cadp应用程序一起使用以建立成功的连接。
浏览 14提问于2020-02-02得票数 0
1回答
所有文档都让我安装spark，然后将PySpark库添加到python中。我不认为我需要所有的5亿b来连接到一个现有的集群。我在试着减轻我的码头集装箱。
谢谢你的帮助。
浏览 1提问于2017-07-20得票数 1
回答已采纳
2回答
我的项目使用Scala和Spark引擎。我想知道是否有人有使用Spark/Scala的Drools的经验或建议。
如果你看了口水，并决定不这样做，我也想知道。我读过几个博客，介绍了人们如何将Drools与Spark、Drools与Scala集成在一起，但我没有找到任何很好的例子来解释Scala在Spark上的Drools。
浏览 6提问于2016-11-03得票数 2
用于将星火作业提交给kubernetes的基本图像是与火花一起出现的图像，如中所描述的。这就是我的spark-submit命令的样子： --master k8s://https://kubernetes.docker.internal:6443 \ --n
浏览 3提问于2019-09-16得票数 4
回答已采纳
2回答
/pyspark --packages org.mongodb.spark:mongo-spark-connector_2.11:2.2.0
然而，问题在于它在命令行中，在命令行中编写大量代码变得非常困难
浏览 3提问于2017-10-14得票数 0
回答已采纳
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
