我还在机器A、B、C上运行了Spark和Cassandra (使用DataStax的3节点集群，在分析模式下运行)。我尝试在集群上运行Scala程序，它们运行得很好。我需要在我的笔记本电脑上创建代码并使用IntelliJ运行。我如何连接和运行。我知道我在代码中犯了错误。我用的是泛泛的词语。我需要帮助编写特定的代码吗？示例: Localhost不正确。import org.apache.spark.}
def main(args: Array[String]
浏览 1提问于2017-06-24得票数 0
想要将cassandra添加到spark streaming "org.apache.spark" %% "spark-streaming"% sparkVersion, "com.datastax.cassandra&quo
浏览 2提问于2015-11-07得票数 2
3回答
我通过Spark 1.5.0使用PySpark。我在DateTime值的列中有一种不同寻常的字符串格式。最终可能会出现这样的情况： df = df.withColumn("date_time",df.datetime.astype('Timestamp')) 我曾认为Spark SQL函数类似于 可以工作，但我当然需要替换 使用 在日期的一半和 使用 在时间部分。我在想我可以把这一列一分为二，使用 从时间的尽头开
浏览 93提问于2016-08-23得票数 35
回答已采纳
2回答
我是一个初学者；我要用spark/pyspark连接bigquery读取数据，但是卡在了身份认证这道关卡；我有身份认证文件：ios-app.json文件，格式是：{ "client_x509_cert_url": *******************请问我该如何写身份认证的spark
浏览 119提问于2023-09-13
我有这样一个类，Foo，它的函数使用我在其构造函数中初始化的数据帧。我想在我的测试类FooTest中测试它的功能。self.a = get_spark_dataframe(x, y.some_db, "table_a")
self.b = get_spark_dataframe(x, y.some_db函数，并用我自己的函数替换它，因为我只对用我在测试类中定义的假数据帧替换类中的数据帧感兴趣。&#x
浏览 0提问于2019-02-25得票数 1
我正在阅读一个csv，将它转换为一个Spark，然后进行一些聚合。原始的csv缺少数据，当通过Pandas读取时，数据表示为NaN。转换为PySpark后，NaN值将保持不变，而不会被null替换。= spark.createDataFrame(data=df,schema=spark_schema).cache()
spark_df|Gold |NaN |
|Platinum |NaN
浏览 7提问于2021-08-18得票数 1
回答已采纳
2回答
",我安装了Cassandra 3.2 (编辑:现在使用2.1.12)，我相信然而，当我尝试使用火花连接时，我总是得到：
java.io.IOException: Failed to open native connection to Cassandra at {127.0.0.1我还尝试将本地主机IP地址<
浏览 5提问于2016-03-19得票数 0
回答已采纳
使用，我可以通过"_id“附加使用默认的上行逻辑，这意味着如果Spark和Mongo文档中的"_id”匹配，那么Mongo连接器将不会创建新文档，而是更新旧文档。df.mode("append") "val
浏览 0提问于2018-05-30得票数 1
回答已采纳
1回答
我使用Databricks来连接一些表，这些表被存储为ADLS中的parquet文件。我正在导入文件，将数据存储为临时视图，然后构建spark.sql('')中联接的语法。在Join中，我必须复制同事开发的一些SQL代码，这些代码以这种方式使用this函数：ISNULL(titledict.Category_Level_1, urldict.Category_Level_1)基本上给出了替换值，这是我不能用SparkSQL中的ISNULL函数完成的。
浏览 1提问于2021-09-23得票数 0
回答已采纳
1回答
我需要使用sql查询的get变量：但是，当我试图在请求中替换一个变量时，我会得到错误：“只能将str (而不是dataframe)连接到str”
浏览 4提问于2022-06-28得票数 0
")def replaceUsingRegEx(dataset: DataFrame, ColumnToBeTransformed: String, searchString: Stringi)" + searchString, ""))它实际上是将值play替换为空，如下所示。只有
浏览 2提问于2018-07-02得票数 1
回答已采纳
在我们的一个Pyspark作业中，我们有一个场景，我们在一个大的数据帧和相对较小的数据帧之间进行连接，我相信spark正在使用广播连接，我们遇到了以下错误 org.apache.spark.SparkException(SQLExecution.scala:98)
at org.apache.spark.sql.execution.exchange.BroadcastExchangeExec$$anonfun'：'-1‘设置为spark su
浏览 752提问于2020-04-22得票数 0
Apache Spark Na函数有fill和replace。fill函数处理null值。但是我也可以使用replace函数来替换空值。哪一个更好?为什么？
浏览 27提问于2017-08-11得票数 1
1回答
这个软件包没有与Spark集群交互的替代实现；但是，它确实有一个可选的参数来接受使用并行软件包创建的集群。我的问题是，我是否可以使用SparklyR之类的东西连接到spark集群，然后将该spark集群作为makeCluster命令的一部分传递到我的函数中？我已经成功地让集群与并行一起工作，但我不知道如何或是否可能利用spark集群。my_cluster <- makeCluster(3)pc_structure <- pc.st
浏览 27提问于2019-03-23得票数 1
17回答
如何在Apache Spark DataFrame中连接两列？Spark SQL中有没有我们可以使用的函数？
浏览 7提问于2015-07-16得票数 159
1回答
考虑shell命令，如下所示 PYSPARK_PYTHON=/usr/bin/python spark2-submit --driver-memory 40g --executor-memory 20g--conf spark.sql.broadcastTimeout=7200 myfile.py param1 param2 我想通过管道将my_file.py作为上一个命令的结果。我试过了 previous_command_that_returns_myfile.py | PYSPARK_PYTHON=/usr
浏览 14提问于2019-09-10得票数 0
在下面的代码中，我使用SQL Server用户id和密码连接到我的数据库。 但我在连接active directory时出现错误。请建议一些解决方案，以便使用Active Directory身份验证在Azure数据库中连接Azure SQL Server DB。到目前为止，我可以使用JDBC连接进行连接： sql_url="jdbc:sqlserver://kkk-server.database.windows.net:1
浏览 22提问于2019-06-24得票数 1
回答已采纳
我们已经设置了分布式spark集群(版本1.5.0)，并尝试运行spark-perf。但是我们得到了这个错误，并且不知道如何修复它。$ClientEndpoint.org$apache$spark$deploy$client$AppClient$ClientEndpoint$$registerWithMaster(AppClient.scala:121)
at org.apache.spark.deploy.client.AppClient$ClientEndpoint$$anon$2$$anonfun$r
浏览 3提问于2015-10-05得票数 6
1回答
我正在寻找解决方案，在星火中使用数组中的公共元素对数据进行分组。v2 G1[k4] v4 G2
Spark
浏览 5提问于2017-05-11得票数 11
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
