1回答
我有两个数据集，我正在尝试合并： String machineID:Dataset2(car如果匹配将2个数据集组合为如下所示：machineID,machineCat(100),carID,carCat(100)machineID,machineCat(300
浏览 9提问于2020-05-07得票数 0
回答已采纳
1回答
我需要在两个Oracle表之间做一个连接，然后通过Spark (用Java)处理数据。这样做的最佳选择是什么？-利用本机Oracle join功能，然后通过诸如"select * from table1，table2 where 1.fk= table2.pk“之类的查询在Spark中加载单个数据集或利用Spark连接功能加载2个不同的数据集(每个Oracle表一个)，然后通过datase
浏览 0提问于2020-04-26得票数 0
回答已采纳
我正在尝试使用sparklyr分析R中的大型数据集。在尝试与spark_connect建立Spark连接时，我收到以下错误：
Error in get_java(throws = TRUE) : Java is required to connect toSpark.JAVA_HOME is set but does not point to a valid version.Please fix JAVA</
浏览 0提问于2018-10-16得票数 2
1回答
在代码的某个时刻，我有两个不同类型的数据集。我需要一个人的数据来过滤数据到另一个人。假设从这一点上没有办法改变代码，有没有办法在不从report2Ds收集所有数据并在Spark函数中使用它的情况下完成我在下面的注释中描述的事情？
浏览 14提问于2019-02-28得票数 1
回答已采纳
我正在使用spark连接我从azure存储中获取的静态数据集和从eventhub中获取的流数据集。我还没有在任何地方使用过广播连接。在连接之后，我尝试了df.explain()，它显示排序合并连接正在发生。我不确定为什么我会收到与广播Hash join相关的错误。java.lang.OutOfMemoryError: Not enough memory to build and b
浏览 132提问于2019-12-23得票数 0
在SparkSQL中可以加入mysql和Oracle数据库中的数据吗？我试图加入他们，但在SPARK_CLASSPATH中设置多个jars (用于mysql和Oracle的jdbc驱动程序)时遇到了一些问题。这是我的代码：import sys
sys.path.append("/home/
浏览 2提问于2015-12-30得票数 1
我正在使用java用spark编写一个应用程序。我遇到了一个问题，在按特定列对行进行分组之后，必须将不同行的字符串连接起来。任何帮助都将不胜感激！谢谢。输入数据集预期输出数据集
浏览 2提问于2020-08-07得票数 0
回答已采纳
我正在使用Apache Spark和Java来连接两个大型数据集。我将尝试给出一对数据集示例来说明我的问题。item_name: stringTable B|-- item_name: string所以我想在深度嵌套的字段item_name上连接这两个表一个简单的解决方案是分解表A(对其进行反规范化)，这样我为每个item_name都有一行，执行连接，
浏览 0提问于2019-07-26得票数 1
当我尝试连接来自数据库和csv文件的两个数据集时，我遇到了一个错误，错误消息如下： org.apache.spark.SparkException: Job aborted due to stage: Error while encoding: java.lang.ArrayIndexOutOfBoundsException: 1
staticinvoke(class org.apache.spark.unsafe.types.UTF8String当spark<
浏览 23提问于2019-10-11得票数 2
我正在尝试使用java spark将数据集保存到cassandra db。我能够使用以下代码成功地将数据读入数据集.option("keyspace","dbname")
.opt
浏览 2提问于2020-05-08得票数 1
回答已采纳
1回答
我正在尝试创建MapPartitionFunction的火花hbase连接。Caused by: java.io.NotSerializableException: org.apache.hadoop.conf.ConfigurationSparkConf.getOrCreate(); .create(hadoopConf);
我使用sparkSession来创建数据集，并传
浏览 6提问于2016-08-31得票数 0
我有一个管道，在其中我需要使用Python shell调用AWS Glue作业中的Snowflake存储过程。谢谢
浏览 0提问于2020-06-17得票数 1
我是大数据平台的新手。您能告诉我不同的方法:1)我们如何连接到spark for Spark sql? 2)我们如何连接到spark数据帧或数据集？对于hive，我们通过unix与beeline连接，如果我们有像teradata这样的sql工具，我们必须通过安装了hive驱动的odbc连接到hive。如何连接到spark sql和spark<em
浏览 13提问于2020-06-09得票数 0
mongo-hadoop和mongo-spark连接器有什么不同，pymongo只能和mango-hadoop一起使用吗？
pymongo只与mongo-hadoop一起使用吗？
浏览 2提问于2018-07-10得票数 0
1回答
我有两个数据集，我使用java将它们连接起来，如下所示谁能告诉我如何使用java在空间Spark中以类型安全的方式连接两个Datasets。我可以在scala中找到类型安全连接的示
浏览 3提问于2018-11-27得票数 1
1回答
将自定义SQL查询发送到Python上的SQL数据库是非常直接的。值得一提的是，我可以使用JDBC读取和写入Server数据库，但我希望发送一个自定义SQL语句，例如，希望在Server数据库中执行的"bulk insert“语句。下面是我如何使用JDBC从Server读取数据。table_name="dbo.myTable"
spark.read.jdbc(url=jdbcUrl, table=table_name, properties
浏览 3提问于2020-09-20得票数 0
我看到了使用Java访问Ignite RDD/访问Spark数据集的Ignite SQL的选项。任何人尝试使用IgniteRDD/IgniteSQL使用Scala访问Spark数据集。
浏览 0提问于2016-10-19得票数 1
在使用spark、*Spark sql join*和*spark dataframe join*从HBASE获取和操作数据时，哪个更快？
浏览 2提问于2016-06-01得票数 2
1回答
我正在尝试使用MemSQL抽取器在Spark作业中读取一个CSV文件，并使用转换器进行一些充实，并使用Java加载到MemSQL数据库。我看到了memsql火花接口jar，但没有找到任何有用的Java文档或示例。
我已经开始写提取器从CSV读，但我不知道如何进一步。
浏览 6提问于2015-12-10得票数 2
我正在执行一个内连接，其中左数据集和右数据集被同一列重新划分为同一作业中的2001个分区。我期望连接的数据集也有2001个分区，但它有200个分区，这是spark.sql.shuffle.partitions的默认值。有人能建议在什么情况下spark可以决定减少连接数据集上的分区数量吗？特里。
浏览 1提问于2018-08-21得票数 0
云服务器
对象存储
ICP备案
云点播
实时音视频
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号