我正在试着读一张spark-shell的雪花表。为了做到这一点，我做了以下工作。limit 1").load() 一旦我运行了load语句，我就会遇到下面的classnotfound异常： Caused by: java.lang.ClassNotFoundException:net.snowflake.client.jdbc.internal.fasterxml.jackson.databind.ObjectMapper 在上面的操作中，除了读取雪花
浏览 39提问于2020-07-17得票数 0
回答已采纳
我已经编写了aws glue job，我试图将雪花表作为spark数据帧读取，并尝试将spark数据帧写入snowflake表。在这两种情况下，我的工作都无法显示“操作模式的权限不足”。但是当我在雪花cli上直接写insert语句时，我能够插入数据。所以基本上我有插入权限。那么，当我尝试从dataframe中插入数据或从snowflake表中读取数据作为dataframe时，我的作业为什么会失败呢？
浏览 0提问于2019-02-09得票数 0
1回答
我有一张巨大的雪花桌。我想在桌面上做一些转换。我的雪花表有一个名为“快照”的列。我只想读取pyspark中的当前快照数据，并对过滤后的数据进行转换。那么，是否有一种方法可以应用于在中读取雪花表时对行进行过滤(我不想在内存中读取整个雪花表，因为它没有效率)，还是需要读取整个雪花表(在中)，然后应用筛选器获取以下内容的最新快照？SNOWFLAKE_S
浏览 2提问于2022-03-16得票数 0
回答已采纳
我试图读取一些拼花数据并显示前20行，这会抛出以下异常：我使用python连接器从雪花中读取数据，并以拼花格式将其存储在HDFS上：results = sf_cursor.fetch
浏览 11提问于2022-03-16得票数 0
我遇到了一些数据删除问题，因为我们已经从CDH迁移到HDP (spark 2.2到2.3)。这些表是从hdfs位置读取的，在运行读取和处理这些表的火花作业一定时间之后，它会抛出表而不是找到异常，并且当我们检查该位置时，所有记录都消失了。在读取表之前我看到的spark(Java)代码中，调用了clearCache()。它能删除那些文件吗？如果是的话，我该怎么解决呢？
浏览 7提问于2020-08-18得票数 0
我在使用objectInputStream从文件中读取数据时遇到问题。GlobalModel>) in.readObject(); }
我从ObjectOutputStream 文档中了解到，在将对象写入文件时，我有一个问题，即在将对象写入文件后更改了类名，并且当我使用上面的代码读取值时，会抛出classNotFound异常。我想知道是否有一种方法
浏览 0提问于2013-07-26得票数 0
1回答
'password'"SNOWFLAKE_SOURCE_NAME = "net.snowflake.spark.snowflake" 'SNOWFLAKE_WAREHOUSE", sf_warehouse),
'sfRole': os.environ.get("
浏览 0提问于2020-11-13得票数 1
1回答
idea运行Kettle 8.3源码，无法实例化org.pentaho.di.engine.ui.RunConfigurationLifecycleListener类，java版本是JDK8，我可以使用
浏览 137提问于2019-05-06得票数 0
1回答
星火结构化流可伸缩性和重复问题
、、、、
我正在使用Databricks集群上的Spark结构化流从Azure事件集线器中提取数据，对其进行处理，并使用ForEachBatch将其写入雪花，其中Epoch_Id/ Batch_Id传递给了foreach'] = consumergroup
spark_df = spark \ .format("eventhubs尽管在星星之火官方网站上，有人提到
浏览 5提问于2022-11-13得票数 2
2回答
并尝试使用雪花火花连接器和jdbc驱动程序访问雪花。jdbc:雪花-jdbc-3.12.4.jar火花-连接器:火花-雪花_2.11-2.7.0-火花_2.4.jarsfOptions = {spark.Job0失败: showString at NativeMethodAccessorImpl.java:0，采取了5.494100 s的回溯(最近一次调用)
浏览 4提问于2020-04-26得票数 2
1回答
数据库.从雪花到数据库的读表
、、、、
我在Databricks到雪花上看到了一些问题，但我的问题是如何将一个表从雪花到Databricks。到目前为止我所做的:创建一个集群并将集群附加到我的笔记本上(我正在使用Python)user =sfPassword": password, "sfSchema": "PUBLIC"
浏览 2提问于2021-09-29得票数 1
回答已采纳
我正在尝试读取一个巨大的csv文件到spark中，并将其加载到雪花表中。要读取csv文件，我们在pyspark中使用以下语法： file_df = spark.read.format('csv').option('header', 'true').option('inferSchemaupperBound", maxEp)
.option(&qu
浏览 25提问于2020-07-23得票数 1
1回答
我试图从AWS RDS系统读取数据，并使用火花写入雪花。我的SPARK工作与RDS建立了JDBC连接，并将数据提取到数据中；另一方面，我使用雪花连接器向雪花写入相同的数据。问题陈述:当我试图编写数据时，即使是30 GB的数据也要花很长的时间来编写。1)在编写前对数据进行重新划分。
2)缓存数据。
浏览 1提问于2018-05-02得票数 1
使用snowflake spark连接器从snowflake复制表时，默认行为是将结构化数据映射到spark字符串：https://docs.snowflake.net/manuals/user-guide/spark-connector-use.html#from-snowflake-to-spark-sql 例如，给定snowflake中的一个表： create table schema.table: pyspark
浏览 26提问于2019-05-30得票数 1
1回答
我正试图将数据数据(df)加载到雪花中。这个表是用雪花创建的，我正在尝试文档中所写的内容。: "","sfRole" : "",，(在变量中保留适当的值)我发现了一个错误：
**: java.lang.ClassNotFoun
浏览 18提问于2021-12-10得票数 1
回答已采纳
2回答
我可以用sqlContext读取电火花数据格式中的雪花表
..options(**snowflake_options) .load()
我如何在雪花中创建一个临时表(使用吡火花代
浏览 10提问于2022-04-27得票数 0
如果我想为雪花表编写一个Dataframe，那么考虑到雪花中已经不存在该表，并且在我的Dataframe中的时间戳列应该在存储时在雪花中反映为TIMESTAMP_LTZ格式。注意:我不想在雪花中将时间戳数据格式更改为TIMESTAMP_LTZ，我希望所有事情都发生在我的火花代码本身。我看到的行为是雪花表有TIMESTAMP_NTZ的数据类型
浏览 3提问于2019-12-10得票数 2
回答已采纳
我试图使用以下代码使用火花流从sqs读取消息import org.apache.spark.sql.types._
importorg.apache.spark.sql.aws-java-sdk-1.11.582.jar,/jars_aws/aws-java-sdk-s3-1.11.584.jar,/jars_aws/aws-java-sdk-sqs-1.11.584
浏览 1提问于2019-08-02得票数 2
我使用HDP3.1，我添加了Spark2，蜂窝和其他需要的服务。我关闭了蜂巢中的ACID功能。spark作业在hive中找不到表。但是表存在于Hive中。异常如下: org.apache.spark.sql.AnalysisException:表或视图未找到在Spark的conf文件夹中有hive-site.xml。它由HDP自动创建。从日志中，spark可以正确地获取hive的节约URI。我使用<
浏览 0提问于2019-04-20得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
