腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(61)
视频
沙龙
1
回答
Spark
3.0.x
中
DataSource
应用
编程
接
口中
的
SaveMode
scala
、
apache-spark
、
datasource
我正在尝试将我
的
同事编写
的
自定义
spark
连接器迁移到
spark
3.0。API发生了巨大
的
变化(总体上是为了更好
的
IMH)。我有一个问题,那就是
SaveMode
是用来写数据帧
的
。它曾经作为WriteSupport特征
的
抽象方法createWriter
的
输入参数之一提供。然而,WriteSupport已被更改为SupportsWrite,并且等效
的
方法(如果可以这样调用的话)是newWriteBui
浏览 49
提问于2020-10-26
得票数 0
1
回答
为什么elasticsearch 5.5.0在提交给纱线集群时AbstractMethodError失败了?
apache-spark
、
elasticsearch
、
apache-spark-sql
、
apache-spark-2.2
我写了一份星火作业,主要目的是写到专家系统
中
,然后提交,问题是当我把它提交到星星团时,火花回馈。Lorg/apache/
spark
/sql/
SaveMode
;Lscala/collection/immutable/Map;Lorg/apache/
spark
/sql/Dataset;)Lorg/apache(Lorg/apache/
spark
/sql/
浏览 1
提问于2017-08-04
得票数 1
1
回答
如何在自定义
Spark
数据源
中
更新“写入
的
字节”计数?
scala
、
apache-spark
我创建了一个
Spark
数据源,它使用“旧
的
”
DataSource
V1
应用
编程
接口,以测量设备和一些软件要求
的
特定二进制格式写入数据,例如,我
的
DefaultSource扩展了CreatableRelationProvider在适当
的
createRelation方法
中
,我调用自己
的
自定义方法来写入传入
的
DataFrame
中
的
数据。我是在Hadoop
的</e
浏览 8
提问于2021-02-10
得票数 0
回答已采纳
3
回答
如何在.net核心
应用
编程
接口项目中读取appsetting.json文件
中
的
多个连接字符串
c#
、
asp.net-core
、
asp.net-core-webapi
我有多个连接字符串属性,例如:-在AppSetting.json文件
中
"connectionstring":{"connection2":"
datasource
2"; } 我想读取控制器或服务文件
中
的
连接字符串键。这在.net核心
应用
编程
接
口中
是可能
的
吗? 谢谢
浏览 64
提问于2021-05-10
得票数 0
4
回答
Delta Lake创建结构类似于其他表
的
表
apache-spark
、
databricks
、
spark-structured-streaming
、
delta-lake
现在我希望能够从这个表中流出并使用"foreachBatch“更新到一个银表( events_silver )
中
。这可以使用铜表作为源来实现。但是,在初始运行期间,由于events_silver不存在,我一直收到错误消息说增量表不存在,这是很明显
的
。那么我如何创建与events_silver具有相同结构
的
events_bronze呢?我找不到一个DDL来做同样
的
事情。def upsertToDelta(microBatchOutputDF: DataFrame, batchId: Long) { DeltaT
浏览 1
提问于2019-10-05
得票数 1
2
回答
AttributeError:“”DataFrame“”对象没有属性“”map“”
python
、
apache-spark
、
pyspark
、
spark-dataframe
、
apache-spark-mllib
我想使用以下代码将
spark
数据帧转换为要添加
的
内容:
spark
_df = sqlContext.createDataFrame(pandas_df)model = KMeans.train(rdd, 2, maxIterations=10, runs=30, initialization
浏览 1
提问于2016-09-16
得票数 44
回答已采纳
1
回答
Sagemaker
中
的
培训作业在将S3
中
的
文件定位到docker图像路径时出现错误
amazon-sagemaker
我正在尝试使用scikit_bring_your_own/container/decision_trees/train mode,在AWS CLI
中
运行,没有任何问题。在我们使用
的
CLI命令
中
,指定需要引用输入
的
docker run -v $(pwd)/test_dir:/opt/ml --rm ${image} train。在训练任务
中
,提到了模型工件
的
S3存储桶位置和输出路径。热心
的
帮助
浏览 15
提问于2019-03-02
得票数 0
1
回答
FileNotFoundException上
的
spark
streaming作业突然退出
apache-spark
、
amazon-s3
、
spark-streaming
、
amazon-emr
我正在运行一个
Spark
streaming
应用
程序,其中每个批处理都使用SqlContext将其最终输出以parquet格式写入S3。我不知道下一步该做什么。 任何关于如何调试/修复此问题
的
指导都将是有用
的
。我
的
应用
程序使用
Spark
2.2.1、E
浏览 3
提问于2018-02-22
得票数 0
1
回答
Spark
Data Source是否支持对写入
的
输入V2进行重新分区?
apache-spark
我有一个自定义
的
Spark
数据源,它是使用data source实现
的
,我正在尝试将其转换为V2 V1。在
Spark
API
中
,V1将输入DataFrame传递给CreatableRelationProvider
的
createRelation方法 https://
spark
.apache.org/docsRDD进行重新分区,以便输入分区
的
数量更适合目标数据源
的
要求。但是在V2
应用
浏览 41
提问于2021-05-08
得票数 0
2
回答
来自sqoop导入
的
序列文件
pyspark
、
sqoop
、
sequencefile
我已经使用sqoop导入了一个表,并将其保存为序列文件。我已经尝试过sc.sequenceFile(),但是我不确定要传递什么作为keyClass和value类。我试着在keyClass和valueClass上使用org.apache.hadoop.io.Text、org.apache.hadoop.io.LongWritable,但都不起作用。我正在使用pyspark来读取文件。
浏览 4
提问于2020-01-21
得票数 0
1
回答
向Hudi表
中
插入数据时观察到性能较慢
apache-spark
、
hoodie
我正在使用
Datasource
Writer API将5000条记录写入到Hudi copy-on-write表
中
,每个记录有8列,总大小小于1Mb。请参考下面的代码。option(DataSourceWriteOptions.HIVE_PARTITION_FIELDS_OPT_KEY(), partitionPath) 申请是通过
spark
-submit提交给yarn
的
浏览 88
提问于2020-05-25
得票数 1
2
回答
需要有关以每通道10分钟批对齐
的
方式存储时间序列数据
的
建议
apache-kafka
、
spark-streaming
我有Kafka格式
的
时间序列数据。模式非常简单-关键字是频道名称,值是时间戳和值
的
长/双元组(实际上它是一个自定义
的
Avro对象,但它可以归结为)。它们总是以正确
的
时间顺序出现。每个包只包含一个通道
的
数据。 我
的
想法是有两个
Spark
流媒体工作。第一个从Kafka主题获取数据,并将其转储到Cassandra数据库
中
的
表
中
,其中关键字是时间戳和频道名称,每当这样
的
RDD达到10分钟
的
浏览 1
提问于2018-07-16
得票数 0
2
回答
如何将自定义视图添加到iPhone
应用
程序
的
UI
中
?
iphone
、
xcode
、
uisplitviewcontroller
、
ipad
在我
的
UI中使用Xcode和Interface,但是现在我尝试在我
的
UISplitView
应用
程序
的
左窗
口中
添加一个自定义日历控件(TapkuLibrary),它不涉及Interface,对吗?因此,如果我有一个自定义视图(在本例
中
是TKCalendarMonthView),我如何以
编程
方式将其添加到UI
中
的
一个视图(在本例
中
是RootViewController)?下面是我
的
项目的相关代码片段..
浏览 4
提问于2010-05-12
得票数 0
回答已采纳
1
回答
星星之交在AWS上运行,但访问S3失败
apache-spark
、
amazon-emr
我编写了一个
Spark
应用
程序,该
应用
程序被编译成一个.jar文件,我可以从运行在EMR集群主节点上
的
spark
-shell --jars myApplication.jar
中
很好地使用它:我
的
应用
程序首先创建这个文件,当创建失败时,只会悄无声息地忽略它并继续继续(如果作业被执行第二部分是它将读取这个文
浏览 2
提问于2020-11-28
得票数 0
回答已采纳
3
回答
何时缓存DataFrame?
python
、
apache-spark
、
pyspark
、
apache-spark-sql
我
的
问题是,什么时候应该做dataframe.cache(),什么时候有用?注意:我
的
数据帧是从Redshift DB加载
的
。非常感谢def sub_tax_transfer_pricing_eur_aux(manager, dataframe, seq_recs, seq_reservas, df_aux
浏览 0
提问于2017-05-24
得票数 32
回答已采纳
3
回答
正在尝试修复此错误:找不到映射
的
图像UIPickerViewFrameLeft-162-Popover.png
objective-c
、
ipad
我正在尝试以
编程
方式创建一个uiPickerView并将其添加到视图中,而不使用接口构建器。我已经通过在IB
中
构建菜单并使用其ViewController初始化弹出窗口来实现这一点,因此我知道这在很大程度上是如何工作
的
。我已经在下面输入了相关
的
代码,这是我运行它时得到
的
两个错误:-“找不到映射
的
图像UIPickerViewFrameRight-162-Popover.png”-“找不到映射
的
图像UIPickerViewFrameLeft我已经搜索了一整天,但每一个关于u
浏览 1
提问于2010-11-20
得票数 3
回答已采纳
3
回答
javac是否生成静态桥方法?
java
、
jvm
、
decompiling
在java中使用桥方法来处理派生方法
中
的
协方差,并更改派生方法
的
可见性。我想不出Javac生成静态桥方法
的
情况--还有其他人可以吗?(我指的是设置了ACC_BRIDGE标志(0x40)
的
方法,而不仅仅是语义上
的
桥
接
方法) (fwiw -示例代码和反编译(使用cfr 0_124和-hidebridgemethods
浏览 7
提问于2018-01-11
得票数 7
回答已采纳
3
回答
如何在firebird sql语句中使用非ascii字符串文本?
sql
、
firebird
、
firebird2.5
因此,我使用了FlameRobin来查看它是否首先起作用:我使用了这样
的
方法:我也试过:FlameRobin抛出一个关于语法
的
错误,它实际上不理解:'العربية‘字符串。
浏览 0
提问于2019-01-17
得票数 1
回答已采纳
2
回答
如果我有50个用户,如何在
应用
程序
中
为一个用户获取一个JDBC连接
java
、
jsp
、
servlets
、
jdbc
我正在web application.suppose
中
创建一个jdbc连接,将有50个用户使用该
应用
程序。目前,我
的
应用
程序为单用户提供了超过20个连接。如何提高性能?
浏览 1
提问于2019-01-22
得票数 0
1
回答
Safari
应用
程序扩展弹出窗口不调用表视图通知方法
swift
、
nstableview
、
safari-app-extension
我想在Safari App扩展
的
弹出窗
口中
包含一个基于视图
的
NSTableView。从Xcode
中
的
默认项目开始,我将SFSafariExtensionViewController作为表视图
的
委托和数据源,因为它是弹出窗口上唯一
的
内容,而且大多数情况下都是这样。由于我必须将NSTableView
的
委托出口连接到文件所有者以允许委托方法工作,因此我也尝试连接
dataSource
出口,但这没有任何帮助。这是我第一次使用swift,我已经很
浏览 26
提问于2020-01-10
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Zzreal的大数据笔记-SparkDay04
Spark Streaming和Flink 谁是数据开发者的最爱?
Apache Spark 3.0 预览版正式发布,多项重大功能发布
深入浅出MyBatis:JDBC和MyBatis介绍
Apache Spark强势崛起
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券