腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何在Apache中建立一对多的关系?
database-design
、
one-to-many
、
apache-kudu
总之,Apache Kudu没有: 我如何建立这种关系的模型?
浏览 0
提问于2019-03-06
得票数 0
回答已采纳
1
回答
是否可以使用
spark
的jdbc驱动程序将apache
spark
与jasper集成?
hadoop
、
jasper-reports
、
apache-spark
、
spark-streaming
我们想使用apache
spark
进行实时
分析
吗?我们目前使用hive/MR进行
数据
处理,使用mysqlsql存储聚合结果,并使用jasper报告进行
分析
?这种方法并不理想,因为
mysql
存在可伸缩性问题。我们正在探索在hdfs或cassandra上运行apache
spark
的过程中,唯一的问题是
spark
是否有办法与jasper服务器集成?如果不是,还有什么UI选项可以与
spark
一起使用?
浏览 1
提问于2015-02-21
得票数 2
1
回答
在不同
数据
库上使用SparkSQL处理查询
apache-spark
、
apache-spark-sql
我希望将
Spark
(安装在机器1上)与连接器一起用于不同的
数据
存储,如HBase、Hive、Cassandra和
MySQL
(安装在机器2上以执行Min/Max、averaging等简单的
分析
)。我的问题是:这些查询是在Machine1或
Spark
上处理的,只是作为一个接口来执行不同的
分析
,而是在
数据
存储端(即。机器2)?
浏览 1
提问于2021-08-25
得票数 1
回答已采纳
1
回答
如何在过滤前将
数据
从
数据
库
加载
到
Spark
apache-spark
、
pyspark
我正在尝试运行这样一个PySpark应用程序: dataframe_
mysql
=
spark
.read.format('jdbc').options( url="jdbc:
mysql
://= dataframe_
mysql
.filter("da
浏览 3
提问于2022-08-12
得票数 0
回答已采纳
1
回答
在查询优化和总体效率方面,
MySQL
是否比Apache
spark
更高效
apache-spark
、
apache-spark-sql
我发现在
spark
数据
帧上进行相同的查询和相同的表查询时,Apache
spark
要比
MySQL
服务器慢得多。使用独立的pyspark笔记本电脑,配备至强16核和64 on内存,位于同一服务器
MySql
上 一般来说,我想知道在目标
数据
大小方面何时使用
SPARK
与SQL server的指导原则,以便从
分析
查询中获得真正快速的结果。
浏览 0
提问于2016-06-19
得票数 0
1
回答
表或视图未被插入到
mysql
中,而该表或视图存在于Pyspark中。
python
、
mysql
、
apache-spark
、
pyspark
我试图使用Pyspark连接插入到现有的
Mysql
表中,但是我得到了以下错误 File "/usr/hdp/current/
spark
2-client/python/pyspark/sql/context.py", line 384, in sql
浏览 0
提问于2020-07-17
得票数 0
回答已采纳
1
回答
将在SparkCLR中创建的DataFrames与zeppelin查询结合使用
apache-spark
、
apache-spark-sql
、
mobius
我是Java和
Spark
的新手,我发现了一个令人印象深刻的库,它为
Spark
提供了,它允许我们使用C#与SparkSQL一起工作。我在一个具有ODBC和OPC接口的自定义
数据
存储中有一些大量的过程
数据
。我们希望将此
数据
公开给Apache
Spark
,以便我们可以使用Apache Zeppelin等工具对此
数据
运行
分析
查询 因为我的自定义存储上没有jdbc接口,所以我正在考虑创建c#代码,以便使用可用的ODBC接口从自定义
数据
存储中提取
浏览 5
提问于2016-01-05
得票数 2
2
回答
使用python或hadoop进行
数据
分析
?
anaconda
、
data-science
、
data-analysis
哪种技术可以有效地
分析
数据
hadoop或python?速度介于上述两者之间的是哪种技术?
浏览 61
提问于2018-07-30
得票数 -1
回答已采纳
1
回答
电力BI服务无网关接入
mysql
powerbi
我想将
数据
发布到power bi服务。在与桌面版进行power bi连接时,在发布到服务时,需要打开网关刷新
数据
。因为我没有本地源,所以我使用的
数据
只有远程
MySQL
。那么为什么我在使用外部
数据
源的同时还需要网关来刷新
数据
呢?然后,我的外部来源的凭证需要什么。 有没有办法消除这种网关需求,让它不需要它(通过专线)?
浏览 16
提问于2018-08-08
得票数 2
1
回答
如何从Apache
Spark
on Analytics Engine读取和写入配置单元表
ibm-cloud
、
watson-studio
、
analytics-engine
我想在Watson Studio中的Jupyter笔记本上使用
Spark
on analytics engine,以便能够读取和写入Hive表,但我不清楚如何通过读取
Spark
来做到这一点。不清楚的原因是IBM Analytics Engine预配置了
Spark
,并且不提供root访问权限。
浏览 27
提问于2018-06-02
得票数 0
回答已采纳
1
回答
使用
spark
和HDFS作为文件存储系统,使用YARN作为资源管理器的优势是什么?
apache-spark
、
hadoop
、
hdfs
我正在尝试理解
spark
是否是
分析
BigData的普通MapReduce方法的替代方法。既然
spark
在使用HDFS作为
spark
的存储系统时,将对
数据
的操作保存在内存中,那么它是否利用了HDFS的分布式存储?例如,假设我在HDFS中存储了100 it的CSV文件,现在我想对其进行
分析
。如果我将其从HDFS
加载
到
spark
,它将触发将完整
数据
加载
到内存中进行转换,或者它将使用分布式环境来完成其作业,该作业是由在had
浏览 17
提问于2019-01-27
得票数 0
回答已采纳
1
回答
对CloudSql执行十亿行插入的吞吐量提高
google-cloud-sql
、
google-cloud-dataproc
即30m- 40m recs/小时 将1小时的
数据
插入CloudSql大约需要35分钟的平均时间。我能做些什么来改善这个性能,配置,
数据
库设计和/或其他我们可能会错过的东西?
数据
从项目1插入到项目2,从GCS读取拼图文件,使用DataProc集群将其转换为CloudSql可接受的格式,然后插入到CloudSql中,这是考虑到
mysql
(又称CloudSql)对大容量插入的自然限制我的目标
MySql
实例是一个52 GB、8 vCPU的CloudSql实例,具有600 GB固态硬盘存储,
浏览 1
提问于2021-03-17
得票数 1
1
回答
星星之火:将大型
MySQL
表读入DataFrame失败
mysql
、
apache-spark
我试图编写一个作业,将
数据
(每天一次)从
MySQL
表移动到存储在Amazon S3上的Parquet / ORC文件的Hive表中。目前,我们正在为此使用sqoop,但出于以下原因,我们希望迁移到
Spark
: 我们已经为组织中其他地方使用的Scala但是,如果我尝试一次获取超过1.520万条记录(
Spark
作业)(从
MySQL
读取
数据
到DataFrame),则会失败。下面我
浏览 1
提问于2018-03-07
得票数 7
1
回答
当使用Hive作为
数据
仓库时,对我的情况有什么好处?
apache-spark
、
hive
、
bigdata
目前,我正在尝试采用大
数据
来取代我目前的
数据
分析
平台。我目前的平台非常简单,我的系统从不同的上游系统获得了许多结构化的csv提要文件,然后,我们将它们
加载
为java对象(即在内存中)进行聚合。我正在寻找使用
Spark
来取代我的java对象层的聚合过程。 我知道
Spark
支持从hdfs / filesystem
加载
文件。因此,Hive作为
数据
仓库似乎不是必须的。但是,我仍然可以先将csv文件
加载
到Hive,然后使用
Sp
浏览 3
提问于2017-04-17
得票数 0
1
回答
使用
spark
创建新的
MySQL
表
mysql
、
apache-spark
、
jdbc
、
apache-spark-sql
、
spark-dataframe
我知道我们可以使用
spark
从现有的
mysql
表中读取和写入
数据
。但是,我们甚至可以创建
mysql
表并使用dataframes将
数据
插入其中吗?当我试图将文件
加载
到dataframe并试图写入不存在的表时,我面临的是空指针,exception.Following是一个错误: org.apache.
spark
.sql.execution.datasources.jdbc.JdbcRelationProvider.createRelation(JdbcRelationPr
浏览 1
提问于2018-03-12
得票数 2
1
回答
我们能用卡桑德拉代替哈多普和星火吗?
database-design
、
cassandra
、
application-design
、
hadoop
、
apache-spark
考虑到我们有一个用NodeJS编写的后端,并且使用
MySQL
和Cassandra作为
数据
库,如果我们想在系统中添加
Spark
来做一些
数据
分析
工作,比如推荐,我们是否可以使用Cassandra(我是说使用
Spark
+ Cassandra)并达到与Hadoop(
Spark
+ Hadoop)相同的结果?
浏览 0
提问于2022-11-29
得票数 2
1
回答
如何
分析
spark
应用程序以检查应用程序在每个阶段所花费的时间
apache-spark
、
apache-spark-sql
、
spark-streaming
我正在尝试对我的一个
spark
作业运行性能测试,该作业将
数据
加载
到内存中,然后对
数据
执行
spark
-sql操作,最后将结果返回给用户。我想知道作业在每个阶段需要多少时间:即
spark
作业将
数据
加载
到内存所需的时间,以及作业完成其执行所需的时间。有没有什么好的
分析
工具可以用来做这个。如果没有,我是否可以使用已有的
spark
UI/日志来获取此类信息。 或者,如果有任何其他方法来获得这些
数据
。
浏览 0
提问于2016-05-09
得票数 0
1
回答
与JDBC一起使用SparkSession.sql()
mysql
、
scala
、
apache-spark
、
jdbc
问题: .master("local") .getOrCreate() 配置:driver=com.
mysql
.jdbc.Driverpassword=xxxxxxxxxx[inf
浏览 2
提问于2018-04-20
得票数 0
回答已采纳
1
回答
存储用户
数据
并使用
Spark
/hadoop对其进行
分析
的常见做法是什么?
mongodb
、
postgresql
、
hadoop
、
apache-spark
我已经习惯了一个Web开发人员,不熟悉大
数据
。我如何用火花来
分析
它?也可以直接从任何
数据
库(postgres/mongoDB/
mysql
/.)获取
数据
。我是否应该将网站
数据
库中的全部
数据
导出到HBase中?我将所有的用户都存储在postgreSQL中,将
数据</
浏览 1
提问于2015-02-08
得票数 3
2
回答
如何从主机接入
MySQL
Docker镜像?
mysql
、
docker
我正在运行
MySQL
Docker镜像并创建
数据
库和表。使用以下命令
加载
容器:
Spark
在我的主机上运行,所以我想将
Spark
中的
数据
写入容器中运行的
数据
库中。但是连接没有成功,我得到了
浏览 1
提问于2019-12-11
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
大数据集群服务安装-mysql,hive,azkaban,sqoop,spark,python
第八篇|Spark SQL百万级数据批量读写入MySQL
MySQL中的数据分析函数
什么是 Apache Spark?大数据分析平台详解
每天读一本:Spark快速大数据分析
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券