1回答
我目前正在尝试通过Spark SQL将一个非常大的MySQL表的内容批量迁移到一个parquet文件中。但是当我这样做的时候，我很快就会耗尽内存，即使是在驱动程序的内存限制设置得更高的时候(我在本地模式下使用spark )。示例代码： .format("jdbc") .option("
浏览 12提问于2016-08-20得票数 7
回答已采纳
我正在尝试通过spark dataframe将批量数据插入到Databricks中的Sql server数据仓库。为此，我正在使用具有服务原则的pyodbc模块(而不是通过使用jdbc)，.I已经实现了单次插入。我找不到一种方法将批量数据插入到sql server数据warehouse.Can中，有人能帮我找到批量插入数据的方法吗？
浏览 18提问于2019-05-09得票数 0
现在我想迁移到akka-persistence-cassandra。但是，如何将现有的事件(postgres中超过4 4GB的大小)转换为cassandra？
我应该写一个手动迁移程序吗？
浏览 1提问于2016-10-14得票数 4
我使用spark-sql进行数据迁移项目。那么我应该如何在spark中实现stage area呢？何时使用spark sql缓存或持久化？有没有实时用例？
~Sha
浏览 0提问于2018-10-12得票数 0
2回答
中丢失的任务32.3 (TID 50) (10.100.1.48执行器8)：org.apache.spark.SparkUpgradeException:由于Spark3.0的升级，您可能会得到不同的结果您可以将spark.sql.legacy.parquet.int96RebaseModeInRead设置为“旧式”，以重新设置日期时间值w.r.t。阅读期间的日历差异。或者将spark.sql.legacy.parquet.int96RebaseModeInRead设置为“更正”以读取日
浏览 11提问于2022-09-19得票数 1
我试图读取卡夫卡的数据，并将其上传到格林梅利的数据库使用火花。我使用的是格林梅-火花连接器，但我正在获取数据源，io.pivotal.greenplum.spark.GreenplumRelationProvider不支持流写入。是否格林梅源不支持流媒体数据？我曾尝试将数据源命名为“绿梅”，并将"io.pivotal.greenplum.spark.GreenplumRelationProvider“转换为.format(”数据源“)
val
浏览 0提问于2019-04-04得票数 0
回答已采纳
我需要在我们的服务器上部署大数据集群。但我只知道关于Apache Spark的知识。现在我需要知道Spark SQL是否能完全取代Apache Impala或Apache Hive。
我需要你的帮助。
浏览 3提问于2016-10-25得票数 7
我需要一个可伸缩的数据库解决方案，它可以扩展到多个工作节点，并且我遇到了Apache，它看起来非常强大的弹性。我可以用它作为Mysql的替代品吗？我(目前)能找到更新和行的方法.这几乎就像是一旦有了数据就可以查询数据，但不适合插入数据。如果它不能用作数据库.这是否意味着星火只是用于分析？如果需要实时信息，是否应该使用数据库存储数据，然后再将数据集加载到spark中？
浏览 4提问于2020-02-07得票数 1
回答已采纳
1回答
我正在尝试将数据从spark推送到phoenix。数据的大小超过100万。spark作业在10万条记录的情况下运行良好，但当记录数超过100万条时就会卡住。我正在从hive加载数据 val hive_data = spark.sql(query) 把它推向凤凰城 hive_data.write.format("org.apache.phoenix.sparkoptions(collection.immutable.Map(
浏览 26提问于2021-06-26得票数 0
1回答
我得到了一项将数据从DB2迁移到SQL Server的工作。能够通过命令提示符连接DB2数据库和IBM DB2客户端。我们已经在C#中使用ASP.NET SQL批量复制将Oracle数据迁移到SQL server。需要根据每日更新定期迁移DB2数据。需要有关如何在任何编辑器中运行sql查询的详细信息，如SQL plus for DB2或Manag
浏览 5提问于2017-02-16得票数 0
我在PySpark中使用下面的JDBC URL将data frame写成Azure SQL Database。但是，我觉得这个写操作的性能并没有达到标准，可以通过设置一些额外的属性来提高。server.database.windows.net:1433;databaseName=test;enablePrepareOnFirstPreparedStatementCall=false"
下面是实际的数据帧写入语句
浏览 2提问于2020-01-13得票数 0
1回答
我有一个非常大的HIVE查询，它将被迁移到spark。Dataset<Row> sqlDF = spark.sql("select c.name from order o join customer c on o.orderID=c.orderIDwhere o.productPrice > 100");Dataset<Row> order = spark.<
浏览 0提问于2018-12-24得票数 3
回答已采纳
3回答
我学习了如何使用spark-cosmosdb连接器使用来自CosmosDB的数据创建DataFrame，所以现在我想用DataFrame做一些事情。一切都很好，直到我对小的数据集合进行操作(或者我在读取配置中添加了额外的custom_query以缩小数据范围)。在调用如此繁重的函数时，有没有办法减少进入数据库的请求量？或者是另一种在hive中物化数据的方法，这样我以后就可以处理它，而不需要一次又一次地通过connector？这个限制看起来真的很让人头疼
浏览 2提问于2018-04-07得票数 0
2回答
Spark能否取代ETL工具
、、、、
现有的流程原始结构数据被复制到Redshift的登台层。然后使用Informatica、Telend等ETL工具对数据仓库/数据仓库的事实表和维度表进行增量加载。所有的连接都发生在数据库层( ETL将查询推到数据库中)- Spark可以取代ETL工具并进行相同的处理并将数据加载到Redshift中吗？-这种架构的优点和缺点是什么？
浏览 1提问于2016-11-26得票数 10
我尝试将测试用例从TFS2010迁移到2013版本。
那么，我可以从TFS2010获得WorkItem，但不知道如何将其设置为2013？
浏览 7提问于2014-04-22得票数 0
1回答
使用代码优先迁移进行批量插入
、、、、
我们有很多数据需要加载到多个表中。据我所知，我们有两种选择：
什么是最好的解决方案，如果是2，我如何使用第一次代码迁移进行批量插入，以及如何解决这些问题？
浏览 1提问于2015-06-10得票数 0
4回答
我是Spark世界的新手。我目前正在迁移我的应用程序的摄取代码，其中包括在HDFS中摄取数据，在HDFS中使用原始数据和应用层，并执行CDC(变更数据捕获)，这是目前在Hive查询中编写的，并通过Oozie执行。这需要迁移到Spark应用程序(当前版本1.6)中。代码的另一部分稍后将迁移。在spark中，我可以直接从Hive中的表创建数据格式，只需按原样执行查询(如sqlContext.sq
浏览 1提问于2017-08-01得票数 43
回答已采纳
1回答
目前，我们在事务数据库(Oracle)中有数据，并且正在通过查询获取数据以形成报告。例如，获取公司A下的所有人员以及他们的详细信息，并从更多的表中查找值。我的问题是，如果我不想坚持使用oracle，那么从设计和技术上来说，有什么更好的报告解决方案可以更快地获得结果，因为未来的数据将会增长。从逻辑上讲，它将实现一些并行工作的东西。像Spark这样的另一种选择似乎有点过头了。
浏览 1提问于2018-06-18得票数 0
3回答
如何在spark中读取orc事务单元表？('transactional'='true');hive> insert into default.hello values(10,'abc');>spark.<
浏览 0提问于2018-05-09得票数 4
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
