1回答
我们目前正在使用基于Spark 2.1的应用程序，该应用程序分析和处理大量记录，以生成一些用于报告生成的统计数据。现在我们使用150个执行器，每个执行器2个核心，每个执行器10 GB用于我们的spark任务，数据大小为~3TB，以parquet格式存储。处理12个月的数据需要大约15分钟的时间。现在，为了提高性能，我们希望尝试完全基于</
浏览 12提问于2018-12-16得票数 0
回答已采纳
我是Spark Streaming和Azure Databricks的新手。我读了很多关于spark如何工作和处理数据等的文章，但是旧数据呢？如果spark在交互式数据上工作，那么我的2周或2个月前的数据Spark可以保存吗？或者假设我必须在转换后移动数据，我应该移动到哪里并清除spark内存？它将只存
浏览 2提问于2018-03-30得票数 0
我查看了R3实例类型的描述：因此，我选择了SSD存储，并认为我可以以某种方式将它用于
浏览 0提问于2017-11-25得票数 0
回答已采纳
我在消费模式下运行一个函数应用程序，并想知道在应用程序中打包的所有程序集是否都存储在HDD或SSD上？我看到了糟糕的开始时间。如果使用HDD，有没有办法升级到SSD(而不必升级到高级计划)？
浏览 2提问于2020-05-27得票数 0
回答已采纳
我正在对我的数据进行NLP (自然语言处理)处理。数据的格式可以是PDF/Text/Word/HTML类型的文件。这些文件存储在本地磁盘上的嵌套目录结构中。我的独立的基于Java的NLP解析器可以读取输入文件，从中提取文本，并对提取的文本进行NLP处理。
我正在转换我的</
浏览 1提问于2017-05-20得票数 1
1回答
Spark的官方文档说，基于SimpleConsumer的方法包括使用Spark，它不使用Zookeeper存储偏移量，而是使用Spark的元数据检查点存储偏移量。文档还说，基于直接的方法保证了精确的一次语义。
当我们使用ssc.checkpoint(“目录”)启用Spark的元数据检查点时，我们从不指定间隔。
浏览 2提问于2020-01-25得票数 0
在GCP中，我尝试使用本地SSD创建服务器(因为性能要好得多)。但是，我得到了以下错误：“引导磁盘不能是本地附加存储。”
答案肯定是："GCP不支持这一点。“但是当我搜索谷歌的时候没有点击，所以我想我至少会问这个问题，并确认这是不可能的。有人知道它是否在计划中吗？
浏览 0提问于2018-08-14得票数 1
回答已采纳
我很难用dse 4.5.3生成从spark到cassandra的数据
我有一个由8个节点组成的集群(非常强大的节点)，我想从spark中生成一些测试数据。我的工作是从cassandra表中读取500万行(它表示一天的数据)，然后将它们缓存在内存中( Mem的每个节点32 GB，所以没有问题)，最后将它们保存在另一个cassandra表中n次，以模拟更多天的数据问题
浏览 3提问于2014-11-21得票数 1
回答已采纳
最近，我读到了关于Hadoop与Spark的文章：
坚持内存中的列式数据查询。这是一个致命的特性，它允许Apache在几秒钟内运行Hadoop需要几个小时或几天的查询。内存比磁盘访问快得多，任何现代数据平台都应该进行优化，以利用这种速度。此外，柱状数据存储大大减少了用于空数据或冗余数据的内存量。有人能解释一下: 1) Apache和Spark是什
浏览 0提问于2020-09-05得票数 3
我在我的整个驱动器上都使用了LUKS加密。SSD是否使用存储未加密数据的存储区域来驱动ship，即使数据被加密保存在用户可用的SSD存储上？也许在超额供应区域内，DCO (设备配置覆盖)或HPA (主机保护区)？
浏览 0提问于2022-07-31得票数 0
我刚刚安装了ESXi 5.5u1并添加了一个数据存储。新服务器在RAID 6中使用硬件RAID有4个SSD驱动器。当我添加数据存储时，VMware说存储是非ssd的。
这是正常的吗？显然，VMware看到的是由RAID卡公开的虚拟磁盘，而不是SSD本身。应该告诉VMware这些是固态磁盘才能获得最佳性能吗？还是应该留待搜查卡处理？我最担心
浏览 0提问于2014-04-23得票数 15
回答已采纳
2回答
我有一个大的数据集，我需要转换从csv到拼板格式，使用吡火花。大约有500 is的数据散落在数千个csv文件中。我最初的实现很简单..。spark = SparkSession.builder \ .appName("test") \
df =我在一个有128个高性能CPU核和1TB内存的服务器上本地运
浏览 2提问于2021-01-28得票数 1
我需要在我们的服务器上部署大数据集群。但我只知道关于Apache Spark的知识。现在我需要知道Spark SQL是否能完全取代Apache Impala或Apache Hive。
我需要你的帮助。
浏览 3提问于2016-10-25得票数 7
1回答
我们有一个新的本地服务器，它使用sql server 2008和ssis处理数据。在这个服务器上，我有专门的驱动器来做不同的事情。C驱动器用于操作系统和软件。D驱动器用于db存储，而ssis。E驱动器是一个ssd驱动器，我们将恢复ssis使用的每个数据库。我们的想法是，我们处理分配的数据，由于ssd驱动器只有500 to (由于
浏览 0提问于2014-01-07得票数 -2
回答已采纳
1回答
我们有一个新的本地服务器，它使用sql server 2008和ssis处理数据。在这个服务器上，我有专门的驱动器来做不同的事情。C驱动器用于操作系统和软件。D驱动器用于db存储，而ssis。E驱动器是一个ssd驱动器，我们将恢复ssis使用的每个数据库。我们的想法是，我们处理分配的数据，由于ssd驱动器只有500 to (由于
浏览 3提问于2014-01-07得票数 0
回答已采纳
1回答
我有512 on的RAM，大约130 on的内存通常用于机器上运行的进程。我还有两个ramdisk (tmpfs)，它们都被配置为500 as。当tmpfs磁盘展开并收缩其所用RAM的数量时，这取决于它们的大小，通常来说，RAM磁盘的总使用量很少--可能是200 in。
我在一个快速的NVMe驱动器上进行了交换，大约1000 on。偶尔，在很短的一段时间内，RAM的使用量会激增，只
浏览 0提问于2021-06-14得票数 9
1回答
Databricks有结果缓存的概念吗？当我运行一个SQL查询时，它是在某个地方缓存结果集以便进行子秒访问，还是只有Delta湖缓存？我在文档中找不到任何东西，在这个阶段，我假设它不作为一个特性存在。
浏览 4提问于2019-10-17得票数 1
我知道MapReduce是一个在Hadoop上进行批处理的很好的框架。但是，Spark也可以用作Hadoop上的批处理框架，与MapReduce相比，它提供了可伸缩性、容错性和高性能。Cloudera，Hortonworks和MapR也开始在Hadoop上用纱线支持火花。
那么，我想知道在Hadoop上使用Spark作为批处理框架的当前挑战是什
浏览 2提问于2014-10-31得票数 5
在某些情况下，我们不希望在某些数据到达时立即处理它们，而是在一段时间后处理它们。
我的问题是:有没有办法用Spark Streaming实现蓄水池的概念?！我的意思是如何将一些DStream数据(基于条件)临时存储在一个结构(称为存储库)中，并在以后处理它们!！
浏览 3提问于2015-03-31得票数 0
1回答
在hadoop中，我们可以使用配置文件来控制cluster of nodes中数据的replication因子。谢谢
浏览 13提问于2020-02-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
