Apache Spark或SQL server解决方案是否适用于内存受限的本地数据操作？
Apache Spark或SQL server解决方案是否适用于内存受限的本地数据操作？
提问于 2017-03-17 04:55:20
我在工作时被分配了一个8 8GB内存的桌面，我不能修改它。我的工作涉及对一组~1 1GB、~8M行表的数据操作。
如果我可以合并所有的文件，我需要做的某些分析将非常容易实现，但这意味着R，这是我目前使用的工具，将无法加载合并后的文件。
我四处打听，被告知使用Apache Spark或设置本地SQL服务器就可以解决这个问题，并让我忽略数据处理步骤的内存限制(预期的输出总是由少数总计数组成)。在安装任何东西之前，我只想确认它们是否真的能像这样工作。
(作为一个额外的问题，我想知道像SPSS这样的软件如何顺利地加载和处理大型数据集，以及为什么R不能实现类似的方法)
回答 1
Stack Overflow用户
回答已采纳
发布于 2017-03-17 05:10:19
Spark和SQL Server完全可以处理比RAM容量更大的数据。
安装这些工具应该不是什么大问题。卸载本地Spark安装只是删除一个简单的目录。
Spark旨在用于计算机群集，但您可以在本地工作站上使用它。
Spark还将以大多数平面文件格式直接读/写数据。对于SQL Server，您必须将其加载到SQL Server表中。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/42844598
复制相关文章
相似问题
腾讯云开发者
