下载页面上的Spark包类型有什么区别？
下载页面上的Spark包类型有什么区别？
提问于 2015-06-02 01:18:31
spark的下载包类型有什么不同:1)为hadoop 2-6-0和更高版本预建的，2)源代码(可以构建多个hadoop版本)我可以安装为hadoop 2-6-0和更高版本预建的包，但不使用(hadoop，hdfs，hbase)
ps :我的机器上已经安装了hadoop 2.6.0。
回答 2
Stack Overflow用户
发布于 2015-06-02 07:35:42
最后一个答案只解决了Q1，所以写这篇文章。对你的Q2的回答是肯定的，你可以在没有安装hadoop组件的情况下使用spark，即使你使用Spark预建了特定的hadoop版本。Spark会在启动master/worker时抛出一堆错误，只要你看到它们启动并运行，你(和spark)就可以忽略这些错误。在应用程序方面，这从来都不是问题。
Stack Overflow用户
发布于 2015-06-02 03:12:11
不同之处在于构建它们所依据的hadoop API版本。要与Hadoop安装进行互操作，需要根据该API构建Spark。例如，org.apache.hadoop.mapred与org.apache.hadoop.mapreduce之间可怕的冲突
如果您使用的是Hadoop2.6，请获取与您的Hadoop安装相匹配的二进制版本。
您也可以从源代码构建spark。这是的源代码下载。如果要从源代码进行构建，请按照此处列出的说明进行操作：https://spark.apache.org/docs/latest/building-spark.html
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/30579405
复制相关文章
相似问题
腾讯云开发者
