首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >spark IDEA开发环境搭建及运行问题

spark IDEA开发环境搭建及运行问题

作者头像
用户3003813
发布2018-09-06 13:22:52
1.2K0
发布2018-09-06 13:22:52
举报
文章被收录于专栏:个人分享个人分享

下图是例子:

还用说么,引入相关jar包(等下再一一说明)  包括scala,spark-assembly-1.4.1-hadoop2.5.0-cdh5.2.1.jar(按照你的spark和hadoop版本),还有在spark的lib下datanucleus的jar,mysql的数据源连接,这都是必须的~

运行如果出现如下错误,说明scala版本较高,spark还不能完全支持最新的scala2.11版本,所以降低到scala-sdk-2.10.3

如下图的错误,是因为声明hivecontext时没有找到hive的metastore,所以一定要引入datanucleus的jar,将hive下的 hive-site-xml的配置文件放入项目中,引入mysql的jar包就OK(因为用了mysql为hive的metastore)

然后即将运行完成时,尼玛。。。内存溢出。。。这。。。。无解,只能调大虚拟机内存。

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2015-11-13 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档