首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >基于Spark的机器学习实践 (三) - 实战环境搭建

基于Spark的机器学习实践 (三) - 实战环境搭建

原创
作者头像
JavaEdge
发布2019-04-09 15:44:28
5880
发布2019-04-09 15:44:28
举报
文章被收录于专栏:JavaEdgeJavaEdge

0 相关源码

1 Spark环境安装

◆ Spark 由scala语言编写,提供多种语言接口,需要JVM

◆ 官方为我们提供了Spark 编译好的版本,可以不必进行手动编译

◆ Spark安装不难,配置需要注意,并且不一定需要Hadoop环境

  • 下载
  • 解压tar zxvf spark-2.4.1-bin-hadoop2.7.tgz

2 Spark配置

◆ 在配置前尽量先阅读官方文档,避免直接从网上找配置教程

◆ 要为节点设 置好使用的内存,否则可能导致节点利用率低;

◆ 注意spark中IP与端口号的配置,以免UnknownHostException

官网配置

单机环境配置

  • 本地IP

shell进行验证

bin/spark-shell

3 Spark shell

◆ Spark shell是一个bash脚本,在./bin目录下

◆ Spark shell 为我们事先配置好了上下文(context) 和会话(session)

  • context实例
  • session实例
  • UI

4 实战Wordcount

4.1 Wordcount简介

◆ Wordcount

词频统计,是大数据分析中最为基础的一种任务

英文分词较容易,直接分割空格即可。

◆ 实现思路

首先将文件中所有的单词提取出来,然后合并相同单词

  • 实现示意图

项目搭建

  • 添加spark jar包
  • 全选jar包,先左键选中第一个,再拉到最后shift,再左键最后一个实现全选.
  • 新建类
  • 测试文件`pwd`/`ls |grep L`
  • 编写函数
  • 运行成功
  • 打包
  • 移除这些多余的jar包
  • 构建
  • 将jar包放到spark/bin目录下 使用 Spark-submit 运行

Spark机器学习实践系列

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 0 相关源码
  • 1 Spark环境安装
  • 2 Spark配置
    • 官网配置
      • 单机环境配置
        • shell进行验证
        • 3 Spark shell
        • 4 实战Wordcount
          • 4.1 Wordcount简介
            • 项目搭建
            • Spark机器学习实践系列
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档