Mxnet Scala Package 学习笔记 一

前言

从刚开始接触Mxnet这个框架到现在已经大概两年了。MXNet最吸引我的地方就是它提供了

很多语言的接口,其中有Scala(my favorite),这是我从Caffe转过来的原因之一。

MXNet是我第一个参与的开源项目,可以说这两年来来通过对源码的贡献我学到了很多东西。

本文的其中目的在于介绍一下如何用 MXNet Scala 包来开发自己的 deep learning 的应用,

有哪些坑需要注意的,最后就是安利一下MXNet 这个框架了。

正文

Eclipse配置MXNet scala的开发环境

这里我是直接用ScalaIDE来开发。下面介绍如何配置开发环境,过程很简单,就是有些小细

节需要注意。

编译Mxnet Scala 包

首先要做的就是要编译出MXNet的jar包了,环境配置具体可以看官方网站上的流程,这里就

不重复了,https://mxnet.readthedocs.io/en/latest/how_to/build.html,在 Ubuntu的配置

按照流程来的话一般没什么问题,CentOs的话就有点麻烦,但还是可以的。

我的环境是 atlas + cuda 8.0 + opencv 3.0。然后修改一下make/config.mk,make -j4 就

行了,编译完Mxnet之后就开始编译Scala 包了。

首先要安装 JDK8,http://tecadmin.net/install-oracle-java-8-jdk-8-ubuntu-via-ppa/

然后下载maven,https://maven.apache.org/download.cgi,目前版本是 3.3.9。

下载解压完成之后,在.bashrc文件中加入以下两句,然后 source ~/.bashrc:

export M2_HOME=~/apache-maven-3.3.9 export PATH=$M2_HOME/bin:$PATH

假设maven目录在home目录下。然后只要能够找到mvn这个可执行文件就行了。

然后在 Mxnet 目录下执行,make scalapkg 即可,然后可以泡杯茶等了,第一次编译scala

包的话,会下载很多的jar文件,都放在 ~/.m2/repository/目录下。之后再编译的话就很快了。

编译完成之后,在 scala-package/assembly 目录下,如果你是在config.mk中设置了GPU支

持的话,那么编译好的jar包就在 linux-x86_64-gpu/target目录下。

配置ScalaIDE

这里我们先新建一个Scala Project,MxnetTest 。

然后删除Scala library,接着导入 Mxnet scala jar 包。直接 Add External JARs,

导入 assembly目录下的

mxnet-full_2.11-linux-x86_64-gpu-1.2.0-SNAPSHOT.jar

跑个Scala的例子 --- NeuralStyle

首先把scala-package/examples/src/main/scala/org/apache/mxnetexamples/neuralstyle

下的两个Scala文件复制到 工程src目录下,然后稍微修改一下,把文件的第一行package

去掉。然后就是导入所有依赖包,直接暴力把 scala-package/examples/target/classes/lib

目录下的所有Jar包导入即可。

还有把 scala-package/examples/src/main/resources/log4j.properties文件拷贝到工程

bin目录下。

然后编译一下应该就可以准备运行了。如果想看看命令行怎么运行的话可以看看

scala-package/examples/scripts 目录下的 run_neuralstyle.sh 脚本。

运行所需的图片和模型可以 example/neural-style/download.sh 这个脚本来下载。

右键NeuralStyle -> Run As -> Run Configurations,在Arguments 那一栏做如下设置:

然后 run 即可。跑到后面大概要占 2G左右的显存。如果显存不够的话,可以把

--max-long-edge 这个参数设置为小一些。

大概运行600次迭代之后就能得到最终的结果了,和Python的例子给出的结果有点差距,效

果还能看,之前其实也是根据Python的例子改写成 Scala版本的,当时大概用了一周时间吧,

写好代码之后还要调下参数等等。

用MXNet实现矩阵分解(Matrix Factorization With MXNet)

用MXNet Scala 包实现一下矩阵分解,就是推荐系统常用到的矩阵分解,主要是参考这位大

神的博客,http://www.jianshu.com/p/ebf7bf53ed3e

还有http://katbailey.github.io/post/matrix-factorization-with-tensorflow/

用到的数据集的下载地址:http://grouplens.org/datasets/movielens/100k/

/**
 * Take sum of the src in the given axis
 *
 * Parameters
 * ----------
 * data : Symbol. Input data to sum.
 * axis : int, default=-1, means to reduce all the dimensions.
 */
def sumAxis(name: String = null, attr: Map[String, String] = null): SymbolCreateNamedFunc = {
  createFromNamedSymbolsNoCheck("sum_axis", name, attr)
}

下面是完整的实现代码:

https://github.com/Ldpe2G/DeepLearning/tree/master/Mxnet-Scala/MatrixFactorization

这里实现上和上面那篇博客有些不一样的地方,最终的结果,以RMSE这个指标来衡量的话,

可以达到 0.95x左右,比博客提到的0.8x差一点。这里如果不想改代码直接跑的话,可以把下

载的ml-100k.zip这个数据集放到project目录下的datas目录里解压。

其实通过跟着实现一遍代码,我学会了如何利用深度学习框架来做矩阵分解了,感觉真的很

神奇。

最后希望这篇博客能够对想了解 Mxnet Scala Package 开发的读者提供一些帮助。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏北京马哥教育

Python 爬虫实战:股票数据定向爬虫

功能简介 目标: 获取上交所和深交所所有股票的名称和交易信息。 输出: 保存到文件中。 技术路线: requests—bs4–re 语言:python3.5 ...

40311
来自专栏灯塔大数据

技术 | Python从零开始系列连载(十四)

导读为了解答大家初学Python时遇到各种常见问题,小灯塔特地整理了一系列从零开始的入门到熟练的系列连载,每周五准时推出,欢迎大家学积极学习转载~

1122
来自专栏Python数据科学

要成为一个专业的爬虫大佬,你还需要了解这些

本文内容参考Github:https://github.com/lorien/awesome-web-scraping/blob/master/python.m...

3891
来自专栏FreeBuf

破译优利德旗舰万用表UT181A通讯协议

UT181A是优利德门下旗舰级手持数字万用表,主打数据记录(Data Logging)功能,支持USB联机通讯。基本评测可以看我以前发的文章。前文说到,其官方或...

4228
来自专栏SDNLAB

SDN实战团分享(二十九):Microflow性能调优分享

Hello大家好,很高兴可以在这里和大家分享一下我的个人开源项目Microflow的相关工作。 我是BII天地互连的工程师,在公司里负责SDN产品和技术的开发,...

3677
来自专栏Timhbw博客

iOS面试中被面试官问到的问题答案(一)

2016-03-1016:30:14 发表评论 1,091℃热度 1.请你谈谈static和宏定义的区别。什么时候用static什么时候用宏定义。 让你声...

7248
来自专栏hotqin888的专栏

HydroCMS规范、图集查询系统设计

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/hotqin888/article/det...

1652
来自专栏技术博文

php性能监测模块XHProf

一,什么是XHProf XHProf是一个分层PHP性能分析工具。它报告函数级别的请求次数和各种指标,包括阻塞时间,CPU时间和内存使用情况。一个函数的开销,可...

3996
来自专栏python3

python-爬虫实战

想看看最近的电影院播放的今日影视,就以这个网址https://movie.douban.com/people/1166776/为例,先使用urllib.requ...

752
来自专栏腾讯Bugly的专栏

Redex 初探与 Interdex:Andorid 冷启动优化

导语 早在去年10月份,facebook就发布了介绍redex的文章,这个据说可以直接对apk做处理,既提高启动性能,又可减少安装包的利器让安卓开发者们都心动不...

6476

扫码关注云+社区

领取腾讯云代金券