从源码看DL4J中Native BLAS的加载,以及配置

最近在用DeepLearning4J(DL4J)尝试语音识别的深度学习,git DL4J的代码,用IntelliJ IDEA打开,配置好相关依赖后,运行包org.deeplearning4j.examples.test.Test的main,可以正常运行,但是有警告提示如下:

十一月 27, 2015 12:37:07 下午 com.github.fommil.netlib.BLAS <clinit>
WARNING: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS
十一月 27, 2015 12:37:09 下午 com.github.fommil.jni.JniLoader liberalLoad
****************************************************************
INFO: successfully loaded C:\Users\ADMINI~1\AppData\Local\Temp\jniloader6882206374132167742netlib-native_ref-win-x86_64.dll
WARNING: COULD NOT LOAD NATIVE SYSTEM BLAS
ND4J performance WILL be reduced
Please install native BLAS library such as OpenBLAS or IntelMKL
See http://nd4j.org/getstarted.html#open for further details
****************************************************************

提示无法加载com.github.fommil.netlib.NativeSystemBLAS,和无法加载native system blas,DN4J的性能会受到影响.

查了github,stackoverflow,quora等,找到了如下网页.github的是一个遇到类似问题的人抱怨native blas难以配置,害的自己在源码中才找到解决方法,而nd4j的程序员回答所有的深度学习框架中的native blas都是难配置的,我在搜索的时候也发现了MLib等库确实也会报这个警告.第二个博客是一篇讲述如何配置blas的文章.

https://github.com/deeplearning4j/nd4j/issues/456
http://avulanov.blogspot.cz/2014/09/howto-to-run-netlib-javabreeze-in.html

这篇文章中,我想说明一下几个问题:

1. native blas 是本地库,用C/C++写成,因而运算速度较快.

2. Java如果要调用C/C++的dll,一定要用JNI技术来调用对应的dll,那么dll的路径和名称分别是什么?

3. 如果找到需要的dll,假设叫a.dll,如果a.dll又依赖于b.dll和c.dll,那么把a.dll,b.dll,c.dll都放在Java识别的路径下,是不是就可以解决这个问题了.

1.dll的存放路径和名称

先看DL4J的源码,错误首先出现在如下代码中

Nd4j.getRandom().setSeed(seed);

进入Nd4j的类,加断点,单步调试,经过如下的函数调用栈后,进入NativeSystemBLAS这个类.

我们看下NativeSystemBLAS类的内容,在static静态块中找到如下用于加载dll的代码:

static {
        String jnilib = JniNamer.getJniName("netlib-native_system");
        String natives = System.getProperty("com.github.fommil.netlib.NativeSystemBLAS.natives", jnilib);
        JniLoader.load(natives.split(","));
    }

先加断点单步运行,看看jnilib的内容,运行后得到的是"netlib-native_system-win-x86_64.dll",为什么是这个,我的电脑是64位,如果32位系统又会需要哪个dll库呢?

我们进入getJniName函数,看下其代码,这里arch用于获得架构,os用于获得系统版本,extension获得后缀,然后拼出dll的名称:

    public static String getJniName(String stem) {
        String arch = arch();//获得系统架构,x86,i386对应于i686,x86_64,amd64对应于x86_64,其他还有arm等架构
        String abi = abi(arch);//判断是不是arm架构,如果是arm架构,需要其他的设置,这里不问
        String os = os();//判断系统是win,linux.还是mac os x
        String extension = extension(os);//根据系统版本,确定文件后缀名是dll,还是so,osx
        return stem + "-" + os + "-" + arch + abi + "." + extension;//返回确定的库名字
    }

arch代码如下:

private static String arch() {
        String arch = System.getProperty("os.arch", "").toLowerCase();
        if(!arch.equals("x86") && !arch.equals("i386") && !arch.equals("i486") && !arch.equals("i586") && !arch.equals("i686")) {
            if(!arch.equals("x86_64") && !arch.equals("amd64")) {
                if(arch.equals("ia64")) {
                    return "ia64";
                } else if(arch.equals("arm")) {
                    return "arm";
                } else if(arch.equals("armv5l")) {
                    return "armv5l";
                } else if(arch.equals("armv6l")) {
                    return "armv6l";
                } else if(arch.equals("armv7l")) {
                    return "armv7l";
                } else if(arch.equals("sparc")) {
                    return "sparc";
                } else if(arch.equals("sparcv9")) {
                    return "sparcv9";
                } else if(arch.equals("pa_risc2.0")) {
                    return "risc2";
                } else if(arch.equals("ppc")) {
                    return "ppc";
                } else if(arch.startsWith("ppc")) {
                    return "ppc64";
                } else {
                    log.warning("unrecognised architecture: " + arch);
                    return "unknown";
                }
            } else {
                return "x86_64";
            }
        } else {
            return "i686";
        }
    }

abi代码如下:

private static String abi(String arch) {
        if(!arch.startsWith("arm")) {
            return "";
        } else {
            try {
                String[] e = new String[]{"sun.boot.library.path", "java.library.path", "java.home"};
                int len$ = e.length;

                int i$;
                String dir;
                for(i$ = 0; i$ < len$; ++i$) {
                    dir = e[i$];
                    String file = System.getProperty(dir, "");
                    log.config(dir + ": " + file);
                    if(file.matches(".*(gnueabihf|armhf).*")) {
                        return "hf";
                    }
                }

                e = new String[]{"/lib/arm-linux-gnueabihf", "/usr/lib/arm-linux-gnueabihf"};
                len$ = e.length;

                for(i$ = 0; i$ < len$; ++i$) {
                    dir = e[i$];
                    File var7 = new File(dir);
                    if(var7.exists()) {
                        return "hf";
                    }
                }

                return "";
            } catch (SecurityException var6) {
                log.log(Level.WARNING, "unable to detect ABI", var6);
                return "unknown";
            }
        }
    }

os代码如下:

private static String os() {
        String os = System.getProperty("os.name", "").toLowerCase();
        if(os.startsWith("linux")) {
            return "linux";
        } else if(os.startsWith("windows")) {
            return "win";
        } else if(!os.startsWith("mac os x") && !os.startsWith("darwin")) {
            if(os.startsWith("freebsd")) {
                return "freebsd";
            } else if(os.startsWith("android")) {
                return "android";
            } else if(os.startsWith("sunos")) {
                return "sun";
            } else if(os.startsWith("hp-ux")) {
                return "hpux";
            } else if(os.startsWith("kd")) {
                return "kd";
            } else {
                log.warning("unable to detect OS type: " + os);
                return "unknown";
            }
        } else {
            return "osx";
        }
    }

extension代码如下:

 private static String extension(String os) {
        return os.equals("win")?"dll":(os.equals("osx")?"jnilib":"so");
    }

这样,我就知道了dll的具体名字为什么是netlib-native_system-win-x86_64.dll了.

接下来,我还需要知道这个dll要放在哪里,才能被nd4j代码找到!

接下来,我们跳进JniLoader.load(natives.split(",")),看看load是如何执行的:

    public static synchronized void load(String... paths) {
        if(paths != null && paths.length != 0) {
            String[] javaLibPath = paths;
            int arr$ = paths.length;

            int len$;
            String path;
            for(len$ = 0; len$ < arr$; ++len$) {
                String i$ = javaLibPath[len$];
                path = (new File(i$)).getName();
                if(loaded.contains(path)) {
                    log.info("already loaded " + i$);
                    return;
                }
            }

            javaLibPath = System.getProperty("java.library.path").split(File.pathSeparator);//这里获得windows下path对应的路径,是个字符串数组
            String[] var11 = paths;
            len$ = paths.length;

            for(int var12 = 0; var12 < len$; ++var12) {
                path = var11[var12];
                log.config("JNI LIB = " + path);
                String[] extracted = javaLibPath;
                int len$1 = javaLibPath.length;

                for(int i$1 = 0; i$1 < len$1; ++i$1) {
                    String libPath = extracted[i$1];
                    File file = (new File(libPath, path)).getAbsoluteFile();//这里根据path路径和dll的名称拼成一个文件路径,下面检查这个文件是否存在,如果不存在,拼下一个文件路径,如果存在,就加载这个dll
                    log.finest("checking " + file);
                    if(file.exists() && file.isFile() && liberalLoad(file, path)) {
                        return;
                    }
                }

                File var13 = extract(path);
                if(var13 != null && liberalLoad(var13, path)) {
                    return;
                }
            }

            throw new ExceptionInInitializerError("unable to load from " + Arrays.toString(paths));
        } else {
            throw new ExceptionInInitializerError("invalid parameters");
        }
    }

其实这段代码本来我没有看太懂,但是架不住调试功能强大,运行一次,加断点,看看内容怎么变化,就知道是什么意思了.

这里假设我的windows下Path环境变量设置为:"D:\Python\Python35\Scripts\;D:\Program Files\Java\jdk1.7.0_15\bin;C:\WINDOWS;D:\BLAS;",那么javaLibPath的内容就会是这四个组成的字符串数组.接下来取出来第一个,和dll名称(netlib-native_system-win-x86_64.dll)一起拼成一个文件路径"D:\Python\Python35\Scripts\netlib-native_system-win-x86_64.dll",接下来检查这个路径是否是文件,如果不是,就会继续拼下一个,直到拼出"D:\BLAS\netlib-native_system-win-x86_64.dll",然后我的dll文件确实放在这里,程序就会加载.

现在我们找到对应的dll文件,这里为netlib-native_system-win-x86_64.dll,然后放在D:\BLAS\这个位置,把D:\BLAS加入path变量,然后重启Intellij(这一步不一定需要,大家自己尝试),让它重新读取path值.

重新运行下Test里的main函数,然后运行结果竟然还是如上的错误,额,是我们刚才的分析都是错误了么?

2.dll库的依赖和依赖查找

我们在跳进加载dll的地方,看看究竟是哪里错了:

private static boolean liberalLoad(File file, String name) {
        try {
            log.finest("attempting to load " + file);
            System.load(file.getAbsolutePath());
            log.info("successfully loaded " + file);
            loaded.add(name);
            return true;
        } catch (UnsatisfiedLinkError var6) {
            //这里捕获到一个异常,说Can't find dependent libraries.
            log.log(Level.FINE, "skipping load of " + file, var6);
            String tmpdir = System.getProperty("java.io.tmpdir");
            if(tmpdir != null && tmpdir.trim().length() > 2 && file.getAbsolutePath().startsWith(tmpdir)) {
                log.log(Level.FINE, "deleting " + file);

                try {
                    file.delete();
                } catch (Exception var5) {
                    log.info("failed to delete " + file);
                }
            }

            return false;
        } catch (SecurityException var7) {
            log.log(Level.INFO, "skipping load of " + file, var7);
            return false;
        } catch (Throwable var8) {
            throw new ExceptionInInitializerError(var8);
        }
    }

这里我们捕获到一个异常,说 D:\BLAS\netlib-native_system-win-x86_64.dll: Can't find dependent libraries.

原来如此我们的库还需要一些依赖库,这些依赖库没有找到.但是我们怎么知道这个库依赖于哪些库呢?哪些是已经有的,哪些是没有的?这里推荐一个工具,叫PEStudio,可以查看dll文件或exe文件依赖于哪些库:

这里显示了netlib-native_system-win-x86_64.dll依赖于哪些库,其中liblapack3.dll和libblas3.dll是我们需要找到了.其实到这一步,问题就算解决了,参见OpenBlas的官网,这些文件都可以很轻松的下载到,就是要注意首先需要知道你要的是32位还是64位,其次所有dll需要是统一的,不能部分32,部分64. 谢谢曲奇饼的提醒, 这里需要注意的还有jdk的版本, 在64位系统下, 应该使用64的jdk, 大家注意尝试.

这里是我用PEStudio找到的依赖关系:

至此,问题圆满解决.

=========================

最后,把在win10 64位系统下成功运行的库文件放在这:

csdn:http://download.csdn.net/detail/u201011221/9355487

baiduyun: http://pan.baidu.com/s/1jGO5waE

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯IVWEB团队的专栏

在 NodeJS 中玩转 Protocol Buffer

Protocol Buffers 是一种轻便高效的结构化数据存储格式,可以用于结构化数据序列化,很适合做数据存储或 RPC 数据交换格式。

1.3K0
来自专栏Java开发者杂谈

Spring @Transactional踩坑记

@Transactional踩坑记 总述 ​ Spring在1.2引入@Transactional注解, 该注解的引入使得我们可以简单地通过在方法或者类上添加@...

7367
来自专栏NetCore

Do You Know?Url Path MaxLength Limit -- 你或许以后会遇到的一个问题

最近一直在学习Asp.Net MVC,大家都知道可以用System.Web.Routing来解析一段Url,然后到达我们Route规则定下的一个Controll...

1878
来自专栏Java技术栈

史上最全阿里 Java 面试题总结

以下为大家整理了阿里巴巴史上最全的 Java 面试题,涉及大量 Java 面试知识点和相关试题。

4973
来自专栏FreeBuf

我们的漏洞Webug 3.0中级进阶攻略(上)

WeBug名称定义为“我们的漏洞”靶场环境。基础环境是基于PHP/mysql制作搭建而成,中级环境与高级环境分别都是由互联网漏洞事件而收集的漏洞存在的操作环境。...

45110
来自专栏Java帮帮-微信公众号-技术文章全总结

Java设计模式-命令模式

在对象的结构和创建问题都解决了之后,就剩下对象的行为问题了: 如果对象的行为设计的好,那么对象的行为就会更清晰,它们之间的协作效率就会提高. 行为型模式共有1...

3526
来自专栏Java技术交流群809340374

史上最全Java面试266题:算法+缓存+TCP+JVM+搜索+分布式+数据库

以上是总结出的最全Java面试题目,以下是最新总结出的BAT面试java必考题目和答案。

2110
来自专栏java架构师

BAT美团滴滴java面试大纲(带答案版)之三:多线程synchronized

继续面试大纲系列文章。   从这一篇开始,我们进入ava编程中的一个重要领域---多线程!多线程就像武学中对的吸星大法,理解透了用好了可以得道成仙,俯瞰芸芸众生...

29810
来自专栏Golang语言社区

Go Channel 应用模式(一)

Channel是Go中的一种类型,和goroutine一起为Go提供了并发技术, 它在开发中得到了广泛的应用。Go鼓励人们通过Channel在goroutine...

1792
来自专栏Google Dart

AngularDart4.0 指南- 依赖注入 顶

依赖注入是一个重要的应用程序设计模式。 它的用途非常广泛,几乎所有人都称之为DI。

1202

扫码关注云+社区