专栏首页人人都是极客Linux下so动态库一些不为人知的秘密

Linux下so动态库一些不为人知的秘密

Linux 下有动态库和静态库,动态库以.so为扩展名,静态库以.a为扩展名。二者都使用广泛。本文主要讲动态库方面知识。

链接了冗余的库会怎样?

基本上每一个linux 程序都至少会有一个动态库,查看某个程序使用了那些动态库,使用ldd命令查看

这么多so,是的。使用ldd显示的so,并不是所有so都是需要使用的,下面举个例子:

main.cpp

使用缺省参数编译结果

如果我链接一些so,但是程序并不用到这些so,又是什么情况呢?下面我加入链接压缩库,数学库,线程库

看看,虽然没有用到,但是一样有链接进来,那看看程序启动时候有没有去加载它们呢?

看,有加载!!!

所以必定会影响进程启动速度,所以我们最后不要把无用的so编译进来,这里会有什么影响呢?

大家知不知道linux从程序(program或对象)变成进程(process或进程),要经过哪些步骤呢,这里如果详细的说,估计要另开一篇文章。简单的说分三步:

1、fork进程,在内核创建进程相关内核项,加载进程可执行文件;

2、查找依赖的so,一一加载映射虚拟地址

3、初始化程序变量。

可以看到,第二步中dll依赖越多,进程启动越慢,并且发布程序的时候,这些链接但没有使用的so,同样要一起跟着发布,否则进程启动时候,会失败,找不到对应的so。所以我们不能像上面那样,把一些毫无意义的so链接进来,浪费资源。但是开发人员写makefile 一般有没有那么细心,图省事方便,那么有什么好的办法呢。继续看下去,下面会给你解决方法。

使用 ldd -u demo 查看不需要链接的so,看下面,一面了然,无用的so全部暴露出来了吧

使用 -Wl,--as-needed 编译选项

呵呵,办法很简单省事吧,本文主要讲so依赖的一些问题,下面将介绍so的路径方面一些不为人知的小秘密。

库路径不为人知的小秘密

我们知道Linux链接so有两种途径:显示和隐式。所谓显示就是程序主动调用dlopen打开相关so;这里需要补充的是,如果使用显示链接,上篇文章讨论的那些问题都不存在。首先,dlopen的so使用ldd是查看不到的。其次,使用dlopen打开的so并不是在进程启动时候加载映射的,而是当进程运行到调用dlopen代码地方才加载该so,也就是说,如果每个进程显示链接a.so;但是如果发布该程序时候忘记附带发布该a.so,程序仍然能够正常启动,甚至如果运行逻辑没有触发运行到调用dlopen函数代码地方。该程序还能正常运行,即使没有a.so.

既然显示加载这么多优点,那么为什么实际生产中很少码农使用它呢,主要原因还是

使用不是很方便,需要开发人员多写不少代码,所以不被大多数码农使用,还有一个重要原因应该是能提前发现错误,在部署的时候就能发现缺少哪些so, 而不是等到实际上限运行时候才发现缺东少西。

下面举个工作中最常碰到的问题,来引申出本篇内容吧。

写一个最简单的so, tmp.cpp

编译=>链接=>运行,下面指令中的main.cpp请参见前文。

[stevenrao]$ g++ -fPIC -c tmp.cpp

[stevenrao]$ g++ -shared -o libtmp.so tmp.o

[stevenrao]$ mv libtmp.so /tmp/

[stevenrao]$ g++ -o demo -L/tmp -ltmp main.cpp

[stevenrao]$ ./demo

./demo: error while loading shared libraries: libtmp.so: cannot open shared object file: No such file or directory

[stevenrao]$ ldd demo

linux-vdso.so.1 => (0x00007fff7fdc1000)

libtmp.so => not found

这个错误是最常见的错误了。运行程序的时候找不到依赖的so。一般人使用方法是修改LD_LIBRARY_PATH这个环境变量

export LD_LIBRARY_PATH=/tmp

[stevenrao]$ ./demo

test

这样就OK了,不过这样export只对当前shell有效,当另开一个shell时候,又要重新设置。可以把export LD_LIBRARY_PATH=/tmp语句写到 ~/.bashrc中,这样就对当前用户有效了,写到/etc/bashrc中就对所有用户有效了。

前面链接时候使用 -L/tmp/ -ltmp是一种设置相对路径方法,还有一种绝对路径链接方法

[stevenrao]$ g++ -o demo /tmp/libtmp.so main.cpp

[stevenrao]$ ./demo

test

[stevenrao]$ ldd demo

linux-vdso.so.1 => (0x00007fff083ff000)

/tmp/libtmp.so (0x00007f53ed30f000)

绝对路径虽然申请设置环境变量步骤,但是缺陷也是致命的,这个so必须放在绝对路径下,不能放到其他地方,这样给部署带来很大麻烦。所以应该禁止使用绝对路径链接so

搜索路径分两种,一种是链接时候的搜索路径,一种是运行时期的搜索路径。像前面提到的 -L/tmp/是属于链接时期的搜索路径,即给ld程序提供的编译链接时候寻找动态库路径;而LD_LIBRARY_PATH则既属于链接期搜索路径,又属于运行时期的搜索路径。

这里需要介绍链-rpath链接选项,它是指定运行时候都使用的搜索路径。聪明的同学马上就想到,运行时搜索路径,那它记录在哪儿呢。也像LD_LIBRARY_PATH那样,每部署一台机器就需要配一下吗。呵呵,不需要..,因为它已经被硬编码到可执行文件内部了。看看下面演示

1. [stevenrao] $ g++ -o demo -L /tmp/ -ltmp main.cpp

2. [stevenrao] $ ./demo

3. ./demo: error while loading shared libraries: libtmp.so: cannot open shared object file: No such file or directory

4. [stevenrao] $ g++ -o demo -Wl,-rpath /tmp/ -L/tmp/ -ltmp main.cpp

5. [stevenrao] $ ./demo

6. test

7. [stevenrao] $ readelf -d demo

8.

9. Dynamic section at offset 0xc58 contains 26 entries:

10. Tag Type Name/Value

11. 0x0000000000000001 (NEEDED) Shared library: [libtmp.so]

12. 0x0000000000000001 (NEEDED) Shared library: [libstdc++.so.6]

13. 0x0000000000000001 (NEEDED) Shared library: [libm.so.6]

14. 0x0000000000000001 (NEEDED) Shared library: [libgcc_s.so.1]

15. 0x0000000000000001 (NEEDED) Shared library: [libc.so.6]

16. 0x000000000000000f (RPATH) Library rpath: [/tmp/]

17. 0x000000000000001d (RUNPATH) Library runpath: [/tmp/]

看是吧,编译到elf文件内部了,路径和程序深深的耦合到一起。

本文分享自微信公众号 - 人人都是极客(rrgeek),作者:raochaoxun

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2018-05-02

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 你知道何为线程与进程吗??

    什么是线程?线程与进程与有什么关系?这是一个非常抽象的问题,也是一个特别广的话题,涉及到非常多的知识。我不能确保能把它讲的话,也不能确保讲的内容全部都正确。即使...

    刘盼
  • Peter教你谈情说AI | 04梯度下降法

    上一节我们知道了算法是训练出来的,训练过程需要依据某种算法进行运算,这一节我们一起看下线性回归中最常用的优化算法——梯度下降法。

    刘盼
  • 一文读懂深度学习:从神经元到BERT

    一个神经网络结构通常包含输入层、隐藏层、输出层。输入层是我们的 features (特征),输出层是我们的预测 (prediction)。神经网络的目的是拟合一...

    刘盼
  • SDK热更系列之如何获取应用在当前设备上的so对应的指令集

    子勰
  • Android 动态库压缩壳的实现

    计算机软件领域所说的壳实际上是一种软件加密技术。壳主要分为两大类:加密壳和压缩壳,加密壳侧重于防止软件被篡改,而压缩壳则侧重于减小软件体积。其实,在Window...

    小时光
  • 文件丢失?损坏?兼容性问题?到底是什么导致了错误

    在日常的维护中,免不了和文件打交道,文件涉及的问题有很多类,这里讨论: 文件丢失,损坏,兼容性问题。 而对于文件丢失导致的问题一般比较容易定位,而文件损坏,特...

    qsjs
  • 一种Android App在Native层动态加载so库的方案

    这篇文章通过实战案例,介绍了一种有条理的组织Native层代码层级结构的方法。并且,在良好的代码层级、作用分工的基础上,实现了动态的按需加载、卸载so库。文章...

    QQ音乐技术团队
  • Activity 基础知识

    类加载方案需要重启App后让ClassLoader重新加载新的类,为什么需要重启,因为类是无法卸载的,要想重新加载类就需要重启App,因此采用类加载方案的热修复...

    Yif
  • Ubuntu循环登录libGL error: fbConfigs swrast等

    Ubuntu16.04更新NVIDIA驱动后,无法进入桌面,使用vim .xsession-errors

    zhangrelay
  • 动态下发 so 库在 Android APK 安装包瘦身方面的应用

    | 导语 众所周知 Android 加载 so 文件本身就是一种运行时动态加载可执行代码的行为,所以把 so 做成动态下发的没有什么技术风险,不过要把这项技术...

    腾讯Bugly

扫码关注云+社区

领取腾讯云代金券