编译期链接时共享库路径搜索优先级实验

paw5zx Lv4
  2024-07-29 17:59:22 2024-07-29 17:59:22 创建   2024-08-20 16:34:35 2024-08-20 16:34:35 更新    3.4k 字  14 分钟  

前言

《共享库链接和加载时的路径搜索优先级》 中提到，使用g++时，共享库在编译期链接时的库路径搜索优先级为：-L指定的路径>LIBRARY_PATH记录的路径>默认路径。

本实验分三步验证上述结论
①单独测试每种方法指定的路径的可行性
②对比测试三种方法间的优先级
③使用DEBUG模式，查看链接器输出的详细信息，二次验证上述结论

值得注意的是，我看网上都说LIBRARY_PATH指定的路径优先级要大于默认路径的优先级，但是就我的测试结果来看，结论是相反的（可能是我使用了g++而不是直接使用底层的ld?）。

实验环境

操作系统：Ubuntu 20.04
编译器：g++-11.4.0
make：GNU Make 4.2.1

目录说明

项目的目录结构如下：

1
2
3
4
5
6
7
.
├── lib
├── obj
├── libhello.cpp
├── libhello_alt.cpp
├── main.cpp
└── makefile

其中：

  • lib为存放共享库的文件夹
  • obj为存放可重定位目标文件的文件夹
  • libhello.cpp和libhello_alt.cpp为共享库源码（用于模拟不同版本的共享库），他们中都只有一个hello函数，两个hello函数的函数签名完全相同。其中libhello.cpp将被编译为libhello.so.1.1.0（soname为libhello.so.1），libhello_alt.cpp将被编译为libhello.so.2.1.0（soname为libhello.so.2）
  • mian.cpp为主函数，其中调用了hello函数
  • makefile为自动化构建脚本

在附录中，我将提供本次实验涉及到的代码。

准备工作

在终端中进入项目路径，并输入make，会在./lib下生成libhello.so.1.1.0与libhello.so.2.1.0，在./obj下生成main.o。
生成后项目的目录结构如下：

1
2
3
4
5
6
7
8
9
10
11
.
├── lib
│   ├── libhello.so.1.1.0	
│   └── libhello.so.2.1.0
├── obj
│   └── main.o
├── libhello.cpp
├── libhello_alt.cpp
├── main.cpp
└── makefile

单独测试

不配置路径

不做任何路径的配置并且不在默认路径下放置libhello.so文件，查看是否可以将main.o和hello的共享库文件链接成功。

直接使用makefile中预设好的命令即可完成上述操作：

1
make main_none

输出：

可以看到由于我们没有配置任何额外的搜索路径，并且没有在默认搜索路径下放置libhello.so文件，链接器就找不到相应的共享库文件，就会链接失败。

单次实验结束后，使用make clean命令清除本次实验生成的文件，然后再次使用make命令重新生成共享库文件和可重定位目标文件。（每次做完一个小实验，都要重复此步骤，后不赘述）

默认路径

将libhello.so.1.1.0拷贝至默认搜索路径/usr/lib，并在/usr/lib下创建一个软链接（libhello.so）指向它，然后进行链接操作，查看是否可以将main.o和hello的共享库文件链接成功。

直接使用makefile中预设好的命令即可完成上述操作：

1
make main_default

输出：

没有报错。

然后使用readelf -d查看可执行文件的动态段信息，可见链接成功，共享库的soname已经被写入到可执行文件的动态段信息中了。

LIBRARY_PATH

创建路径/opt/hellolib，将libhello.so.1.1.0拷贝至/opt/hellolib，并在/opt/hellolib下创建一个软链接（libhello.so）指向它。然后将/opt/hellolib添加至LIBRARY_PATH并进行main.o和hello的共享库文件的链接操作，查看是否可以链接成功。

直接使用makefile中预设好的命令即可完成上述操作：

1
make main_library_path

输出：

没有报错。

然后使用readelf -d查看可执行文件的动态段信息，可见链接成功，共享库的soname已经被写入到可执行文件的动态段信息中了。

-L

创建路径/opt/hellolib，将libhello.so.1.1.0拷贝至/opt/hellolib，并在/opt/hellolib下创建一个软链接（libhello.so）指向它，然后添加链接选项-L/opt/hellolib并进行链接操作，查看是否可以将main.o和hello的共享库文件链接成功。

直接使用makefile中预设好的命令即可完成上述操作：

1
make main_l

输出：

没有报错。

然后使用readelf -d查看可执行文件的动态段信息，可见链接成功，共享库的soname已经被写入到可执行文件的动态段信息中了。

优先级测试

默认路径和LIBRARY_PATH

  • ①将libhello.so.2.1.0拷贝至默认搜索路径/usr/lib，并在/usr/lib下创建一个软链接（libhello.so）指向它。
  • ②创建路径/opt/hellolib，将libhello.so.1.1.0拷贝至/opt/hellolib，并在/opt/hellolib下创建一个软链接（libhello.so）指向它。
  • ③将/opt/hellolib添加至LIBRARY_PATH并进行main.o和hello的共享库文件的链接操作。

直接使用makefile中预设好的命令即可完成上述操作：

1
make cmp_default_libpath

输出：

然后使用readelf -d查看可执行文件的动态段信息，可见链接成功，并且链接的是默认路径下的共享库文件libhello.so.2.1.0（其soname为libhello.so.2）。因此可以得出结论：默认路径搜索优先级要高于LIBRARY_PATH指定的路径的搜索优先级。

对于上述结论，将会在后文的DEBUG模式中给出更详细的验证。

-L和默认路径

  • ①创建路径/opt/hellolib，将libhello.so.2.1.0拷贝至/opt/hellolib，并在/opt/hellolib下创建一个软链接（libhello.so）指向它。
  • ②将libhello.so.1.1.0拷贝至默认搜索路径/usr/lib，并在/usr/lib下创建一个软链接（libhello.so）指向它。
  • ③添加链接选项-L/opt/hellolib并进行main.o和hello的共享库文件的链接操作。

直接使用makefile中预设好的命令即可完成上述操作：

1
make cmp_l_default

输出：

然后使用readelf -d查看可执行文件的动态段信息，可见链接成功，并且链接的是-L指定路径下的共享库文件libhello.so.2.1.0（其soname为libhello.so.2）。因此可以得出结论：-L指定路径搜索优先级要高于默认搜索路径的搜索优先级。

对于上述结论，将会在后文的DEBUG模式中给出更详细的验证。

DEBUG模式

在makefile中我添加了一个用于对比三种路径优先级的目标cmp_all，其中

  • -L指定路径为/opt/hellolib_L
  • 默认路径为/usr/lib
  • LIBRARY_PATH指定路径为/opt/hellolib，.so文件（libhello.so.1.1.0的软链接）仅放置于此路径下。

此外我还预设了一个DEBUG模式，开启DEBUG模式可以查看编译过程的详细信息，开启的方法就是在命令后面添加DEBUG_MODE=1，例如：

1
make cmp_all DEBUG_MODE=1

下面我们就使用DEBUG模式运行cmp_all查看其输出（输出信息很多，我截取关键部分讲解）：

编译器配置详细信息

我们先看一下gcc在编译过程中输出的编译器配置详细信息：

图片中的文字内容如下：

1
2
3
4
5
6
7
8
9
10
11
12
LIBRARY_PATH=
	/usr/lib/gcc/x86_64-linux-gnu/11/:
	/usr/lib/gcc/x86_64-linux-gnu/11/../../../x86_64-linux-gnu/:
	/usr/lib/gcc/x86_64-linux-gnu/11/../../../../lib/:
	/lib/x86_64-linux-gnu/:
	/lib/../lib/:
	/usr/lib/x86_64-linux-gnu/:
	/usr/lib/../lib/:
	/opt/hellolib/:
	/usr/lib/gcc/x86_64-linux-gnu/11/../../../:
	/lib/:
	/usr/lib/

我们可以发现编译器列出了系统环境变量LIBRARY_PATH的内容，包含：

  • ①我们向环境变量添加的/opt/hellolib/，其所处位置应该是由编译器规定的
  • ②系统默认的库路径（/usr/lib和/lib），位于最后
  • ③根据编译器配置自动添加的路径，如/usr/lib/gcc/x86_64-linux-gnu/11/等

然后再往下看，COLLECT_GCC_OPTIONS列出了传递给g++的一些选项：

图片中的文字内容如下（省略了一部分不需要关注的）：

1
2
3
4
5
6
7
8
9
10
11
12
COLLECT_GCC_OPTIONS=...
	-L/opt/hellolib_L
	-L/usr/lib/gcc/x86_64-linux-gnu/11 
	-L/usr/lib/gcc/x86_64-linux-gnu/11/../../../x86_64-linux-gnu 
	-L/usr/lib/gcc/x86_64-linux-gnu/11/../../../../lib 
	-L/lib/x86_64-linux-gnu 
	-L/lib/../lib 
	-L/usr/lib/x86_64-linux-gnu 
	-L/usr/lib/../lib 
	-L/opt/hellolib 
	-L/usr/lib/gcc/x86_64-linux-gnu/11/../../.. 
	...

可以发现：

  • ①我们通过-L显式添加的路径/opt/hellolib_L被排在了最前面
  • ②LIBRARY_PATH中的路径（除了/usr/lib/和/lib/，原因暂时未知），都被加上-L并传给了COLLECT_GCC_OPTIONS，并排在/opt/hellolib_L之后。

链接器详细信息

然后我们再看链接器输出的详细信息：

图片中的文字内容如下：

1
2
3
4
5
6
7
8
9
10
11
12
SEARCH_DIR("=/usr/local/lib/x86_64-linux-gnu"); 
SEARCH_DIR("=/lib/x86_64-linux-gnu"); 
SEARCH_DIR("=/usr/lib/x86_64-linux-gnu"); 
SEARCH_DIR("=/usr/lib/x86_64-linux-gnu64"); 
SEARCH_DIR("=/usr/local/lib64"); 
SEARCH_DIR("=/lib64"); 
SEARCH_DIR("=/usr/lib64"); 
SEARCH_DIR("=/usr/local/lib"); 
SEARCH_DIR("=/lib"); 
SEARCH_DIR("=/usr/lib"); 
SEARCH_DIR("=/usr/x86_64-linux-gnu/lib64"); 
SEARCH_DIR("=/usr/x86_64-linux-gnu/lib");

SEARCH_DIR指令是用来指定链接器在搜索动态和静态库文件时应当考虑的目录，这些路径通常包括系统的标准库目录，如/usr/lib和/lib等。但是注意，通过-L指定的路径会在运行时临时添加到SEARCH_DIR列表的前面，即-L指定的路径搜索优先级更高。

DEBUG总结

至此，我们可以简单总结一下上述信息：

  • 我们设置的LIBRARY_PATH的值会传给编译器
  • 编译器根据自己的配置以及我们手动赋予的LIBRARY_PATH变量的值，生成一个新的LIBRARY_PATH（我们手动赋予的LIBRARY_PATH变量的值处于一个特定的位置），并将这个新的LIBRARY_PATH的值(除了/usr/lib和/lib)加上-L传递给编译器
  • 我们显式使用-L指定的路径也被传递给编译器，并位于所有-L选项的最前面

而且对于编译器配置的路径，如/usr/lib/gcc/x86_64-linux-gnu/11/../../../../lib/，其本质就是/usr/lib/（这也是默认路径优先级大于LIBRARY_PATH指定路径优先级的原因）。

因此对于-L指定路径，LIBRARY_PATH指定路径和默认路径，最终都被转化为-L的形式传递给编译器，且他们排列优先级为：

-L指定路径>默认路径>LIBRARY_PATH指定路径

因此他们的搜索优先级也是符合上述排列。

验证

最后我们可以通过链接器在链接特定库（比如我们的libhello）时的搜索过程验证上述结论：

可见链接器先是搜索我们使用-L指定的路径/opt/hellolib_L，然后搜索编译器配置的路径/usr/lib/gcc/x86_64-linux-gnu/11/../../../../lib/（其本质就是默认路径/usr/lib/），最后搜索LIBRARY_PATH指定的路径/opt/hellolib。证明了编译过程中链接时库搜索路径的优先级为

-L指定路径>默认路径>LIBRARY_PATH指定路径

默认路径>LIBRARY_PATH原因

如上文所述，g++根据自己的配置将例如：

1
/usr/lib/gcc/x86_64-linux-gnu/11/../../../../lib/

的路径添加到了LIBRARY_PATH中，而且位于用户设置的LIBRARY_PATH之前。这个路径的本质就是/usr/lib/。这就导致最终出现默认路径搜索优先级大于LIBRARY_PATH指定路径的搜索优先级的现象。

至于手动使用ld去链接.o和.so文件，后面有机会再做测试。

小结

死记优先级没必要，因为实际情况中还会遇到很多其他的规则。知道如何去看链接器的链接过程（如路径搜索顺序）才是排查问题的关键。

附录

库文件源码

1
2
3
4
5
6
//file: libhello.cpp
#include <iostream>
void hello()
{
    std::cout << "Hello from the 1.1.0 library!" << std::endl;
}
1
2
3
4
5
6
//file: libhello_alt.cpp
#include <iostream>
void hello()
{
    std::cout << "Hello from the 2.1.0 library!" << std::endl;
}

主程序源码

1
2
3
4
5
6
7
//file: main.cpp
extern void hello();
int main()
{
    hello();
    return 0;
}

makefile

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
# file: makefile
CXX = g++
CXXFLAGS = -fPIC
LDFLAGS = -shared
DEBUG_MODE ?= 0

ifeq ($(DEBUG_MODE),1)
    DEBUG_OPTS = -v -Wl,--verbose
endif

all: lib/libhello.so.1.1.0 lib/libhello.so.2.1.0 obj/main.o

lib/libhello.so.1.1.0: libhello.cpp
	$(CXX) $(CXXFLAGS) -o $@ $^ $(LDFLAGS) -Wl,-soname,libhello.so.1

lib/libhello.so.2.1.0: libhello_alt.cpp
	$(CXX) $(CXXFLAGS) -o $@ $^ $(LDFLAGS) -Wl,-soname,libhello.so.2

obj/main.o: main.cpp
	$(CXX) -c -o $@ $^

# 在任何路径下都无法搜索到libhello.so
main_none: obj/main.o
	$(CXX) $(DEBUG_OPTS) -o $@ $^ -lhello

# 测试默认路径/usr/lib 
main_default: obj/main.o
	cp ./lib/libhello.so.1.1.0 /usr/lib
	ln -sf /usr/lib/libhello.so.1.1.0 /usr/lib/libhello.so
	$(CXX) $(DEBUG_OPTS) -o $@ $^ -lhello

# 测试仅使用LIBRARY_PATH
main_library_path: obj/main.o
	mkdir -p /opt/hellolib
	cp ./lib/libhello.so.1.1.0 /opt/hellolib
	ln -sf /opt/hellolib/libhello.so.1.1.0 /opt/hellolib/libhello.so
	LIBRARY_PATH=/opt/hellolib $(CXX) $(DEBUG_OPTS) -o $@ $^ -lhello

# 测试仅使用-L
main_l: obj/main.o
	mkdir -p /opt/hellolib
	cp ./lib/libhello.so.1.1.0 /opt/hellolib
	ln -sf /opt/hellolib/libhello.so.1.1.0 /opt/hellolib/libhello.so
	$(CXX) $(DEBUG_OPTS) -o $@ $^ -L/opt/hellolib -lhello

# 比较默认路径和LIBRARY_PATH的搜索优先级
cmp_default_libpath: obj/main.o
	cp ./lib/libhello.so.2.1.0 /usr/lib
	ln -sf /usr/lib/libhello.so.2.1.0 /usr/lib/libhello.so
	mkdir -p /opt/hellolib
	cp ./lib/libhello.so.1.1.0 /opt/hellolib
	ln -sf /opt/hellolib/libhello.so.1.1.0 /opt/hellolib/libhello.so
	LIBRARY_PATH=/opt/hellolib $(CXX) $(DEBUG_OPTS) -o $@ $^ -lhello

# 比较-L和默认路径的优先级
cmp_l_default: obj/main.o
	mkdir -p /opt/hellolib
	cp ./lib/libhello.so.2.1.0 /opt/hellolib
	ln -sf /opt/hellolib/libhello.so.2.1.0 /opt/hellolib/libhello.so
	cp ./lib/libhello.so.1.1.0 /usr/lib
	ln -sf /usr/lib/libhello.so.1.1.0 /usr/lib/libhello.so
	$(CXX) $(DEBUG_OPTS) -o $@ $^ -L/opt/hellolib -lhello

# 总体比较测试，集合了-L，LIBRARY_PATH和默认路径
cmp_all: main.cpp
	mkdir -p /opt/hellolib
	mkdir -p /opt/hellolib_L
	cp ./lib/libhello.so.1.1.0 /opt/hellolib
	ln -sf /opt/hellolib/libhello.so.1.1.0 /opt/hellolib/libhello.so
	LIBRARY_PATH=/opt/hellolib $(CXX) $(DEBUG_OPTS) -o $@ $^ -L/opt/hellolib_L -lhello

clean:
	rm -f ./lib/* ./obj/* main_* cmp_*
	rm -f /usr/lib/libhello.so*
	rm -rf /opt/hellolib*
	ldconfig
	
.PHONY: clean main_none main_default main_library_path  main_l cmp_default_libpath cmp_l_default cmp_all
  • 标题: 编译期链接时共享库路径搜索优先级实验
  • 作者: paw5zx
  • 创建于 : 2024-07-29 17:59:22
  • 更新于 : 2024-08-20 16:34:35
  • 链接: https://paw5zx.github.io/cpp-shared-lib-search-priority-test-linking/
  • 版权声明: 本文章采用 CC BY-NC-SA 4.0 进行许可。
推荐阅读
运行期加载时共享库路径搜索优先级实验 运行期加载时共享库路径搜索优先级实验 共享库链接和加载时的路径搜索优先级 共享库链接和加载时的路径搜索优先级 共享库soname机制 共享库soname机制
推荐阅读
运行期加载时共享库路径搜索优先级实验 运行期加载时共享库路径搜索优先级实验 共享库链接和加载时的路径搜索优先级 共享库链接和加载时的路径搜索优先级
评论
目录
编译期链接时共享库路径搜索优先级实验
  1. 前言
  2. 实验环境
  3. 目录说明
  4. 准备工作
  5. 单独测试
    1. 不配置路径
    2. 默认路径
    3. LIBRARY_PATH
    4. -L
  6. 优先级测试
    1. 默认路径和LIBRARY_PATH
    2. -L和默认路径
  7. DEBUG模式
    1. 编译器配置详细信息
    2. 链接器详细信息
    3. DEBUG总结
    4. 验证
  8. 默认路径>LIBRARY_PATH原因
  9. 小结
  10. 附录
    1. 库文件源码
    2. 主程序源码
    3. makefile