用 QEMU + BusyBox 搭一个能调试的最小 Linux 内核

1423 字
7 分钟
用 QEMU + BusyBox 搭一个能调试的最小 Linux 内核
这篇文章也有English版。

2021 年写的,2026 年重做了一遍。内核从 4.9 换到现在还在维护的 6.x,根文件系统从 ext3 镜像改成 cpio initramfs(不用 sudo mount、不用 root),最后加上了当年没写的一步,怎么用 GDB 真的调试进去。这套流程今天依然是读内核、复现内核漏洞的标准起点。

准备环境#

  • Ubuntu 22.04 或更新的发行版(Debian 系都一样)
  • Linux 6.x 源码
  • BusyBox 最新稳定版
  • QEMU

下载源码和工具#

在Kernel.org下内核源码,在BusyBox 官网下 BusyBox:

Terminal window
wget https://cdn.kernel.org/pub/linux/kernel/v6.x/linux-6.6.tar.xz
wget https://busybox.net/downloads/busybox-1.36.1.tar.bz2
tar xf linux-6.6.tar.xz
tar xf busybox-1.36.1.tar.bz2
sudo apt install qemu-system-x86 build-essential flex bison libelf-dev libssl-dev bc cpio

当年用的是 4.9 + BusyBox 1.33,两个版本号前后还不一致(一会儿 1.33.0 一会儿 1.33.1),下面统一一下。

编译内核#

Terminal window
cd linux-6.6
make defconfig # 或 make x86_64_defconfig
make menuconfig

menuconfig 里要确认几项(其实 defconfig 里基本都有了):

  • General setup -> Initial RAM filesystem and RAM disk (initramfs/initrd) support
  • Device Drivers -> Block devices -> RAM block device support(用 cpio initramfs 的话这项其实可以不要,留着也无妨)
  • Kernel hacking -> Compile-time checks and compiler options -> Compile the kernel with debug info,调试用必须开
  • 想让 GDB 好断点的话,Kernel hacking -> Compile the kernel with frame pointers 也开上

这一步报 fatal error: curses.h 的话,装 libncurses-dev(老版本叫 libncurses5-dev)。

然后编译:

Terminal window
make -j$(nproc)

编译好的内核在 arch/x86/boot/bzImage。注意当年这里写的前后不一致。一会儿是 arch/x86/boot,一会儿又写成 arch/x86_64/boot。x86_64 的内核也是放在 arch/x86/boot/bzImage,arch/x86_64/boot/ 里没有 bzImage。这个坑我当年踩了。

编译 BusyBox#

Terminal window
cd ../busybox-1.36.1
make defconfig
make menuconfig
  • Settings -> Build Options -> [*] Build static binary (no shared libs)

新版系统上编译 BusyBox 有个坑。tc 这个 applet 直接编不过去,会报一串 TCA_CBQ_MAX undeclared、incomplete type 'struct tc_cbq_lssopt' 之类的错误。原因是内核头文件从 5.x 起删掉了 CBQ 这一批旧的队列规则常量,而 BusyBox 的 tc 还在引用它们。处理办法是在 menuconfig 里把 tc 关掉,位置是 Networking Utilities -> [ ] tc。这也是我当年卡住的地方。

Terminal window
make -j$(nproc)
make install

装好的东西在 _install/ 里。

做根文件系统(cpio initramfs)#

当年是把 ext3 镜像 loop mount 出来,往里面 cp,还要 sudo。现在不用了,内核原生支持 cpio 格式的 initramfs,直接打个包就行:

Terminal window
mkdir -p rootfs/{bin,sbin,etc/init.d,proc,sys,dev,tmp,mnt}
cp -a _install/* rootfs/

rootfs/etc/init.d/rcS:

rootfs/etc/init.d/rcS
#!/bin/sh
echo "Welcome to my little Linux"
/bin/mount -a
mkdir -p /dev/pts
mount -t devpts devpts /dev/pts
echo /sbin/mdev > /proc/sys/kernel/hotplug
mdev -s

rootfs/etc/fstab:

rootfs/etc/fstab
proc /proc proc defaults 0 0
tmpfs /tmp tmpfs defaults 0 0
sysfs /sys sysfs defaults 0 0

rootfs/etc/inittab:

rootfs/etc/inittab
::sysinit:/etc/init.d/rcS
::respawn:-/bin/sh
::askfirst:-/bin/sh
::ctrlaltdel:/bin/umount -a -r

当年这几个文件里有两处笔误,一起改掉了。moutn 改成 mount,cttlaltdel 改成 ctrlaltdel(写错的 inittab 条目不会生效,但也不会报错,只会让你按 Ctrl+Alt+Del 的时候没反应)。

设备节点如果打包时没有,可以在启动后由 mdev -s 生成;保险起见先建两个:

Terminal window
sudo mknod rootfs/dev/console c 5 1
sudo mknod rootfs/dev/null c 1 3
chmod +x rootfs/etc/init.d/rcS rootfs/etc/inittab

打包:

Terminal window
cd rootfs
find . -print0 | cpio --null -ov --format=newc | gzip -9 > ../initramfs.cpio.gz

在 QEMU 里跑起来#

Terminal window
qemu-system-x86_64 \
-kernel linux-6.6/arch/x86/boot/bzImage \
-initrd initramfs.cpio.gz \
-append "console=ttyS0 rdinit=/sbin/init" \
-nographic

看到内核打印一串启动日志,最后落到 /bin/sh 的提示符,就成了。

几个参数值得记一下。console=ttyS0 把控制台指到串口,配合 -nographic 就能直接在终端里交互,不用开图形窗口。rdinit= 指定 initramfs 里的第一个程序,也就是 PID 1。

这里有个我这次重做时踩到的坑。一开始我把 rdinit 直接指到 /etc/init.d/rcS,内核确实跑完了脚本、也打印了欢迎语,然后就 panic 了,报的是 Attempted to kill init! exitcode=0x00000000。原因是脚本是 PID 1,脚本执行完就退出,而 PID 1 一退出内核就没得调度了,只能崩。所以 rdinit 要给的是 /sbin/init(BusyBox 的 init),由它去读 /etc/inittab,按里面的 ::sysinit: 跑 rcS,再按 ::askfirst: 起 shell,这样 PID 1 会一直在。同理,把脚本改名成 /init 也没用,除非脚本最后 exec /bin/sh 把自己变成常驻进程。

挂 GDB 调试内核#

这是当年没写的一步,但其实是这套环境最有用的地方。QEMU 加两个参数:

Terminal window
qemu-system-x86_64 \
-kernel linux-6.6/arch/x86/boot/bzImage \
-initrd initramfs.cpio.gz \
-append "console=ttyS0 rdinit=/sbin/init nokaslr" \
-nographic -s -S
  • -s 是 -gdb tcp::1234 的简写,在 1234 端口开一个 gdbstub
  • -S 让 CPU 启动时就暂停,等调试器发 continue
  • nokaslr 很关键。内核一旦开了 KASLR,每次启动地址都不一样,你在 GDB 里设的断点地址全对不上。研究内核的时候先把随机化关掉

另开一个终端:

Terminal window
gdb linux-6.6/vmlinux
(gdb) target remote :1234
(gdb) hbreak start_kernel
(gdb) continue
(gdb) list
(gdb) bt

vmlinux 是编译出来的带符号的内核镜像(在源码根目录),不是 bzImage。hbreak 是硬件断点,内核早期还没建好页表的时候软件断点不可靠,所以第一个断点用硬件断点更稳,进去之后换成普通的 b 就行。

今天再看#

这套东西二十年来基本没变,因为它就是内核开发者的日常,编译、起 QEMU、挂 GDB。变的是细节,根文件系统从 ext3 镜像变成了 cpio(省掉 root 和 loop mount 这一整串麻烦),调试从串口变成了 gdbstub,内核从 4.9 换到了 6.x,menuconfig 里的选项名字也改过几轮。

如果你是想读内核,这套环境的性价比其实很高。比起啃源码,能真的设断点、看栈、单步走一遍调度器或者文件系统,理解会快得多。如果你是想复现内核漏洞(CVE 那种),这几乎是标准起点。找一个受影响的版本、用同样的方式编出来、配上 qemu + gdb,再加上一点 KASAN,就能在本地把崩溃现场看清楚。这也是为什么这篇值得从 2021 年留到今天。

文章分享

如果这篇文章对你有帮助,欢迎分享给更多人!

用 QEMU + BusyBox 搭一个能调试的最小 Linux 内核
https://blog.lumysia.net/zh-cn/posts/minimal-linux-kernel-qemu-busybox/
作者
Livia
发布于
2021-07-07
许可协议
CC BY-NC 4.0

评论区

文章目录