the start sequence of Linux

2013-08-21Linux 的启动流程

Refer from :

http://www.ruanyifeng.com/blog/2013/08/linux_boot_process.html

作者: 阮一峰

日期: 2013817

半年前,我写了《计算机是如何启动的?》,探讨BIOS和主引导记录的作用。

那篇文章不涉及操作系统,只与主板的板载程序有关。今天,我想接着往下写,探讨操作系统接管硬件以后发生的事情,也就是操作系统的启动流程。

clip_image001

这个部分比较有意思。因为在BIOS阶段,计算机的行为基本上被写死了,程序员可以做的事情并不多;但是,一旦进入操作系统,程序员几乎可以定制所有方面。所以,这个部分与程序员的关系更密切。

我主要关心的是Linux操作系统,它是目前服务器端的主流操作系统。下面的内容针对的是Debian发行版,因为我对其他发行版不够熟悉。

第一步、加载内核

操作系统接管硬件以后,首先读入 /boot 目录下的内核文件。

clip_image002

以我的电脑为例,/boot 目录下面大概是这样一些文件:

 

  $ ls /boot

  

  config-3.2.03amd64

  config-3.2.04amd64

  grub

  initrd.img-3.2.03amd64

  initrd.img-3.2.04amd64

  System.map-3.2.03amd64

  System.map-3.2.04amd64

  vmlinuz-3.2.03amd64

  vmlinuz-3.2.04amd64

  

第二步、启动初始化进程

内核文件加载以后,就开始运行第一个程序 /sbin/init,它的作用是初始化系统环境。

clip_image003

由于init是第一个运行的程序,它的进程编号(pid)就是1。其他所有进程都从它衍生,都是它的子进程。

第三步、确定运行级别

许多程序需要开机启动。它们在Windows叫做服务service),在Linux就叫做守护进程daemon)。

init进程的一大任务,就是去运行这些开机启动的程序。但是,不同的场合需要启动不同的程序,比如用作服务器时,需要启动Apache,用作桌面就不需要。Linux允许为不同的场合,分配不同的开机启动程序,这就叫做运行级别runlevel)。也就是说,启动时根据运行级别,确定要运行哪些程序。

clip_image004

Linux预置七种运行级别(0-6)。一般来说,0是关机,1是单用户模式(也就是维护模式),6是重启。运行级别2-5,各个发行版不太一样,对于Debian来说,都是同样的多用户模式(也就是正常模式)。

init进程首先读取文件 /etc/inittab,它是运行级别的设置文件。如果你打开它,可以看到第一行是这样的:

 

  id:2:initdefault:

  

initdefault的值是2,表明系统启动时的运行级别为2。如果需要指定其他级别,可以手动修改这个值。

那么,运行级别2有些什么程序呢,系统怎么知道每个级别应该加载哪些程序呢?……回答是每个运行级别在/etc目录下面,都有一个对应的子目录,指定要加载的程序。

 

  /etc/rc0.d

  /etc/rc1.d

  /etc/rc2.d

  /etc/rc3.d

  /etc/rc4.d

  /etc/rc5.d

  /etc/rc6.d

  

上面目录名中的“rc”,表示run command(运行程序),最后的d表示directory(目录)。下面让我们看看 /etc/rc2.d 目录中到底指定了哪些程序。

 

  $ ls  /etc/rc2.d

  

  README

  S01motd

  S13rpcbind

  S14nfscommon

  S16binfmtsupport

  S16rsyslog

  S16sudo

  S17apache2

  S18acpid

  

  

可以看到,除了第一个文件README以外,其他文件名都是字母S+两位数字+程序名的形式。字母S表示Start,也就是启动的意思(启动脚本的运行参数为start),如果这个位置是字母K,就代表Kill(关闭),即如果从其他运行级别切换过来,需要关闭的程序(启动脚本的运行参数为stop)。后面的两位数字表示处理顺序,数字越小越早处理,所以第一个启动的程序是motd,然后是rpcbingnfs……数字相同时,则按照程序名的字母顺序启动,所以rsyslog会先于sudo启动。

这个目录里的所有文件(除了README),就是启动时要加载的程序。如果想增加或删除某些程序,不建议手动修改 /etc/rcN.d 目录,最好是用一些专门命令进行管理(参考这里这里)。

第四步、加载开机启动程序

前面提到,七种预设的运行级别各自有一个目录,存放需要开机启动的程序。不难想到,如果多个运行级别需要启动同一个程序,那么这个程序的启动脚本,就会在每一个目录里都有一个拷贝。这样会造成管理上的困扰:如果要修改启动脚本,岂不是每个目录都要改一遍?

Linux的解决办法,就是七个 /etc/rcN.d 目录里列出的程序,都设为链接文件,指向另外一个目录 /etc/init.d ,真正的启动脚本都统一放在这个目录中。init进程逐一加载开机启动程序,其实就是运行这个目录里的启动脚本。

clip_image005

下面就是链接文件真正的指向。

 

  $ ls l /etc/rc2.d

  

  README

  S01motd -> ../init.d/motd

  S13rpcbind -> ../init.d/rpcbind

  S14nfscommon -> ../init.d/nfscommon

  S16binfmtsupport -> ../init.d/binfmtsupport

  S16rsyslog -> ../init.d/rsyslog

  S16sudo -> ../init.d/sudo

  S17apache2 -> ../init.d/apache2

  S18acpid -> ../init.d/acpid

  

  

这样做的另一个好处,就是如果你要手动关闭或重启某个进程,直接到目录 /etc/init.d 中寻找启动脚本即可。比如,我要重启Apache服务器,就运行下面的命令:

 

  $ sudo /etc/init.d/apache2 restart

  

/etc/init.d 这个目录名最后一个字母d,是directory的意思,表示这是一个目录,用来与程序 /etc/init 区分。

第五步、用户登录

开机启动程序加载完毕以后,就要让用户登录了。

clip_image006

一般来说,用户的登录方式有三种:

  (1)命令行登录

  (2ssh登录

  (3)图形界面登录

这三种情况,都有自己的方式对用户进行认证。

1)命令行登录:init进程调用getty程序(意为get teletype),让用户输入用户名和密码。输入完成后,再调用login程序,核对密码(Debian还会再多运行一个身份核对程序/etc/pam.d/login)。如果密码正确,就从文件 /etc/passwd 读取该用户指定的shell,然后启动这个shell

2ssh登录:这时系统调用sshd程序(Debian还会再运行/etc/pam.d/ssh ),取代gettylogin,然后启动shell

3)图形界面登录:init进程调用显示管理器,Gnome图形界面对应的显示管理器为gdmGNOME Display Manager),然后用户输入用户名和密码。如果密码正确,就读取/etc/gdm3/Xsession,启动用户的会话。

第六步、进入 login shell

所谓shell,简单说就是命令行界面,让用户可以直接与操作系统对话。用户登录时打开的shell,就叫做login shell

clip_image007

Debian默认的shellBash,它会读入一系列的配置文件。上一步的三种情况,在这一步的处理,也存在差异。

1)命令行登录:首先读入 /etc/profile,这是对所有用户都有效的配置;然后依次寻找下面三个文件,这是针对当前用户的配置。

 

  ~/.bash_profile

  ~/.bash_login

  ~/.profile

  

需要注意的是,这三个文件只要有一个存在,就不再读入后面的文件了。比如,要是 ~/.bash_profile 存在,就不会再读入后面两个文件了。

2ssh登录:与第一种情况完全相同。

3)图形界面登录:只加载 /etc/profile ~/.profile。也就是说,~/.bash_profile 不管有没有,都不会运行。

第七步,打开 non-login shell

老实说,上一步完成以后,Linux的启动过程就算结束了,用户已经可以看到命令行提示符或者图形界面了。但是,为了内容的完整,必须再介绍一下这一步。

用户进入操作系统以后,常常会再手动开启一个shell。这个shell就叫做 non-login shell,意思是它不同于登录时出现的那个shell,不读取/etc/profile.profile等配置文件。

clip_image008

non-login shell的重要性,不仅在于它是用户最常接触的那个shell,还在于它会读入用户自己的bash配置文件 ~/.bashrc。大多数时候,我们对于bash的定制,都是写在这个文件里面的。

你也许会问,要是不进入 non-login shell,岂不是.bashrc就不会运行了,因此bash 也就不能完成定制了?事实上,Debian已经考虑到这个问题了,请打开文件 ~/.profile,可以看到下面的代码:

 

  if [ n $BASH_VERSION ]; then

    if [ f $HOME/.bashrc” ]; then

      . $HOME/.bashrc”

    fi

  fi

  

上面代码先判断变量 $BASH_VERSION 是否有值,然后判断主目录下是否存在 .bashrc 文件,如果存在就运行该文件。第三行开头的那个点,是source命令的简写形式,表示运行某个文件,写成“source ~/.bashrc”也是可以的。

因此,只要运行~/.profile文件,~/.bashrc文件就会连带运行。但是上一节的第一种情况提到过,如果存在~/.bash_profile文件,那么有可能不会运行~/.profile文件。解决这个问题很简单,把下面代码写入.bash_profile就行了。

 

  if [ f ~/.profile ]; then

    . ~/.profile

  fi

  

这样一来,不管是哪种情况,.bashrc都会执行,用户的设置可以放心地都写入这个文件了。

Bash的设置之所以如此繁琐,是由于历史原因造成的。早期的时候,计算机运行速度很慢,载入配置文件需要很长时间,Bash的作者只好把配置文件分成了几个部分,阶段性载入。系统的通用设置放在 /etc/profile,用户个人的、需要被所有子进程继承的设置放在.profile,不需要被继承的设置放在.bashrc

顺便提一下,除了Linux以外, Mac OS X 使用的shell也是Bash。但是,它只加载.bash_profile,然后在.bash_profile里面调用.bashrc。而且,不管是ssh登录,还是在图形界面里启动shell窗口,都是如此。

参考链接

[1] Debian Wiki, Environment Variables

[2] Debian Wiki, Dot Files

[3] Debian Administration, An introduction to run-levels

[4] Debian AdminDebian and Ubuntu Linux Run Levels

[5] Linux Information Project (LINFO), Runlevel Definition

[6] LinuxQuestions.org, What are run levels?

[7] Dalton Hubble, Bash Configurations Demystified

(完)

 

signal

Linux系统编程信号

信号的概念

clip_image001

       信号时提供处理异步事件机制的软件中断。这些事件可以来自系统外部(用户能够通过输入CTRL+cCtrl+\,或者是终端驱动程序分配给信号控制字符的其他任何键来请求内核产生信号;),或者来自程序或内核内部的活动(内核:当进程执行出错时,内核会给进程发送一个信号,例如非法段存取(内存访问违规)、浮点数溢出等;进程:一个进程可以通过系统调用kill给另一个进程发送信号,一个进程可以通过信号和另外一个进程进行通信。由进程的某个操作产生的信号称为同步信号(synchronous signals),例如除0;由象用户击键这样的进程外部事件产生的信号叫做异步信号。(asynchronous signals))。

       这里要注意的是,不仅仅事件的发生是异步的,程序对信号的处理也是异步的。

三个处理信号过程

clip_image002

l  接收默认处理:接收默认处理的进程通常会导致进程本身消亡。例如连接到终端的进程,用户按下CTRL+c,将导致内核向进程发送一个SIGINT的信号,进程如果不对该信号做特殊的处理,系统将采用默认的方式处理该信号,即终止进程的执行;

l  忽略信号:进程可以通过代码,显示地忽略某个信号的处理,例如:signal(SIGINT,SIGDEF);但是某些信号是不能被忽略的;

l  捕捉信号并处理:进程可以事先注册信号处理函数,当接收到信号时,由信号处理函数自动捕捉并且处理信号。

l  注意:有两个信号既不能被忽略也不能被捕捉,它们是SIGKILLSIGSTOP。即进程接收到这两个信号后,只能接受系统的默认处理,即终止线程。

Linux支持的信号列表

可以使用kill –l来查看linux支持的信号列表

clip_image003

信号处理函数的过程:

(1)注册信号处理函数

 信号的处理是由内核来代理的,首先程序通过sigalsigaction函数为每个信号注册处理函数,而内核中维护一张信号向量表,对应信号处理机制。这样,在信号在进程中注销完毕之后,会调用相应的处理函数进行处理。

(2)信号的检测与响应时机

在系统调用或中断返回用户态的前夕,内核会检查未决信号集,进行相应的信号处理。

(3)处理过程:

程序运行在用户态时->进程由于系统调用或中断进入内核->转向用户态执行信号处理函数->信号处理函数完毕后进入内核->返回用户态继续执行程序

 首先程序执行在用户态,在进程陷入内核并从内核返回的前夕,会去检查有没有信号没有被处理,如果有且没有被阻塞就会调用相应的信号处理程序去处理。首先,内核在用户栈上创建一个层,该层中将返回地址设置成信号处理函数的地址,这样,从内核返回用户态时,就会执行这个信号处理函数。当信号处理函数执行完,会再次进入内核,主要是检测有没有信号没有处理,以及恢复原先程序中断执行点,恢复内核栈等工作,这样,当从内核返回后便返回到原先程序执行的地方了。

fork信号

clip_image005

当使用fork()函数时,子进程会继承父进程完全相同的信号语义,这也是有道理的,因为父子进程共享一个地址空间,所以父进程的信号处理程序也存在于子进程中。

 

the meaning of postfix(.a,.la,.o,.so) and realize by programming

linux.a,.la,.o,.so文件的意义和编程实现

后缀含义

Linux下文件的类型是不依赖于其后缀名的,但一般来讲:

l  .o,是目标文件,相当于windows中的.obj文件

l  .so 为共享库,shared object,用于动态连接的,dll差不多

l  .a为静态库,是好多个.o合在一起,用于静态连接

l  .lalibtool自动生成的一些共享库,vi编辑查看,主要记录了一些配置信息。可以用如下命令查看.la文件的格式 $file .la .la: ASCII English text,所以可以用vi来查看其内容。

创建.a库文件和.o库文件:

$ gcc -c a.c

$ ar -rc a.a a.o

ar: creating a.a

动态库的编译

假定有三个.c文件:a.cb.cc.c,我们将这几个文件编译成一个动态库:libtest.so

$ gcc a.c b.c c.c -fPIC -shared -o libtest.so

动态库的链接

在上面,我们已经成功生成了一个自己的动态链接库libtest.so,下面我们通过一个程序来调用这个库里的函数。程序的源文件为:test.c

l test.c与动态库libtest.so链接生成执行文件test

$ gcc test.c -L. -ltest -o test

l 测试是否动态连接,如果列出libtest.so,那么应该是连接正常了

$ ldd test

l 执行test,可以看到它是如何调用动态库中的函数的。

编译参数解析

最主要的是GCC命令行的一个选项:

-shared 该选项指定生成动态连接库(让连接器生成T类型的导出符号表,有时候也生成弱连接W类型的导出符号),不用该标志外部程序无法连接。相当于一个可执行文件

-fPIC表示编译为位置独立的代码,不用此选项的话编译后的代码是位置相关的所以动态载入时是通过代码拷贝的方式来满足不同进程的需要,而不能达到真正代码段共享的目的,所以动态库必须要有此选项

-L.:表示要连接的库在当前目录中

-ltest:编译器查找动态连接库时有隐含的命名规则,即在给出的名字前面加上lib,后面加上.so来确定库的名称

LD_LIBRARY_PATH:这个环境变量指示动态连接器可以装载动态库的路径。

当然如果有root权限的话,可以修改/etc/ld.so.conf文件,然后调用 /sbin/ldconfig来达到同样的目的,不过如果没有root权限,那么只能采用输出LD_LIBRARY_PATH的方法了。

注意

调用动态库的时候有几个问题会经常碰到,有时,明明已经将库的头文件所在目录 通过 “-I” include进来了,库所在文件通过“-L”参数引导,并指定了“-l”的库名,但通过ldd命令察看时,就是死活找不到你指定链接的so文件,这时你要作的就是通过修改LD_LIBRARY_PATH或者/etc/ld.so.conf文件来指定动态库的目录。通常这样做就可以解决库无法链接的问题了。

makefile里面怎么正确的编译和连接生成.so库文件,然后又是在其他程序的makefile里面如何编译和连接才能调用这个库文件的函数:我们需要告诉动态链接器、加载器ld.so在哪里才能找到这个共享库,可以设置环境变量把库的路径添加到库目录/lib/usr/libLD_LIBRARY_PATH=$(pwd),这种方法采用命令行方法不太方便,一种替代方法

LD_LIBRARY_PATH可以在/etc/profile还是 ~/.profile还是 ./bash_profile里设置,或者.bashrc里,改完后运行source /etc/profile . /etc/profile更好的办法是

添入/etc/ld.so.conf, 然后执行 /sbin/ldconfig

 

the use of patch

patch的使用

软件发行后,如果发现软件的漏洞或者希望增强或升级软件,此时可能也就修改了部分源码,可以通过patch来完成。patchLarry wall编写,他也是perl的作者。

       方法:

       diff old.c new.c > diffs   产生原来文件和更新文件的差异之处

       patch old.c diffs        old升级到新文件

如果不喜欢刚才的修改,可以使用-R选项来反向补丁,撤销到原来的数据

       patch –R old.c diffs

所以,如果在某个程序中发现了漏洞并进行了修补,可以给程序的作者发送一个补丁,而不只是对修补的描述,这样会更容易对文件做出修改。

错误处理

错误处理

有两个非常有用的函数可以用来报告出现的错误,它们是strerrorperror

其中strerror函数把错误编码映射为一个字符串,该字符串对发生的错误类型进行说明,原型为:char *strerror(int errnum);

而函数perror也把error变量中报告的当前错误映射到一个字符串,并把它输出到标准错误输出流,该字符串的前面先加上参数s给出的信息,在加上一个冒号和空格。原型为void perror(const char *s);