The TCP network programming based on Linux

基于LinuxTCP网络编程

.LinuxTCP编程框架

clip_image001

TCP网络编程的流程包含服务器和客户端两种模式。服务器模式创建一个服务程序,等待客户端用户的连接,接收到用户的连接请求后,根据用户的请求进行处理;客户端模式则根据目的服务器的地址和端口进行连接,向服务器发送请求并对服务器的响应进行数据处理。

1.服务器端程序包括

Ø  Ø  建立套接字( socket()

Ø  Ø  套接字与端口的绑定(bind())

Ø  Ø  设置服务器的侦听连接(listen()

Ø  Ø  接收客户端连接(accept()

Ø  Ø  接收和发送数据(send(),recv()

Ø  Ø  关闭套接字(close())

2.说明

1>套接字初始化过程中,根据用户对套接字的需求来确定套接字的选项。按照用户定义的网络类型,协议类型和具体的协议标号等参数来定以socket()函数。系统根据用户的需求生成一个套接字文件描述符供用户使用。

2>套接字与端口的绑定过程中,将套接字与一个地址结构进行绑定。绑定之后,套接字所代表IP地址和端口地址及协议类型等参数按照绑定值进行操作。

3>由于一个服务器需要满足多个客户端的连接请求,而服务器在某个时间仅能处理有限个数的客户端连接请求,所以服务器需要设置服务器端排队队列的长度。

4>在客户端发送连接请求之后,服务器需要接收客户端的连接,然后才能进行其他的处理。

5>在服务器接收客户端请求之后,可以从套接字文件描述符中读取数据或者向文件描述符发送数据。接收数据后服务器按照定义的规则对数据进行处理,并将结果发送给客户端。

6>当服务器处理完数据,要结束与客户端的通信过程的时候,需要关闭套接字连接

2.客户端程序包括

Ø  Ø  建立套接字(socket())

Ø  Ø  连接服务器(connect())

Ø  Ø  读写网络数据(send(),recv())

Ø  Ø  关闭套接字(close())

3.服务器端和客户端程序的区别

客户端程序和服务器端程序不同之处是客户端在建立套接字之后可以不进行地址绑定,而是直接连接服务器端。

服务器端有listen()accept()两个函数,而客户端不需要这两个函数。

.基于LinuxTCP套接字函数

1. socket

1> 函数原型:

int socket(int domain,int type,int protocol)

2> 函数功能:

函数socket()用于创建一个套接字描述符。

3> 形参:

Ø  domain:用于指定创建套接字所使用的协议族,在头文件

<linux/socket.h>中定义。有时候程序中会使用PF_INET,在头文件中AF_INETPF_INET的数值是一致的。

常见的协议族如下:

AF_UNIX:创建只在本机内进行通信的套接字。

AF_INET:使用IPv4TCP/IP协议

AF_INET6:使用IPv6 TCP/IP协议

说明:

AF_UNIX只能用于单一的UNIX系统进程间通信,而AF_INET是针对Interne的,因而可以允许在远程主机之间通信。一般把它赋为AF_INET

Ø  type:指明套接子通信的类型,对应的参数如下

SOCK_STREAM:创建TCP流套接字

SOCK_DGRAM:创建UDP数据报套接字

SOCK_RAW:创建原始套接字

Ø  protocol:指定某个协议的特定类型

参数protocol通常设置为0,表示通过参数domain指定的协议族和参数type指定的套接字类型来确定使用的协议。当为原始套接字时,系统无法唯一的确定协议,此时就需要使用使用该参数指定所使用的协议。

4> 返回值:执行成功后返回一个新创建的套接字;若有错误发生则返回一个-1,错误代码存入errno中。

5> 举例:调用socket函数创建一个UDP套接字

int sock_fd;

sock_fd = socket(AF_INET,SOCK_DGRAM,0);

if(sock_fd< 0){

       perror(“socket”);

       exit(1);

}

2. bind

1> 函数原型:

int bind(int sockfd,struct sockaddr *my_addr,socklen_t addrlen)

2> 函数功能

函数bind()的作用是将一个套接字文件描述符与地址和端口绑定。

3> 形参:

Ø  sockfd:sockfd是调用socket函数返回的文件描述符;

Ø  addrlensockaddr结构的长度。

Ø  my_addr: 是一个指向sockaddr结构的指针,它保存着本地套接字的地址(即端口和IP地址)信息。不过由于系统兼容性的问题,一般不使用这个结构,而使用另外一个结构(structsockaddr_in)来代替

4> 套接字地址结构:

(1)struct sockaddr:

结构struct  sockaddr定义了一种通用的套接字地址,它在

sys/socket.h 中定义。

struct sockaddr{

       unsigned short  sa_family;/*地址类型,AF_XXX*/

       char          sa_data[14];/*14字节的协议地址*/

}

a. sin_family:表示地址类型,对于使用TCP/IP协议进行的网络编程,该值只能是AF_INET.

b. sa_data:存储具体的协议地址。

(2)sockaddr_in

每种协议族都有自己的协议地址格式,TCP/IP协议组的地址格式为结构体struct sockaddr_in,它在netinet/in.h头文件中定义。

structsockaddr_in{

   unsigned short  sin_family;/*地址类型*/

   unsigned short  sin_port;/*端口号*/

   struct in_addr   sin_addr;/*IP地址*/

   unsigned char  sin_zero[8];/*填充字节,一般赋值为0*/

}

a. sin_family:表示地址类型,对于使用TCP/IP协议进行的网络编程,该值只能是AF_INET.

b. sin_port:是端口号

c. sin_addr:用来存储32位的IP地址。

d. 数组sin_zero为填充字段,一般赋值为0.

e. struct in_addr的定义如下:

structin_addr{

                     unsigned long s_addr;

}

结构体sockaddr的长度为16字节,结构体sockaddr_in的长度为16字节。可以将参数my_addrsin_addr设置为INADDR_ANY而不是某个确定的IP地址就可以绑定到任何网络接口。对于只有一IP地址的计算机,INADDR_ANY对应的就是它的IP地址;对于多宿主主机(拥有多个网卡)INADDR_ANY表示本服务器程序将处理来自所有网络接口上相应端口的连接请求

5> 返回值:

函数成功后返回0,当有错误发生时则返回-1,错误代码存入errno中。

6>举例:调用socket函数创建一个UDP套接字

struct sockaddr_in addr_serv,addr_client;/*本地的地址信息*/

memset(&serv_addr,0,sizeof(structsockaddr_in));

addr_serv.sin_family= AF_INET;/*协议族*/

addr_serv.sin_port= htons(SERV_PORT);/*本地端口号*/

addr_serv.sin_addr.s_addr= htonl(INADDR_ANY); /*任意本地地址*/
/*
套接字绑定
*/

if(bind(sock_fd,(structsockaddr *)&addr_serv),sizeof(struct sockaddr_in)) <0)

{

       perror(“bind”);

       exit(1);

}

3. 监听本地端口listen()

1>函数功能:函数listen()用来初始化服务器可连接队列,服务器处理客户端连接请求的时候是顺序处理的,同一时间仅能处理一个客户端连接。当多个客户端的连接请求同时到来的时候,服务器并不是同时处理,而是将不能处理的客户端连接请求放到等待队列中,这个队列的长度由listen()函数来定义。

2>函数原型:

#includ<sys/socket.h>

int listen(int sockfd,int backlog);

3>形参

Ø  sockfd: sockfd是调用socket函数返回的文件描述符

Ø  backlog:指定该连接队列的最大长度。如果连接队列已经达到最大,之后的连接请求被服务器拒绝。大多数系统的设置为20,可以将其设置修改为5或者10,根据系统可承受负载或者应用程序的需求来确定。

4>返回值:当listen()函数成功运行时,返回值为0;当运行失败时,它的返回值为-1,错误代码存入errno中。

5>.listen()函数的例子:

#define SERV_PORT 3000

int main(int argc,char *argv[])

{

int sock_fd;

struct sockaddr_in addr_serv,addr_client;/*本地的地址信息*/

sock_fd = socket(AF_INET,SOCK_DGRAM,0);

if(sock_fd< 0){

       perror(“socket”);

       exit(1);

}

memset(&serv_addr,0,sizeof(structsockaddr_in));

addr_serv.sin_family= AF_INET;/*协议族*/

addr_serv.sin_port= htons(SERV_PORT);/*本地端口号*/

addr_serv.sin_addr.s_addr= htonl(INADDR_ANY); /*任意本地地址*/
/*
套接字绑定
*/

if(bind(sock_fd,(structsockaddr *)&addr_serv),sizeof(struct sockaddr_in)) <0)

{

       perror(“bind”);

       exit(1);

}

//设置服务器侦听队列的长度

if(listen(sock_fd,5) <0){

       perror(“listen”);

       exit(1);

}

4. accept(接收一个网络请求)

1>函数功能:

当一个客户端的连接请求到达服务器主机侦听的端口时,此时客户端的连接会在队列中等待,知道使用服务器处理接收请求。

函数accept()成功执行后,会返回一个新的套接口文件描述符来表示客户端的连接,客户端连接的信息可以通过这个新描述符来获得。因此当服务器成功处理客户端的请求连接后,会有两个文件描述符,老的文件描述符表示客户端的连接,函数send()recv()通过新的文件描述符进行数据收发。

2>函数原型:

#include<sys/types.h>

#include<sys/socket.h>

int accept(int sock_fd,struct sockaddr*addr,socklen_t *addrlen);

3>形参

Ø  sock_fd:是由函数socket创建,经函数bind绑定到本地某一端口上,然后通过函数listen转化而来的监听套接字。

Ø  addr:用来保存发起连接请求的主机的地址和端口。

Ø  addrlenaddr 所指向的结构体的大小。

4>返回值:accept()函数的返回值是新连接的客户端套接字文件描述符,与客户端之间的通信是通过accept()返回的新套接字文件描述符来进行的,而不是通过建立套接字时的文件描述符。如果accept()函数发生错误,accept()会返回-1,通过errno可以得到错误值。

5>如果参数sock_fd所指定的套接字被设置为阻塞方式(Linux下的默认方式),且连接请求队列为空,则accept()将被阻塞直到有连接请求到此为止;如果参数s所指定的套接字被设置为非阻塞方式,如果队列为空,accept将立即返回-1errno被设置为EAGAIN.

6>实例:

int client_fd;

int client_len;

struct sockaddr_in  client_addr;

client_len = sizeof(struct sockaddr_in);

client_fd = accept(sock_fd,(struct sockaddr *)&client_addr,&client_len);

if(conn_fd< 0){

       perror(“accept”);

exit(1);

}

5. connect(连接目标网络服务器)

1>函数功能:

客户端在建立套接字之后,不需要进行地址绑定,就可以直接连接服务器。连接服务器的函数为connect(),此函数连接指定参数的服务器,例如IP地址,端口号。

如果是TCP编程,则connect()函数用于服务器发出连接请求,服务器的IP地址和端口号由 参数serv_addr指定。

如果是UDP编程,则connect函数并不建立真正的连接,它只是告诉内核与该套接字进行通信的目的地址(由第二个参数指定),只有该目的地址发来的数据才会被该socket接收。调用connect函数的好处是不必在每次发送和接收数据时都指定目的地址。

2>函数原型:

#include<sys/types.h>

#include<sys/socket.h>

int connect(int sock_fd,struct sockaddr  *serv_addr,socklen_taddrlen);

3>形参:

Ø  sock_fd:建立套接字时返回的套接字文件描述符,调用socket()返回的。

Ø  serv_addr:是一个指向数据结构sockaddr的指针,其中包括客户端需要连接的服务器的目的IP地址和端口号。

Ø  addrlen:表示了第二了参数的大小,可以使用sizeof(struct sockaddr)

4>执行成功后返回0,有错误发生则返回-1,错误代码存入errno中。

5>实例:

int sock_fd;

struct sockaddr_in serv_addr;
if(-1 == (sock_fd == socket(AF_INET,SOCK_STREAM,0))){

              printf(“Error: Unable to createsocket(%i)…\n”,errno);

              perror(“sockets”);

              exit(1);

}

memset(&serv_addr,0,sizeof(structsockaddr_in));

serv_addr.sin_family= AF_INET;

serv_addr.sin_port= htons(DEST_PORT);

serv_addr.sin_addr.s_addr= inet(DEST_IP_ADDRESS);

if(-1== connect(sock_fd,(struct sockaddr *)&serv_add,sizeof(struct sockaddr))){

       printf(“Error:unable to the establishconnection to socket(%i)…\n”,errno);

       perror(“socks”);

       close(sock_fd);

       exit(1);

}

6. send(发送数据)

1>函数功能:函数send用来在TCP套接字上发送数据,send只能对处于连接状态的套接字使用。

2>函数原型

#include<sys/types.h>

#include<sys/socket.h>

ssize_t send(int conn_fd,const void *msg,size_t len, int flags);

3>函数形参:

Ø  conn_fd:为已建立好连接的套接字描述符,即调用accept()函数后返回的套接字描述符。

Ø  msg:存放发送数据的缓冲区。

Ø  len:发送缓冲区的长度

Ø  flags:为控制选项,一般设置为0,或取以下值:

²  MSG_OOB:在指定的套接字上发送带外数据(out-of-band data,该类型的套接字必须支持带外数据(如:SOCK_STREAM.

²  MSG_DONTROUTE:通过最直接的路径发送数据,而忽略下层协议的路由设置。

4>返回值:

执行成功返回实际发送数据的字节数,出错则返回-1,错误代码存入errno中。

执行成功只是说明数据写入套接字的缓冲区中,并不表示数据已经成功地通过网络发送到目的地。

5>实例:

#define  BUFFERSIZE  1500

char  send_buf[BUFFERSIZE];

……

if(send(conn_fd,send_buf,len,0)< 0){

       perror(“send”);

exit(1);

}

7. recv(接收数据)

1>函数功能:recv()用来TCP套接字上接收数据。函数recv从指定的套接字描述符上接收数据并保存到指定buf中。

2>函数原型

#include<sys/types.h>

#include<sys/socket.h>

ssize_t recv(int conn_fd,void *buf,size_t len,int flags);

3>函数形参:

Ø  conn_fd: 为已建立好连接的套接字描述符,即调用accept()函数后返回的套接字描述符

Ø  buf:接收缓冲区

Ø  len:接收缓冲区的大小

Ø  flags:为控制选项,一般设置为0或取以下数值

²  MSG_OOB:请求接收带外数据

²  MSG_PEEK:只查看数据而不读出

²  MSG_WAITALL:只在接收缓冲区满时才返回。

4>函数返回值

函数执行成功返回接收到的数据字节数,出错返回-1,错误代码存入errno中。

5>实例:

#define  BUFFERSIZE  1500

char recv_buf[BUFFERSIZE];

……

if(recv(conn_fd,recv_buf,sizeof(recv_buf),0)< 0){

       perror(“recv”);

exit(1);

}

8. close

1>函数原型:

int  close(int fd);

2>函数功能:

函数close用来关闭一个套接字描述符。

3>函数形参:

Ø  参数fd为一个套接字描述符。

4>返回值:

执行成功返回0,出错则返回-1.错误代码存入errno中。

说明:close()函数的头文件是#include<unistd.h>.

.基于LinuxTCP套接字编程实例

1.实例程序分为服务器端和客户端,客户端把Hello tigerjibo发送给服务器端;服务器端接收到字符串后,发送接收到的总字符串个数给客户端;

clip_image002

2.服务器端程序:

clip_image003

clip_image004

  1 #include<stdio.h>
  2 #include<stdlib.h>
  3 #include<string.h>
  4 #include<errno.h>
  5
  6
  7 #include<sys/types.h>
  8 #include<sys/socket.h>
  9 #include<unistd.h>//close()
10 #include<netinet/in.h>//struct sockaddr_in
11 #include<arpa/inet.h>//inet_ntoa
12 #define  QUEUE_LINE  12
13 #define  SOURCE_PORT 8000
14
15 #define  SOURCE_IP_ADDRESS “192.168.1.6”
16
17 void process_info(int s)
18 {
19         int recv_num;
20         int send_num;
21         char recv_buf[50];
22         char send_buf[50];
23         while(1){
24                 printf(“begin recv:\n”);
25                 recv_num = recv(s,recv_buf,sizeof(recv_buf),0);
26                 if(recv_num <0){
27                         perror(“recv”);
28                         exit(1);
29                 } else {
30                         recv_buf[recv_num] = ‘\0’;
31                         printf(“recv sucessful:%s\n”,recv_buf);
32                 }
33                 sprintf(send_buf,”recv %d numbers bytes\n”,recv_num);
34                 printf(“begin send\n”);
35                 send_num = send(s,send_buf,sizeof(send_buf),0);
36                 if (send_num < 0){
37                         perror(“sned”);
38                         exit(1);
39                 } else {

40                         printf(“send sucess\n”);
41                 }
42         }
43 }
44 int main()
45 {
46         int sock_fd,conn_fd;
47         int client_len;
48         pid_t pid;
49         struct sockaddr_in addr_serv,addr_client;
50         sock_fd = socket(AF_INET,SOCK_STREAM,0);
51         if(sock_fd < 0){
52                 perror(“socket”);
53                 exit(1);
54         } else {
55                 printf(“sock sucessful\n”);
56         }
57         //
初始化服务器端地址

58         memset(&addr_serv,0,sizeof(addr_serv));
59         addr_serv.sin_family = AF_INET;
60         addr_serv.sin_port = htons(SOURCE_PORT);
61         addr_serv.sin_addr.s_addr =inet_addr(SOURCE_IP_ADDRESS);
62         client_len = sizeof(struct sockaddr_in);
63         if(bind(sock_fd,(struct sockaddr *)&addr_serv,sizeof(struct sockaddr_in))<0){
64                 perror(“bind”);
65                 exit(1);
66         } else {
67                 printf(“bind sucess\n”);
68         }
69         if (listen(sock_fd,QUEUE_LINE) < 0){
70                 perror(“listen”);
71                 exit(1);
72         } else {
73                 printf(“listen sucessful\n”);
74         }
75         while(1){
76                  printf(“begin accept:\n”);
77                  conn_fd = accept(sock_fd,(struct sockaddr *)&addr_client,&client_len);

78                  if(conn_fd < 0){
79                         perror(“accept”);
80                         exit(1);
81                  }
82                  printf(“accept a new client,ip:%s\n”,inet_ntoa(addr_client.sin_addr));
83                  pid = fork();
84                  if(0 == pid){         //
子进程
85                         close(sock_fd);//
在子进程中关闭服务器的侦听
86                         process_info(conn_fd);//
处理信息
87                  } else {
88                         close(conn_fd);//
在父进程中关闭客户端的连接

89                  }
90         }
91
92 }

3.客户端程序:

clip_image005

clip_image006

  1 #include<stdio.h>
  2 #include<string.h>
  3 #include<stdlib.h>
  4 #include<errno.h>
  5
  6 #include<sys/types.h>
  7 #include<sys/socket.h>
  8 #include<unistd.h>//close()
  9 #include<netinet/in.h>//struct sockaddr_in
10 #include<arpa/inet.h>//inet_ntoa
11
12 #define DEST_PORT 8000
13 #define DEST_IP_ADDRESS “192.168.1.6”
14
15 /*
客户端的处理过程
*/
16 void process_info(int s)
17 {
18         int send_num;
19         int recv_num;
20         char send_buf[]=”tigerjibo”;
21         char recv_buf[50];
22         while(1){
23                 printf(“begin send\n”);
24                 send_num = send(s,send_buf,sizeof(send_buf),0);
25                 if (send_num < 0){
26                         perror(“send”);
27                         exit(1);
28                 } else {
29                         printf(“send sucess:%s\n”,send_buf);
30                 }
31                 printf(“begin recv:\n”);
32                 recv_num = recv(s,recv_buf,sizeof(recv_buf),0);
33                 if(recv_num < 0){
34                         perror(“recv”);
35                         exit(1);
36                 } else {
37                         recv_buf[recv_num]=’\0′;
38                         printf(“recv sucess:%s\n”,recv_buf);
39                 }

40         }
41 }
42 int main(int argc,char *argv[])
43 {
44         int sock_fd;
45         struct sockaddr_in addr_serv;//
服务器端地址

46
47         sock_fd = socket(AF_INET,SOCK_STREAM,0);
48         if(sock_fd < 0){
49                 perror(“sock”);
50                 exit(1);
51         } else {
52                 printf(“sock sucessful:\n”);
53         }
54         memset(&addr_serv,0,sizeof(addr_serv));
55         addr_serv.sin_family = AF_INET;
56         addr_serv.sin_port =  htons(DEST_PORT);
57         addr_serv.sin_addr.s_addr = inet_addr(DEST_IP_ADDRESS);
58        if( connect(sock_fd,(struct sockaddr *)&addr_serv,sizeof(struct sockaddr)) < 0){
59                 perror(“connect”);
60                 printf(“connect (%d)\n”,errno);
61                 exit(1);
62        } else {
63                 printf(“connect sucessful\n”);
64        }
65         process_info(sock_fd);
66         close(sock_fd);
67 }

 

non–standard alias for PG-function

非标准的一些函数

l  PGADVANCE — non-standard alias for PGPAGE

l  PGBEGIN — non-standard alias for PGBEG

l  PGCURSE — non-standard alias for PGCURS

l  PGLABEL — non-standard alias for PGLAB

l  PGMTEXT — non-standard alias for PGMTXT

l  PGNCURSE — non-standard alias for PGNCUR

l  PGPAPER — non-standard alias for PGPAP

l  PGPOINT — non-standard alias for PGPT

l  PGPTEXT — non-standard alias for PGPTXT

l  PGVPORT — non-standard alias for PGSVP

l  PGVSIZE — non-standard alias for PGVSIZ

l  PGVSTAND — non-standard alias for PGVSTD

l  PGWINDOW — non-standard alias for PGSWIN

PGADVANCE非标准的PGPAGE

PGBEGIN非标准的PGBEG

PGCURSE非标准的PGCURS

PGLABEL非标准的PGLAB

PGMTEXT非标准的PGMTXT

PGNCURSE非标准的PGNCUR

PGPAPER非标准的PGPAP

PGPOINT非标准的PGPT

PGPTEXT非标准的PGPTXT

PGVPORT非标准的PGSVP

PGVSIZE非标准的PGVSIZ

PGVSTAND非标准的PGVSTD

PGWINDOW非标准的PGSWIN

how to debug with some tips or tools

调试-linux程序设计

clip_image001

错误查找及纠正

有几种原因会造成程序的缺陷,针对每种原因,都有一些建议的方法来查找和纠正。比如功能定义错误,设计规划错误和代码编写错误

clip_image003

程序调试的5个阶段

clip_image005

使用printf来排错

       相信这个方法是N多人使用的方法

使用-Wall选项来排错

       在使用gcc编译的时候加上-Wall选项,可以提前发现很多的warnings

注释法

       将怀疑有错的程序块注释起来,查看一下结果,如此反复即可。

使用内置宏__FILE__

       灵活使用内置宏__LINE__,__FILE__,__DATE____TIME可以很快速地定位问题所在。

使用assert断言来预防错误的发生

       诸如分母不能为0的情况。

专业级别的gdb调试

       关于gdb的调试,参考:

clip_image006 clip_image008 clip_image010

静态分析调试工具

ctags

       参考:http://ctags.sourceforge.net/

       相信使用过vim的童鞋都晓得这个工具,ctagsGenerate tag files for source code)是vim下方便代码阅读的工具。尽管ctags也可以支持其它编辑器,但是它正式支持的只有VIM。并且VIM中已经默认安装了Ctags,它可以帮助程序员很容易地浏览源代码。

ctags 最先是用来生成C代码的tags文件,后来扩展成可以生成各类语言的tags, 有些语言也有专有的tags生成工具(比如javajtags, python ptags)

clip_image012

cxref

参考:http://www.gedanken.demon.co.uk/cxref/

Cxref是一款在LaTeXHTMLRTFSGML中将C代码生成文件的程序,包括从C程序源代码的交叉引用。它用于ANSI C,包含大多数gcc扩展,可以从代码中的注释进行生成适当格式的程序文档,交叉引用来自于代码本身并不需要额外的工作。

clip_image014

cflow

参考:http://www.gnu.org/software/cflow/

GNU cflow analyzes a collection of C source files and prints a graph, charting control flow within the program.

GNU cflow is able to produce both direct and inverted flowgraphs for C sources. Optionally a cross-reference listing can be generated. Two output formats are implemented: POSIX and GNU (extended).

Input files can optionally be preprocessed before analyzing.

The package also provides Emacs major mode for examining the produced flowcharts in Emacs.

clip_image016

动态分析调试工具

gprof

gprofGNU profiler工具。可以显示程序运行的“flat profile”,包括每个函数的调用次数,每个函数消耗的处理器时间。也可以显示调用图,包括函数的调用关系,每个函数调用花费了多少时间。还可以显示注释的源代码,是程序源代码的一个复本,标记有程序中每行代码的执行次数。

gprof编译程序


在编译或链接源程序的时候在编译器的命令行参数中加入“-pg”选项,编译时编译器会自动在目标代码中插入用于性能测试的代码片断,这些代码在程序在运行时采集并记录函数的调用关系和调用次数,以及采集并记录函数自身执行时间和子函数的调用时间,程序运行结束后,会在程序退出的路径下生成一个gmon.out文件。这个文件就是记录并保存下来的监控数据。可以通过命令行方式的gprof或图形化的Kprof来解读这些数据并对程序的性能进行分析。另外,如果想查看库函数的profiling,需要在编译是再加入“-lc_p”编译参数代替“-lc”编译参数,这样程序会链接libc_p.a库,才可以产生库函数的profiling信息。如果想执行一行一行的profiling,还需要加入“-g”编译参数。
例如如下命令行:
gcc -Wall -g -pg -lc_p example.c -o example

clip_image018

工具lint

lint是最著名的C语言工具之一,是由贝尔实验室SteveJohnson1979PCC(PortableC Compiler)基础上开发的静态代码分析,一般由UNIX系统提供。与大多数C语言编译器相比,lint可以对程序进行更加广泛的错误分析,是一种更加严密的编译工具。最初,lint这个工具用来扫描C源文件并对源程序中不可移植的代码提出警告。但是现在大多数lint实用程序已经变得更加严密,它不但可以检查出可移植性问题,而且可以检查出那些虽然可移植并且完全合乎语法但却很可能是错误的特性。

随着历史的推移,Lint后来形成了一系列的工具,包括PC-Lint/FlexeLint(Gimpel),LintPlus(Cleanscape)以及Splint

clip_image019

内存调试工具ElectricFence

clip_image020

参考:http://directory.fsf.org/wiki/Electric_Fence

       实际运行环境中经常比较困扰的问题是内存产生轻微越界,但是并没有立刻产生问题, 给调查带来很大难度。

如果程序问题调查没有头绪,可以借助 Electric Fence (简称 Efence )工具检查内存问题并产生 CORE 文件,比较精确的定位问题场所。

       在发生如下问题的情况下此工具会转储 CORE

1 )动态分配内存边界外的读写操作

2 )访问已经 free 的内存

3 free 的地址不是 malloc() 分配的

Valgrind

       参考:http://valgrind.org/

Valgrind是一款用于内存调试、内存泄漏检测以及性能分析的软件开发工具。

clip_image021

linux system programming–memory management

Linux系统编程内存管理

clip_image001

对于一个进程而言,内存是最基本也是最重要的资源。

      内存管理包括存储器分配allocation,内存操控manipulation,和内存释放release

      像所有的现代操作系统一样,Linux将它的物理内存虚拟化,进程并不能直接在物理内存上寻址,而是由linux内核为每个进程维护一个特殊的虚拟地址空间virtual address space,这个地址空间是线性的,从零到最大值。

页面调度算法

目前有许多页面调度算法,本实验主要涉及先进先出调度算法、最近最少调度算法、最近最不常用调度算法。本实验使用页面调度算法时作如下假设,进程在创建时由操作系统为之分配一个固定数目物理页,执行过程中物理页的数目和位置不会改变。也即进程进行页面调度时只能在分到的几个物理页中进行。

下面对各调度算法的思想作一介绍。

<1> 先进先出调度算法

先进先出调度算法根据页面进入内存的时间先后选择淘汰页面,先进入内存的页面先淘汰,后进入内存的后淘汰。本算法实现时需要将页面按进入内存的时间先后组成一个队列,每次调度队首页面予以淘汰。

<2>最近最少调度算法

先进先出调度算法没有考虑页面的使用情况,大多数情况下性能不佳。根据程序执行的局部性特点,程序一旦访问了某些代码和数据,则在一段时间内会经常访问他们,因此最近最少用调度在选择淘汰页面时会考虑页面最近的使用,总是选择在最近一段时间以来最少使用的页面予以淘汰。算法实现时需要为每个页面设置数据结构记录页面自上次访问以来所经历的时间。

<3>最近最不常用调度算法

由于程序设计中经常使用循环结构,根据程序执行的局部性特点,可以设想在一段时间内经常被访问的代码和数据在将来也会经常被访问,显然这样的页面不应该被淘汰。最近最不常用调度算法总是根据一段时间内页面的访问次数来选择淘汰页面,每次淘汰访问次数最少的页面。算法实现时需要为每个页面设置计数器,记录访问次数。计数器由硬件或操作系统自动定时清零。

缺页调度次数和缺页中断率、缺页置换率计算

缺页中断次数是缺页时发出缺页中断的次数。

缺页中断率=缺页中断次数/总的页面引用次数*100%

缺页调度次数是调入新页时需要进行页面调度的次数

缺页置换率=缺页调度次数/总的页面引用次数*100%

动态内存分配(Dynamic Memory Allocation)就是指在程序执行的过程中动态地分配或者回收存储空间的分配内存的方法。动态内存分配不象数组等静态内存分配方法那样需要预先分配存储空间,而是由系统根据程序的需要即时分配,且分配的大小就是程序要求的大小。

fflush a stream

清洗一个流

clip_image002

      前面说过,对于用户缓冲虽然有很大的好处,但是也有一定的风险,就是断电后可能会有数据尚未写入磁盘,导致数据丢失。

      标准IO提供了一个用来将用户缓冲区写入内核,并且保证所有的数据都通过write写出的函数,fflush函数提供了这一功能。

      调用fflush以后,立即调用fsync,就可以先保证用户缓冲区被写入内核,然后保证内核缓冲区被写入到磁盘。

     其实,对于有些输入,由于缓冲的影响,可能会导致stdout暂时看不到,此时就可以通过fflush(stdout)来立即查看。fflush(stdin)刷新标准输入缓冲区,把输入缓冲区里的东西丢弃,fflush(stdout)刷新标准输出缓冲区,把输出缓冲区里的东西打印到标准输出设备上,比如printf(“。。。。。。。。。。。“);后面加fflush(stdout);可提高打印效率