亲宝软件园·资讯

展开

曹工说Redis源码(4)-- 通过redis server源码来理解 listen 函数中的 backlog 参数

三国梦回 人气:2

文章导航

Redis源码系列的初衷,是帮助我们更好地理解Redis,更懂Redis,而怎么才能懂,光看是不够的,建议跟着下面的这一篇,把环境搭建起来,后续可以自己阅读源码,或者跟着我这边一起阅读。由于我用c也是好几年以前了,些许错误在所难免,希望读者能不吝指出。

曹工说Redis源码(1)-- redis debug环境搭建,使用clion,达到和调试java一样的效果

曹工说Redis源码(2)-- redis server 启动过程解析及简单c语言基础知识补充

曹工说Redis源码(3)-- redis server 启动过程完整解析(中)

本讲主题

早上,技术群里,有个同学问了个问题:

这样看来,还是有部分同学,对backlog这个参数,不甚了解,所以,干脆本讲就讲讲这个话题。

本来可以直接拿java来举例,不过这几天正好在看redis,而且 redis server就是服务端,也是对外提供监听端口的,而且其用 c 语言编写,直接调用操作系统的api,不像java那样封装了一层,我们直接拿redis server的代码来分析,就能离真相更近一点。

我会拿一个例子来讲,例子里的代码,是直接从redis的源码中拷贝的,一行没改,通过这个例子,我们也能更理解redis一些。

demo讲解

backlog参数简单讲解

比如我监听某端口,那么客户端可以来同该端口,建立socket连接;正常情况下,服务端(bio模式)会一直阻塞调用accept。

大家想过没有,accept是怎么拿到这个新进来的socket的?其实,这中间就有个阻塞队列,当队列没有元素的时候,accept就会阻塞在这个队列的take操作中,所以,我个人感觉,accept操作,其实和队列的从队尾或队头取一个元素,是一样的。

当新客户端建立连接时,完成了三次握手后,就会被放到这个队列中,这个队列,我们一般叫做:全连接队列。

而这个队列的最大容量,或者说size,就是backlog这个整数的大小。

正常情况下,只要服务端程序,accept不要卡壳,这个backlog队列多大多小都无所谓;如果设置大一点,就能在服务端accept速度比较慢的时候,起到削峰的作用,怎么感觉和mq有点像,哈哈。

说完了,下面开始测试了,首先测试程序正常accept的情况。

main测试程序


int main() {
    // 1
    char *pVoid = malloc(10);
    // 2
    int serverSocket = anetTcpServer(pVoid, 6380, NULL, 2);
    printf("listening...");
    
    while (1) {
        int fd;
        struct sockaddr_storage sa;
        socklen_t salen = sizeof(sa);
		// 3
        char* err = malloc(20);
        // 4
        if ((fd = anetGenericAccept(err, serverSocket, (struct sockaddr*)&sa, &salen)) == -1)
            return ANET_ERR;
        printf("accept...%d",fd);
    }
}
  • 1处,我们先分配了一个10字节的内存,这个主要是存放错误信息,在c语言编程中,不能像高级语言一样抛异常,所以,返回值一般用来返回0/1,表示函数调用的成功失败;如果需要在函数内部修改什么东西,一般就会先new一个内存出来,然后把指针传进去,然后在里面就对这片内存空间进行操作,这里也是一样。

  • anetTcpServer 是我们自定义的,内部会实现如下逻辑:在本机的6380端口上进行监听,backlog参数即全连接队列的size,设为2。如果出错的话,就会把错误信息,写入1处的那个内存中。

    这一步调用完成后,端口就起好了。

  • 3处,同样分配了一点内存,供accept连接出错时使用,和1处作用类似

  • 4处,调用accept去从队列取连接

anetTcpServer,监听端口

int anetTcpServer(char *err, int port, char *bindaddr, int backlog) {
    return _anetTcpServer(err, port, bindaddr, AF_INET, backlog);
}


static int _anetTcpServer(char *err, int port, char *bindaddr, int af, int backlog) {
    int s, rv;
    char _port[6];  /* strlen("65535") */
    struct addrinfo hints, *servinfo, *p;

    snprintf(_port, 6, "%d", port);
    // 1
    memset(&hints, 0, sizeof(hints));
    hints.ai_family = af;
    hints.ai_socktype = SOCK_STREAM;
    hints.ai_flags = AI_PASSIVE;    /* No effect if bindaddr != NULL */
	
    // 2
    if ((rv = getaddrinfo(bindaddr, _port, &hints, &servinfo)) != 0) {
        anetSetError(err, "%s", gai_strerror(rv));
        return ANET_ERR;
    }
    for (p = servinfo; p != NULL; p = p->ai_next) {
        // 3
        if ((s = socket(p->ai_family, p->ai_socktype, p->ai_protocol)) == -1)
            continue;
		// 4
        if (anetSetReuseAddr(err, s) == ANET_ERR) goto error;
        // 5
        if (anetListen(err, s, p->ai_addr, p->ai_addrlen, backlog) == ANET_ERR) goto error;
        goto end;
    }

    error:
    	s = ANET_ERR;
    end:
    	freeaddrinfo(servinfo);
    return s;
}
  • 1处,new一个结构体,c语言中,new一个对象比较麻烦,要先定义一个结构体类型的变量,如struct addrinfo hints,,然后调用memset来初始化内存,然后设置各个属性。总体来说,这里就是new了一个ipv4的地址

  • 2处,因为一般服务器都有多网卡,多个ip地址,还有环回网卡之类的,这里的getaddrinfo,是利用我们第一步的hints,去帮助我们筛选出一个最终的网卡地址出来,然后赋值给 servinfo 变量。

    这里可能有不准确的地方,大家可以直接看官方文档:

    int getaddrinfo(const char *node, const char *service,
    const struct addrinfo *hints,
    struct addrinfo **res);

    Given node and service, which identify an Internet host and a service, getaddrinfo() returns one or more addrinfo structures, each of which contains an Internet address that can be specified in a call to bind(2) or connect(2).

  • 3处,使用第二步拿到的地址,new一个socket

  • 4处,anetSetReuseAddr,设置SO_REUSEADDR选项,我简单查了下,可参考:

    [socket常见选项之SO_REUSEADDR,SO_REUSEPORT]

    SO_REUSEADDR
    一般来说,一个端口释放后会等待两分钟之后才能再被使用,SO_REUSEADDR是让端口释放后立即就可以被再次使用

  • 5处,调用listen进行监听,这里用到了我们传入的backlog参数。

    其中,backlog参数的官方说明,如下,意思也就是说,是队列的size:

其中,anetListen是我们自定义的,我们接着看:

/*
 * 绑定并创建监听套接字
 */
static int anetListen(char *err, int s, struct sockaddr *sa, socklen_t len, int backlog) {
    // 1
    if (bind(s, sa, len) == -1) {
        anetSetError(err, "bind: %s", strerror(errno));
        close(s);
        return ANET_ERR;
    }
	// 2
    if (listen(s, backlog) == -1) {
        anetSetError(err, "listen: %s", strerror(errno));
        close(s);
        return ANET_ERR;
    }
    return ANET_OK;
}
  • 1处,这里进行绑定
  • 2处,这里调用操作系统的函数,进行监听,其中,第一个参数就是前面的socket file descriptor,第二个,就是backlog。

如何运行

代码地址:

https://gitee.com/ckl111/redis-3.0-annotated-cmake-in-clion/blob/master/our-redis-implementation/my_anet.c

https://gitee.com/ckl111/redis-3.0-annotated-cmake-in-clion/blob/master/our-redis-implementation/my_anet.h

大家把上面这两个文件,自己放到一个linux操作系统的文件夹下,然后执行以下命令,就能把这个demo启动起来:

测试

查看监听端口是否启动

[root@mini2 ~]# netstat -ano|grep 6380
tcp        0      0 0.0.0.0:6380            0.0.0.0:*               LISTEN      off (0.00/0/0)

开启一个shell,连接到6380端口

我这边开了3个shell,去连接6380端口,然后,我执行:

[root@mini2 ~]# netstat -ano|grep 6380
tcp        0      0 0.0.0.0:6380            0.0.0.0:*               LISTEN      off (0.00/0/0)
tcp        0      0 127.0.0.1:51386         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)
tcp        0      0 127.0.0.1:54442         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)
tcp        0      0 127.0.0.1:51930         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)
tcp        0      0 127.0.0.1:6380          127.0.0.1:51386         ESTABLISHED off (0.00/0/0)
tcp        0      0 127.0.0.1:6380          127.0.0.1:54442         ESTABLISHED off (0.00/0/0)
tcp        0      0 127.0.0.1:6380          127.0.0.1:51930         ESTABLISHED off (0.00/0/0)

可以看到,已经有3个socket,连接到6380端口了。

查看端口对应的backlog队列的相关东西

怎么看backlog那些呢?有个命令叫ss,其是netstat的升级版,执行以下命令如下:

[root@mini2 ~]# ss -l |grep 6380
tcp    LISTEN     0      2       *:6380                  *:*     

上面我们查询了6380这个监听端口的状态,其中,

  • 第一列,tcp,传输协议的名称

  • 第二列,状态,LISTEN

  • 第三列,查阅man netstat可以看到,

    Recv-Q
           Established: The count of bytes not copied by the user program connected to this socket.  
           Listening: Since Kernel 2.6.18 this column contains  the  current syn backlog.
    

    当其为Established状态时,应该是缓冲区中没被拷贝到用户程序的字节的数量;

    当其为LISTEN状态时,表示当前backlog这个队列,即前面说的全连接队列的,容量的大小;这里,因为我们的程序一直在accept连接,所以这里为0

  • 第4列,官方文档:

    Send-Q
    Established: The count of bytes not acknowledged by the remote host.  	
    
    Listening:   Since Kernel 2.6.18 this column contains the maximum size of the syn backlog.
    

    当其为Established时,表示我方缓冲区中还没有被对方ack的字节数量

    当其为Listen时,表示全连接队列的最大容量,我们是设为2的,所以这里是2。

测试2

当我们程序不去accept的时候,会怎么样呢,修改程序如下:

int main() {
    char *pVoid = malloc(10);
    int serverSocket = anetTcpServer(pVoid, 6380, NULL, 2);
    printf("listening...");

    while (1){
        sleep(100000);
    }

}

然后我们再去开启3个客户端连接,然后,最后看ss命令的情况:

[root@mini2 ~]# ss -l |grep 6380
tcp    LISTEN     3      2       *:6380                  *:*   

再执行netstat看看:

[root@mini2 ~]# netstat -ano|grep 6380
tcp        0      0 127.0.0.1:50238         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)
tcp        0      0 127.0.0.1:50362         127.0.0.1:6380          ESTABLISHED off (0.00/0/0)

发现了吗,只有2个连接是ok的。因为我们的全连接队列,最大为2,现在已经full了啊,所以新连接进不来了。

总结

大家可以跟着我的demo试一下,相信理解会更深刻一点。

以前我也写了一篇,大家可以参考下。

Linux中,Tomcat 怎么承载高并发(深入Tcp参数 backlog)

加载全部内容

相关教程
猜你喜欢
用户评论