開發(fā)環(huán)境：

RT-Thread版本：4.0.3

操作系統(tǒng)：Windows10

Keil版本：V5.30

RT-Thread Studio版本：2.0.1

開發(fā)板MCU：STM32H750XB

LWIP：2.0.2

并發(fā)服務(wù)器支持多個客戶端的同時(shí)連接，最大可接入的客戶端數(shù)取決于內(nèi)核控制塊的個數(shù)。當(dāng)使用Socket API時(shí)，要使服務(wù)器能夠同時(shí)支持多個客戶端的連接，必須引入多任務(wù)機(jī)制，為每個連接創(chuàng)建一個單獨(dú)的任務(wù)來處理連接上的數(shù)據(jù)，多任務(wù)可以是多線程或者多進(jìn)程，這是最常用的并發(fā)服務(wù)器設(shè)計(jì)。但是多線程/多進(jìn)程消耗資源多，處理起來也比較復(fù)雜，本文將基于LWIP協(xié)議棧的Select/Poll機(jī)制實(shí)現(xiàn)并發(fā)服務(wù)器。

1 IO模型概述

在具體講解基于Select/Poll機(jī)制實(shí)現(xiàn)并發(fā)服務(wù)器之前，我們需要了解IO的相關(guān)概念，所謂IO就是，就是數(shù)據(jù)的讀寫，一般分為網(wǎng)絡(luò)IO（本質(zhì)就是socket讀寫）和磁盤IO。

IO模型大致可以分為：同步阻塞、同步非阻塞、異步、信號驅(qū)動。

可細(xì)分為5種I/O模型：

1）阻塞I/O，進(jìn)程處于阻塞模式時(shí)，讓出CPU，進(jìn)入休眠狀態(tài)；

2）非阻塞I/O，非阻塞模式的使用并不普遍，因?yàn)榉亲枞Ｊ綍速M(fèi)大量的CPU資源；

3）I/O復(fù)用(select和poll)，針對批量IP操作時(shí)，使用I/O多路復(fù)用，非常有好；

4）異步I/O(POSIX的aio_系列函數(shù))

5）信號驅(qū)動I/O(SIGIO)

一個輸入操作通常包括兩個不同的階段：

1）等待數(shù)據(jù)準(zhǔn)備好；

2）從內(nèi)核向進(jìn)程復(fù)制數(shù)據(jù)；

對于一個套接字的輸入操作，第一步通常涉及等待數(shù)據(jù)從網(wǎng)絡(luò)中到達(dá)。當(dāng)所等待分組到達(dá)時(shí)，它被復(fù)制到內(nèi)核中某個緩沖區(qū)。第二步就是把數(shù)據(jù)從內(nèi)核緩沖區(qū)復(fù)制到應(yīng)用進(jìn)程緩沖區(qū)。

1.1阻塞I/O

阻塞 I/O模式是最普遍使用的 I/O模式。一個套接字建立后所處于的模式就是阻塞 I/O模式。（因?yàn)?a href="http://hljzzgx.com/v/tag/538/" target="_blank">Linux系統(tǒng)默認(rèn)的IO模式是阻塞模式）。對于一個 UDP套接字來說，數(shù)據(jù)就緒的標(biāo)志比較簡單：

（1）已經(jīng)收到了一整個數(shù)據(jù)報(bào)

（2）沒有收到。

而 TCP這個概念就比較復(fù)雜，需要附加一些其他的變量。

最流行的I/O模型是阻塞式I/O(blocking I/O) 模型，默認(rèn)情況下，所有的套接字都是阻塞的。阻塞調(diào)用是指調(diào)用結(jié)果返回之前，當(dāng)前線程會被掛起（線程進(jìn)入非可執(zhí)行狀態(tài)，在這個狀態(tài)下，CPU不會給線程分配時(shí)間片，即線程暫停運(yùn)行）。函數(shù)只有在得到結(jié)果之后才會返回。以數(shù)據(jù)包套接字為例，如圖。

進(jìn)程調(diào)用recvfrom，其系統(tǒng)調(diào)用直到數(shù)據(jù)報(bào)到達(dá)且被拷貝到應(yīng)用進(jìn)程的緩沖區(qū)或者發(fā)生錯誤才返回。最常見的錯誤是系統(tǒng)調(diào)用被信號中斷。我們說進(jìn)程從調(diào)用recvfrom開始到它返回的整段時(shí)間內(nèi)是被阻塞的，recvfrom成功返回后，進(jìn)程開始處理數(shù)據(jù)報(bào)。

1.2非阻塞I/O

進(jìn)程把一個套接口設(shè)置成非阻塞是在通知內(nèi)核：當(dāng)所請求的I/O操作非得把本進(jìn)程投入睡眠才能完成時(shí)，不要把本進(jìn)程投入睡眠，而是返回一個錯誤。

前三次調(diào)用recvfrom時(shí)沒有數(shù)據(jù)可返回，因此內(nèi)核轉(zhuǎn)而立即返回一個EWOULDBLOCK錯誤。第四次調(diào)用 recvfrom時(shí)已有一個數(shù)據(jù)報(bào)準(zhǔn)備好，它被復(fù)制到應(yīng)用程序緩沖區(qū)，于是recvfrom成功返回。我們接著處理數(shù)據(jù)。

當(dāng)一個應(yīng)用程序使用了非阻塞模式的套接字，它需要使用一個循環(huán)來不聽的測試是否一個文件描述符有數(shù)據(jù)可讀(稱做 polling(輪詢))。應(yīng)用程序不停的 polling內(nèi)核來檢查是否 I/O操作已經(jīng)就緒。這將是一個極浪費(fèi) CPU資源的操作。這種模式使用中不是很普遍。

非阻塞和阻塞的概念相對應(yīng)，指在不能立刻得到結(jié)果之前，該函數(shù)不會阻塞當(dāng)前線程，而會立刻返回。

1.3 I/O復(fù)用

在使用 I/O多路技術(shù)的時(shí)候，我們調(diào)用 select()函數(shù)和 poll()函數(shù)，在調(diào)用它們的時(shí)候阻塞，而不是我們來調(diào)用 recvfrom（或recv）的時(shí)候阻塞。主要可以調(diào)用select和poll；對一個IO端口，兩次調(diào)用，兩次返回，比阻塞IO并沒有什么優(yōu)越性；關(guān)鍵是能實(shí)現(xiàn)同時(shí)對多個IO端口進(jìn)行監(jiān)聽，可以等待多個描述符就緒。

I/O復(fù)用模型會用到select、poll，這幾個函數(shù)也會使進(jìn)程阻塞，但是和阻塞I/O所不同的的，這兩個函數(shù)可以同時(shí)阻塞多個I/O操作。而且可以同時(shí)對多個讀操作，多個寫操作的I/O函數(shù)進(jìn)行檢測，直到有數(shù)據(jù)可讀或可寫時(shí)，才真正調(diào)用I/O操作函數(shù)。

當(dāng)我們調(diào)用 select函數(shù)阻塞的時(shí)候，select函數(shù)等待數(shù)據(jù)報(bào)套接字進(jìn)入讀就緒狀態(tài)。當(dāng)select函數(shù)返回的時(shí)候，也就是套接字可以讀取數(shù)據(jù)的時(shí)候。這時(shí)候我們就可以調(diào)用 recvfrom函數(shù)來將數(shù)據(jù)拷貝到我們的程序緩沖區(qū)中。

對于單個I/O操作，和阻塞模式相比較，select()和poll()并沒有什么高級的地方。而且，在阻塞模式下只需要調(diào)用一個函數(shù)：讀取或發(fā)送函數(shù)。在使用了多路復(fù)用技術(shù)后，我們需要調(diào)用兩個函數(shù)了：先調(diào)用 select()函數(shù)或poll()函數(shù)，然后才能進(jìn)行真正的讀寫。

多路復(fù)用的高級之處在于：它能同時(shí)等待多個文件描述符，而這些文件描述符（套接字描述符）其中的任意一個進(jìn)入讀就緒狀態(tài)，select()函數(shù)就可以返回。

IO多路技術(shù)一般在下面這些情況中被使用：

• 當(dāng)一個客戶端需要同時(shí)處理多個文件描述符的輸入輸出操作的時(shí)候（一般來說是標(biāo)準(zhǔn)的輸入輸出和網(wǎng)絡(luò)套接字)，I/O多路復(fù)用技術(shù)將會有機(jī)會得到使用。
• 當(dāng)程序需要同時(shí)進(jìn)行多個套接字的操作的時(shí)候。
• 如果一個 TCP服務(wù)器程序同時(shí)處理正在偵聽網(wǎng)絡(luò)連接的套接字和已經(jīng)連接好的套接字。
• 如果一個服務(wù)器程序同時(shí)使用 TCP和 UDP協(xié)議。
• 如果一個服務(wù)器同時(shí)使用多種服務(wù)并且每種服務(wù)可能使用不同的協(xié)議（比如 inetd就是這樣的）。

1.4異步I/O模型

異步I/O（asynchronous I/O）有POSIX規(guī)范定義。后來演變成當(dāng)前POSIX規(guī)范的各種早期標(biāo)準(zhǔn)定義的實(shí)時(shí)函數(shù)中存在的差異已經(jīng)取得一致。一般地說，這些函數(shù)的工作機(jī)制是：告知內(nèi)核啟動某個操作，并讓內(nèi)核在整個操作（包括將數(shù)據(jù)從內(nèi)核拷貝到我們自己的緩沖區(qū)）完成后通知我們。這種模型與前與前面介紹的信號驅(qū)動模型的主要區(qū)別在于：信號驅(qū)動I/O是由內(nèi)核通知我們何時(shí)可以啟動一個I/O操作，而異步I/O模型是由內(nèi)核通知我們I/O操作何時(shí)完成。

1.5信號驅(qū)動I/O模型

我們也可以用信號，讓內(nèi)核在描述字就緒時(shí)發(fā)送SIGIO信號通知我們。我們稱這種模型為信號驅(qū)動I/O（signal-driven I/O）。

我們首先開啟套接口的信號驅(qū)動I/O功能，并通過sigaction系統(tǒng)調(diào)用安裝一個信號處理函數(shù)。該系統(tǒng)調(diào)用立即發(fā)回，我們的進(jìn)程繼續(xù)工作，也就是說它沒有被阻塞。當(dāng)數(shù)據(jù)報(bào)準(zhǔn)備好時(shí)，內(nèi)核就為該進(jìn)程產(chǎn)生一個SIGIO信號。我們隨后既可以在信號處理函數(shù)中調(diào)用recvfrom讀取數(shù)據(jù)報(bào)，并通知主循環(huán)數(shù)據(jù)已經(jīng)準(zhǔn)備好待處理，也可以立即通知主循環(huán)，讓它讀取數(shù)據(jù)報(bào)。

無論如何處理SIGIO信號，這種模型的優(yōu)勢在于等待數(shù)據(jù)報(bào)到達(dá)期間，進(jìn)程不被阻塞。主循環(huán)可以繼續(xù)執(zhí)行，只要不時(shí)等待來自信號處理函數(shù)的通知：既可以是數(shù)據(jù)已經(jīng)準(zhǔn)備好被處理，也可以是數(shù)據(jù)報(bào)已準(zhǔn)備好被讀取。

1.6各種模型的比較

各種模型的比較如下圖所示，可以看出，前4種模型的主要區(qū)別在于第一階段，因?yàn)樗鼈兊牡诙A段是一樣的：在數(shù)據(jù)從內(nèi)核復(fù)制到調(diào)用者的緩沖區(qū)起見，進(jìn)程阻塞與recvfrom調(diào)用，相反。異步I/O模型在這兩個階段都需要處理，從而不同于其他四種模型。

• 同步I/O與異步I/O對比

POSIX把這兩個術(shù)語定義如下：

·同步I/O操作（synchronous I/O operation）導(dǎo)致請求進(jìn)程阻塞，直到I/O操作完成。

·異步I/O（asynchronous I/O operation）不導(dǎo)致請求進(jìn)程阻塞。

根據(jù)上述定義，我們前4種模型----阻塞I/O模型、非阻塞I/O模型、I/O復(fù)用模型和信號去驅(qū)動I/O模型都是同步I/O模型，因?yàn)槠渲姓嬲腎/O操作（recvfrom）將阻塞進(jìn)程。只有異步I/O模型與POSIX定義的異步I/O相匹配。

本文的要將的I/O復(fù)用，本質(zhì)就是select/poll機(jī)制。因此，其他IO有興趣可以去了解。

2 RT-thread的網(wǎng)絡(luò)架構(gòu)

RT-Thread的網(wǎng)絡(luò)框架結(jié)構(gòu)如下所示：

最頂層是網(wǎng)絡(luò)應(yīng)用層，提供一套標(biāo)準(zhǔn) BSD Socket API，如 socket、connect等函數(shù)，用于系統(tǒng)中大部分網(wǎng)絡(luò)開發(fā)應(yīng)用， BSD Socket API已經(jīng)是網(wǎng)絡(luò)套接字的事實(shí)上的抽象標(biāo)準(zhǔn)。使用BSD Socket API編寫應(yīng)用，不會依賴具體的操作系統(tǒng)，但是底層的具體實(shí)現(xiàn)是依賴操作系統(tǒng)的。

第二部分為 SAL套接字抽象層，通過它 RT-Thread系統(tǒng)能夠適配下層不同的網(wǎng)絡(luò)協(xié)議棧，并提供給上層統(tǒng)一的網(wǎng)絡(luò)編程接口，方便不同協(xié)議棧的接入。套接字抽象層為上層應(yīng)用層提供接口有：accept、connect、send、recv等。

第三部分為 netdev網(wǎng)卡層，主要作用是解決多網(wǎng)卡情況設(shè)備網(wǎng)絡(luò)連接和網(wǎng)絡(luò)管理相關(guān)問題，通過 netdev網(wǎng)卡層用戶可以統(tǒng)一管理各個網(wǎng)卡信息和網(wǎng)絡(luò)連接狀態(tài)，并且可以使用統(tǒng)一的網(wǎng)卡調(diào)試命令接口。

第四部分為協(xié)議棧層，該層包括幾種常用的 TCP/IP協(xié)議棧，例如嵌入式開發(fā)中常用的輕型 TCP/IP協(xié)議棧 lwIP以及 RT-Thread自主研發(fā)的 AT Socket網(wǎng)絡(luò)功能實(shí)現(xiàn)等。這些協(xié)議?；蚓W(wǎng)絡(luò)功能實(shí)現(xiàn)直接和硬件接觸，完成數(shù)據(jù)從網(wǎng)絡(luò)層到傳輸層的轉(zhuǎn)化。

最后一層為硬件層，ETH是唯一的有線網(wǎng)絡(luò)接入方式，其余都是無線網(wǎng)絡(luò)接入方式，LTE模組，Cat模組，NB-IOT模組這些依賴基站運(yùn)營商的入網(wǎng)方式，例如 SIM800，EC25，AIR720，L610，N58，M5311等，這些不同廠家，不同工作頻率的模組均可以通過 NET組件入網(wǎng)；WIFI這種無需運(yùn)營商直接提供的網(wǎng)絡(luò)的入網(wǎng)方式，例如 ESP8266，W60x，AP6212，rw007等。

RT-Thread的網(wǎng)絡(luò)應(yīng)用層提供的接口主要以標(biāo)準(zhǔn) BSD Socket API為主，這樣能確保程序可以在 Windows或者Linux上編寫、調(diào)試，然后再移植到 RT-Thread操作系統(tǒng)上。

RT-Thread對于不同的協(xié)議?；蚓W(wǎng)絡(luò)功能實(shí)現(xiàn)，網(wǎng)絡(luò)接口的名稱可能各不相同，以 connect連接函數(shù)為例，lwIP協(xié)議棧中接口名稱為 lwip_connect，而 AT Socket網(wǎng)絡(luò)實(shí)現(xiàn)中接口名稱為 at_connect。SAL組件提供對不同協(xié)議?；蚓W(wǎng)絡(luò)實(shí)現(xiàn)接口的抽象和統(tǒng)一，組件在 socket創(chuàng)建時(shí)通過判斷傳入的協(xié)議簇（domain）類型來判斷使用的協(xié)議?；蚓W(wǎng)絡(luò)功能，完成 RT-Thread系統(tǒng)中多協(xié)議的接入與使用。

目前 SAL組件支持的協(xié)議棧或網(wǎng)絡(luò)實(shí)現(xiàn)類型有：lwIP協(xié)議棧、AT Socket協(xié)議棧、WIZnet硬件 TCP/IP協(xié)議棧。

int socket(int domain, int type, int protocol);

上述為標(biāo)準(zhǔn) BSD Socket API中 socket創(chuàng)建函數(shù)的定義，domain表示協(xié)議域又稱為協(xié)議簇（family），用于判斷使用哪種協(xié)議?；蚓W(wǎng)絡(luò)實(shí)現(xiàn)，AT Socket協(xié)議棧使用的簇類型為 AF_AT，lwIP協(xié)議棧使用協(xié)議簇類型有 AF_INET等，WIZnet協(xié)議棧使用的協(xié)議簇類型為 AF_WIZ。

對于不同的軟件包，socket傳入的協(xié)議簇類型可能是固定的，不會隨著 SAL組件接入方式的不同而改變。為了動態(tài)適配不同協(xié)議?；蚓W(wǎng)絡(luò)實(shí)現(xiàn)的接入，SAL組件中對于每個協(xié)議?；蛘呔W(wǎng)絡(luò)實(shí)現(xiàn)提供兩種協(xié)議簇類型匹配方式：主協(xié)議簇類型和次協(xié)議簇類型。socket創(chuàng)建時(shí)先判斷傳入?yún)f(xié)議簇類型是否存在已經(jīng)支持的主協(xié)議類型，如果是則使用對應(yīng)協(xié)議?；蚓W(wǎng)絡(luò)實(shí)現(xiàn)，如果不是判斷次協(xié)議簇類型是否支持。目前系統(tǒng)支持協(xié)議簇類型如下：

• lwIP協(xié)議棧： family = AF_INET、sec_family = AF_INET
• AT Socket協(xié)議棧： family = AF_AT、sec_family = AF_INET
• WIZnet硬件 TCP/IP協(xié)議棧： family = AF_WIZ、sec_family = AF_INET

SAL組件主要作用是統(tǒng)一抽象底層 BSD Socket API接口，下面以 bind函數(shù)調(diào)用流程為例說明 SAL組件函數(shù)調(diào)用方式：

• bind：SAL組件對外提供的抽象的 BSD Socket API，用于統(tǒng)一 fd管理；
• sal_bind：SAL組件中 bind實(shí)現(xiàn)函數(shù)，用于指定端口和網(wǎng)卡（當(dāng)存在多個網(wǎng)卡的時(shí)候）。
• lwip_bind：底層協(xié)議棧提供的層 bind連接函數(shù)，在網(wǎng)卡初始化完成時(shí)注冊到 SAL組件中，最終調(diào)用的操作函數(shù)。

/* SAL組件為應(yīng)用層提供的標(biāo)準(zhǔn) BSD Socket API */

int bind(int s, const struct sockaddr *name, socklen_t namelen)
{
    /*獲取 SAL套接字描述符 */
int socket = dfs_net_getsocket(s);

    /*通過 SAL套接字描述符執(zhí)行 sal_bind函數(shù) */
    return sal_bind(socket, name, namelen);
}

/* SAL組件抽象函數(shù)接口實(shí)現(xiàn) */

int sal_bind(int socket, const struct sockaddr *name, socklen_t namelen)
{
    struct sal_socket *sock;
    struct sal_proto_family *pf;
    ip_addr_t input_ipaddr;

    RT_ASSERT(name);

    /* get the socket object by socket descriptor */
    SAL_SOCKET_OBJ_GET(sock, socket);

    /* bind network interface by ip address */
    sal_sockaddr_to_ipaddr(name, &input_ipaddr);

    /* check input ipaddr is default netdev ipaddr */
    if (!ip_addr_isany_val(input_ipaddr))
    {
        struct sal_proto_family *input_pf = RT_NULL, *local_pf = RT_NULL;
        struct netdev *new_netdev = RT_NULL;

        new_netdev = netdev_get_by_ipaddr(&input_ipaddr);
        if (new_netdev == RT_NULL)
        {
            return -1;
        }

        /* get input and local ip address proto_family */
       SAL_NETDEV_SOCKETOPS_VALID(sock->netdev, local_pf, bind);
        SAL_NETDEV_SOCKETOPS_VALID(new_netdev, input_pf, bind);

        /* check the network interface protocol family type */
        if (input_pf->family != local_pf->family)
        {
            int new_socket = -1;

            /* protocol family is different, close old socket and create new socket by input ip address */
           local_pf->skt_ops->closesocket(socket);

            new_socket = input_pf->skt_ops->socket(input_pf->family, sock->type, sock->protocol);
            if (new_socket < 0)
            {
                return -1;
            }
            sock->netdev = new_netdev;
            sock->user_data = (void *) new_socket;
        }
    }

    /* check and get protocol families by the network interface device */
    SAL_NETDEV_SOCKETOPS_VALID(sock->netdev, pf, bind);
    return pf->skt_ops->bind((int) sock->user_data, name, namelen);
}

/* lwIP協(xié)議棧函數(shù)底層 bind函數(shù)實(shí)現(xiàn) */

int lwip_bind(int s, const struct sockaddr *name, socklen_t namelen)
{
 struct lwip_sock *sock;
 ip_addr_t local_addr;
 u16_t local_port;
 err_t err;

 sock = get_socket(s);
 if (!sock) {
    return -1;
 }

 if (!SOCK_ADDR_TYPE_MATCH(name, sock)) {
    /* sockaddr does not match socket type (IPv4/IPv6) */
    sock_set_errno(sock, err_to_errno(ERR_VAL));
    return -1;
 }

 /* check size, family and alignment of 'name' */
 LWIP_ERROR("lwip_bind: invalid address", (IS_SOCK_ADDR_LEN_VALID(namelen) &&
             IS_SOCK_ADDR_TYPE_VALID(name) && IS_SOCK_ADDR_ALIGNED(name)),
             sock_set_errno(sock, err_to_errno(ERR_ARG)); return -1;);
 LWIP_UNUSED_ARG(namelen);

 SOCKADDR_TO_IPADDR_PORT(name, &local_addr, local_port);
 LWIP_DEBUGF(SOCKETS_DEBUG, ("lwip_bind(%d, addr=", s));
 ip_addr_debug_print_val(SOCKETS_DEBUG, local_addr);
 LWIP_DEBUGF(SOCKETS_DEBUG, (" port=%"U16_F")\n", local_port));

#if LWIP_IPV4 && LWIP_IPV6
 /* Dual-stack: Unmap IPv4 mapped IPv6 addresses */
 if (IP_IS_V6_VAL(local_addr) && ip6_addr_isipv4mappedipv6(ip_2_ip6(&local_addr))) {
   unmap_ipv4_mapped_ipv6(ip_2_ip4(&local_addr), ip_2_ip6(&local_addr));
    IP_SET_TYPE_VAL(local_addr, IPADDR_TYPE_V4);
 }
#endif /* LWIP_IPV4 && LWIP_IPV6 */

 err = netconn_bind(sock->conn, &local_addr, local_port);

 if (err != ERR_OK) {
    LWIP_DEBUGF(SOCKETS_DEBUG, ("lwip_bind(%d) failed, err=%d\n", s, err));
    sock_set_errno(sock, err_to_errno(err));
    return -1;
 }

 LWIP_DEBUGF(SOCKETS_DEBUG, ("lwip_bind(%d) succeeded\n", s));
 sock_set_errno(sock, 0);
 return 0;
}

ART-Pi有兩種常用的聯(lián)網(wǎng)方式，一個是板載的WiFi模塊AP6212，這個模塊自帶藍(lán)牙；另一個是工業(yè)擴(kuò)展板的網(wǎng)口，使用的芯片是LAN8720A。關(guān)于多網(wǎng)卡的使用和自動切換在前面的章節(jié)有所講解。本文主要講解如何使用Select/Poll機(jī)制來實(shí)現(xiàn)并發(fā)服務(wù)器。

RT-Thread網(wǎng)絡(luò)組件：

https://www.rt-thread.org/document/site/#/rt-thread-version/rt-thread-standard/programming-manual/net/net_introduce