connection
在 Nginx 中 connection 就是對(duì) tcp 連接的封裝,其中包括連接的 socket,讀事件,寫事件。利用 Nginx 封裝的 connection,我們可以很方便的使用 Nginx 來處理與連接相關(guān)的事情,比如,建立連接,發(fā)送與接受數(shù)據(jù)等。 ( 推薦學(xué)習(xí):nginx使用 )
而 Nginx 中的 http 請(qǐng)求的處理就是建立在 connection之上的,所以 Nginx 不僅可以作為一個(gè)web服務(wù)器,也可以作為郵件服務(wù)器。當(dāng)然,利用 Nginx 提供的 connection,我們可以與任何后端服務(wù)打交道。
結(jié)合一個(gè) tcp 連接的生命周期,我們看看 Nginx 是如何處理一個(gè)連接的。
首先,Nginx 在啟動(dòng)時(shí),會(huì)解析配置文件,得到需要監(jiān)聽的端口與 ip 地址,然后在 Nginx 的 master 進(jìn)程里面,先初始化好這個(gè)監(jiān)控的 socket(創(chuàng)建 socket,設(shè)置 addrreuse 等選項(xiàng),綁定到指定的 ip 地址端口,再 listen),然后再 fork 出多個(gè)子進(jìn)程出來,然后子進(jìn)程會(huì)競(jìng)爭(zhēng) accept 新的連接。
此時(shí),客戶端就可以向 Nginx 發(fā)起連接了。
當(dāng)客戶端與服務(wù)端通過三次握手建立好一個(gè)連接后,Nginx 的某一個(gè)子進(jìn)程會(huì) accept 成功,得到這個(gè)建立好的連接的 socket,然后創(chuàng)建 Nginx 對(duì)連接的封裝,即 ngx_connection_t 結(jié)構(gòu)體。
接著,設(shè)置讀寫事件處理函數(shù)并添加讀寫事件來與客戶端進(jìn)行數(shù)據(jù)的交換。最后,Nginx 或客戶端來主動(dòng)關(guān)掉連接,到此,一個(gè)連接就壽終正寢了。
當(dāng)然,Nginx 也是可以作為客戶端來請(qǐng)求其它 server 的數(shù)據(jù)的(如 upstream 模塊),此時(shí),與其它 server 創(chuàng)建的連接,也封裝在 ngx_connection_t 中。
作為客戶端,Nginx 先獲取一個(gè) ngx_connection_t 結(jié)構(gòu)體,然后創(chuàng)建 socket,并設(shè)置 socket 的屬性( 比如非阻塞)。然后再通過添加讀寫事件,調(diào)用 connect/read/write 來調(diào)用連接,最后關(guān)掉連接,并釋放 ngx_connection_t。
在 Nginx 中,每個(gè)進(jìn)程會(huì)有一個(gè)連接數(shù)的最大上限,這個(gè)上限與系統(tǒng)對(duì) fd 的限制不一樣。在操作系統(tǒng)中,通過 ulimit -n,我們可以得到一個(gè)進(jìn)程所能夠打開的 fd 的最大數(shù),即 nofile,因?yàn)槊總€(gè) socket 連接會(huì)占用掉一個(gè) fd,所以這也會(huì)限制我們進(jìn)程的最大連接數(shù),當(dāng)然也會(huì)直接影響到我們程序所能支持的最大并發(fā)數(shù),當(dāng) fd 用完后,再創(chuàng)建 socket 時(shí),就會(huì)失敗。
Nginx 通過設(shè)置 worker_connectons 來設(shè)置每個(gè)進(jìn)程支持的最大連接數(shù)。如果該值大于 nofile,那么實(shí)際的最大連接數(shù)是 nofile,Nginx 會(huì)有警告。
Nginx 在實(shí)現(xiàn)時(shí),是通過一個(gè)連接池來管理的,每個(gè) worker 進(jìn)程都有一個(gè)獨(dú)立的連接池,連接池的大小是 worker_connections。這里的連接池里面保存的其實(shí)不是真實(shí)的連接,它只是一個(gè) worker_connections 大小的一個(gè) ngx_connection_t 結(jié)構(gòu)的數(shù)組。
并且,Nginx 會(huì)通過一個(gè)鏈表 free_connections 來保存所有的空閑 ngx_connection_t,每次獲取一個(gè)連接時(shí),就從空閑連接鏈表中獲取一個(gè),用完后,再放回空閑連接鏈表里面。
在這里,很多人會(huì)誤解 worker_connections 這個(gè)參數(shù)的意思,認(rèn)為這個(gè)值就是 Nginx 所能建立連接的最大值。其實(shí)不然,這個(gè)值是表示每個(gè) worker 進(jìn)程所能建立連接的最大值,所以,一個(gè) Nginx 能建立的最大連接數(shù),應(yīng)該是worker_connections * worker_processes。
當(dāng)然,這里說的是最大連接數(shù),對(duì)于 HTTP 請(qǐng)求本地資源來說,能夠支持的最大并發(fā)數(shù)量是worker_connections * worker_processes,而如果是 HTTP 作為反向代理來說,最大并發(fā)數(shù)量應(yīng)該是worker_connections * worker_processes/2。
因?yàn)樽鳛榉聪虼矸?wù)器,每個(gè)并發(fā)會(huì)建立與客戶端的連接和與后端服務(wù)的連接,會(huì)占用兩個(gè)連接。
那么,我們前面有說過一個(gè)客戶端連接過來后,多個(gè)空閑的進(jìn)程,會(huì)競(jìng)爭(zhēng)這個(gè)連接,很容易看到,這種競(jìng)爭(zhēng)會(huì)導(dǎo)致不公平,如果某個(gè)進(jìn)程得到 accept 的機(jī)會(huì)比較多,它的空閑連接很快就用完了,如果不提前做一些控制,當(dāng) accept 到一個(gè)新的 tcp 連接后,因?yàn)闊o法得到空閑連接,而且無法將此連接轉(zhuǎn)交給其它進(jìn)程,最終會(huì)導(dǎo)致此 tcp 連接得不到處理,就中止掉了。
很顯然,這是不公平的,有的進(jìn)程有空余連接,卻沒有處理機(jī)會(huì),有的進(jìn)程因?yàn)闆]有空余連接,卻人為地丟棄連接。那么,如何解決這個(gè)問題呢?
首先,Nginx 的處理得先打開 accept_mutex 選項(xiàng),此時(shí),只有獲得了 accept_mutex 的進(jìn)程才會(huì)去添加accept事件,也就是說,Nginx會(huì)控制進(jìn)程是否添加 accept 事件。
Nginx 使用一個(gè)叫 ngx_accept_disabled 的變量來控制是否去競(jìng)爭(zhēng) accept_mutex 鎖。
在第一段代碼中,計(jì)算 ngx_accept_disabled 的值,這個(gè)值是 Nginx 單進(jìn)程的所有連接總數(shù)的八分之一,減去剩下的空閑連接數(shù)量,得到的這個(gè) ngx_accept_disabled 有一個(gè)規(guī)律,當(dāng)剩余連接數(shù)小于總連接數(shù)的八分之一時(shí),其值才大于 0,而且剩余的連接數(shù)越小,這個(gè)值越大。
再看第二段代碼,當(dāng) ngx_accept_disabled 大于 0 時(shí),不會(huì)去嘗試獲取 accept_mutex 鎖,并且將 ngx_accept_disabled 減 1,于是,每次執(zhí)行到此處時(shí),都會(huì)去減 1,直到小于 0。
不去獲取 accept_mutex 鎖,就是等于讓出獲取連接的機(jī)會(huì),很顯然可以看出,當(dāng)空余連接越少時(shí),ngx_accept_disable 越大,于是讓出的機(jī)會(huì)就越多,這樣其它進(jìn)程獲取鎖的機(jī)會(huì)也就越大。
不去 accept,自己的連接就控制下來了,其它進(jìn)程的連接池就會(huì)得到利用,這樣,Nginx 就控制了多進(jìn)程間連接的平衡了。
ngx_accept_disabled = ngx_cycle->connection_n / 8 - ngx_cycle->free_connection_n; if (ngx_accept_disabled > 0) { ngx_accept_disabled--; } else { if (ngx_trylock_accept_mutex(cycle) == NGX_ERROR) { return; } if (ngx_accept_mutex_held) { flags |= NGX_POST_EVENTS; } else { if (timer == NGX_TIMER_INFINITE || timer > ngx_accept_mutex_delay) { timer = ngx_accept_mutex_delay; } } }
連接就先介紹到這,知道在 Nginx 中連接是個(gè)什么東西就行了,而且連接是屬于比較高級(jí)的用法。