nginx源码分析-多进程socket的处理
博客专区 > tickbh 的博客 > 博客详情
nginx源码分析-多进程socket的处理
tickbh 发表于1周前
nginx源码分析-多进程socket的处理
  • 发表于 1周前
  • 阅读 445
  • 收藏 5
  • 点赞 1
  • 评论 0
【腾讯云】新注册用户域名抢购1元起>>>   
这篇文章主要分析的是linux及windows的socket处理,如何避免惊群及进程间负载均衡的探讨, 这里的惊群主要是指多进程对于新建的连接如何避免同时争用accept现象的处理。

进程的创建

  • linux
    进程创建的方式主要通过fork来创建出子进程
    // src/os/unix/ngx_process.c ngx_pid_t ngx_spawn_process(ngx_cycle_t *cycle, ngx_spawn_proc_pt proc, void *data, char *name, ngx_int_t respawn) { ... pid = fork(); ... }
  • windows
    进程创建的方式主要通过CreateProcess来创建出子进程,并且通过非继承的方式创建子进程(即子进程不共享父进程的文件句柄)。
    // src/os/win32/ngx_process.c ngx_pid_t ngx_execute(ngx_cycle_t *cycle, ngx_exec_ctx_t *ctx) { ... if (CreateProcess(ctx->path, ctx->args, NULL, NULL, 0, //此变量为0表示句柄不继承 CREATE_NO_WINDOW, NULL, NULL, &si, &pi) == 0) { ngx_log_error(NGX_LOG_CRIT, cycle->log, ngx_errno, "CreateProcess(\"%s\") failed", ngx_argv[0]); return 0; } ... }

ListenSocket的建立

  • linux
    由主进程先监听端口, 监听完后fork新的子进程共享父进程的socket句柄,所以在linux中,同个地址只会监听一次。在执行reload的时候会检查新的监听,或者挪除旧的监听(但如果是同一个端口的,假设127.0.0.1:80,改成0.0.0.0:80则无法生效),然后启动新的进程,同时向旧的进程发送退出状态,此时旧的进程不再接受新的连接。 启动三个linux进程, 但其中只有一个监听 (启动三个linux进程, 但其中只有一个监听)
  • windows
    由于不共享父进程的句柄,每个子进程都是相对独立的各体,每个进程都独立进行监听(采用的设置SO_REUSEADDR从而实现对同一个地址多次绑定的效果)。但在windows上实测,采用SO_REUSEADDR实现的监听同一个地址,只会在第一个进程能成功调用Accept函数,只有第一个进程被关闭后,第二个监听到才能成功Accept。 启动8个进程, 每个程序都重复监听了该端口 (启动8个进程, 每个程序都重复监听了该端口) 这是显示刚初始运行的情况 (这是显示刚初始运行的情况) 用ab测试进行的压力测试 (用ab测试进行的压力测试, 显示只有一个进程正在对外服务, 其实的都是空闲状态)

如何控制accept

  • linux
    主要通过共享锁,只有得到锁的进程才会进行尝试调用accept事件
    // src/event/ngx_event.c void ngx_process_events_and_timers(ngx_cycle_t *cycle) { //是否启用共享锁控制,linux默认启动 if (ngx_use_accept_mutex) { //每次accept成功后都会重新赋该值,如果负载高,这值为正 //从而减少负载高的进程得到锁的概率 if (ngx_accept_disabled > 0) { ngx_accept_disabled--; } else { //尝试获取共享锁,该函数立即返回不等待 //如果成功获取该锁,则进行accept事件的投递 if (ngx_trylock_accept_mutex(cycle) == NGX_ERROR) { return; } } } }
    当某进程连接数超过总worker_connections的7/8的时候,开始进行压力控制
    // src/event/ngx_event_accept.c void ngx_event_accept(ngx_event_t *ev) { ... //ngx_cycle->connection_n表示当前配置总的work_connections //ngx_cycle->free_connection_n表示剩余可接受的连接数 //当可用连接数越少时,ngx_accept_disabled值越大,也就是获取锁的难度越高 ngx_accept_disabled = ngx_cycle->connection_n / 8 - ngx_cycle->free_connection_n; ... }
  • windows
    windows每个进程都是独立控制accept接收,没有锁控制,由于实测没有进程的压力都在单一的进程上(windows10测试)。

其它可行性方案探讨

  • linux
    linux通过启用SO_REUSEADDR及SO_REUSEPORT,达到可同一个地址在多个进程监听多次,统一由系统来分配socket给谁accept。 优点:避免使用锁,统一系统分配 缺点:进程负载分配不像手动控制那么精准,如果系统上有其它程序,可以通过监听同个端口达到偷取数据的目的,低版本的linux不支持此选项 示例参考:Linux ReusePort, ReuseAddr
  • windows
    windows通过CreateProcess并且设置其中的子进程继承,通过命令行的方式把句柄值传递给子进程,启动进程后关闭主进程的句柄,从而使子进程拥有各自独立的accept权限。通过锁或者时序来控制谁来accept。 示例参与:Rust版的windows CreateProcess控制 用ab测试进行的压力测试 (运行截图, 其中584进程每接受一个新的socket时sleep 10秒时间)
  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 12
博文 11
码字总数 9269
作品 3
×
tickbh
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: