nginx共享内存机制实例分析

char *ngx_http_file_cache_set_slot(ngx_conf_t *cf, ngx_command_t *cmd, void *conf)
{
  char *confp = conf;

  off_t          max_size;
  u_char         *last, *p;
  time_t         inactive;
  ssize_t         size;
  ngx_str_t        s, name, *value;
  ngx_int_t        loader_files, manager_files;
  ngx_msec_t       loader_sleep, manager_sleep, loader_threshold,
              manager_threshold;
  ngx_uint_t       i, n, use_temp_path;
  ngx_array_t      *caches;
  ngx_http_file_cache_t *cache, **ce;

  cache = ngx_pcalloc(cf->pool, sizeof(ngx_http_file_cache_t));
  if (cache == null) {
    return ngx_conf_error;
  }

  cache->path = ngx_pcalloc(cf->pool, sizeof(ngx_path_t));
  if (cache->path == null) {
    return ngx_conf_error;
  }

  // 初始化各个属性的默认值
  use_temp_path = 1;

  inactive = 600;

  loader_files = 100;
  loader_sleep = 50;
  loader_threshold = 200;

  manager_files = 100;
  manager_sleep = 50;
  manager_threshold = 200;

  name.len = 0;
  size = 0;
  max_size = ngx_max_off_t_value;

  // 示例配置：proxy_cache_path /users/mike/nginx-cache levels=1:2 keys_zone=one:10m max_size=10g inactive=60m use_temp_path=off;

  // 这里的cf->args->elts中存储了解析proxy_cache_path指令时，其包含的各个token项，
  // 所谓的token项，指的就是使用空格分隔的字符片段
  value = cf->args->elts;

  // value[1]就是配置的第一个参数，也即cache文件会保存的根路径
  cache->path->name = value[1];

  if (cache->path->name.data[cache->path->name.len - 1] == '/') {
    cache->path->name.len--;
  }

  if (ngx_conf_full_name(cf->cycle, &cache->path->name, 0) != ngx_ok) {
    return ngx_conf_error;
  }

  // 从第三个参数开始进行解析
  for (i = 2; i < cf->args->nelts; i++) {

    // 如果第三个参数是以"levels="开头，则解析levels子参数
    if (ngx_strncmp(value[i].data, "levels=", 7) == 0) {

      p = value[i].data + 7; // 计算开始解析的其实位置
      last = value[i].data + value[i].len;  // 计算最后一个字符的位置

      // 开始解析1:2
      for (n = 0; n < ngx_max_path_level && p < last; n++) {

        if (*p > '0' && *p < '3') {

          // 获取当前的参数值，比如需要解析的1和2
          cache->path->level[n] = *p++ - '0';
          cache->path->len += cache->path->level[n] + 1;

          if (p == last) {
            break;
          }

          // 如果当前字符是冒号，则继续下一个字符的解析；
          // 这里的ngx_max_path_level值为3，也就是说levels参数后最多接3级子目录
          if (*p++ == ':' && n < ngx_max_path_level - 1 && p < last) {
            continue;
          }

          goto invalid_levels;
        }

        goto invalid_levels;
      }

      if (cache->path->len < 10 + ngx_max_path_level) {
        continue;
      }

    invalid_levels:

      ngx_conf_log_error(ngx_log_emerg, cf, 0,
                "invalid \"levels\" \"%v\"", &value[i]);
      return ngx_conf_error;
    }

    // 如果当前的参数是以"use_temp_path="开头，则解析use_temp_path参数，该参数值为on或者off，
    // 表示当前缓存文件是否首先存入临时文件夹中，最后再写入到目标文件夹中，如果为off则直接存入目标文件夹
    if (ngx_strncmp(value[i].data, "use_temp_path=", 14) == 0) {

      // 如果为on，则标记use_temp_path为1
      if (ngx_strcmp(&value[i].data[14], "on") == 0) {
        use_temp_path = 1;

        // 如果为off，则标记use_temp_path为0
      } else if (ngx_strcmp(&value[i].data[14], "off") == 0) {
        use_temp_path = 0;

        // 如果都不止，则返回解析异常
      } else {
        ngx_conf_log_error(ngx_log_emerg, cf, 0,
                  "invalid use_temp_path value \"%v\", "
                  "it must be \"on\" or \"off\"",
                  &value[i]);
        return ngx_conf_error;
      }

      continue;
    }

    // 如果参数是以"keys_zone="开头，则解析keys_zone参数。该参数的形式如keys_zone=one:10m，
    // 这里的one是一个名称，以供给后续的location配置使用，而10m则是一个大小，
    // 表示供给存储key的缓存大小
    if (ngx_strncmp(value[i].data, "keys_zone=", 10) == 0) {

      name.data = value[i].data + 10;

      p = (u_char *) ngx_strchr(name.data, ':');

      if (p) {
        // 计算name的长度，name记录了当前的缓存区的名称，也即这里的one
        name.len = p - name.data;

        p++;

        // 解析所指定的size大小
        s.len = value[i].data + value[i].len - p;
        s.data = p;

        // 对大小进行解析，会将指定的大小最终转换为字节数，这里的字节数必须大于8191
        size = ngx_parse_size(&s);
        if (size > 8191) {
          continue;
        }
      }

      ngx_conf_log_error(ngx_log_emerg, cf, 0,
                "invalid keys zone size \"%v\"", &value[i]);
      return ngx_conf_error;
    }

    // 如果参数是以"inactive="开头，则解析inactive参数。该参数的形式如inactive=60m，
    // 表示缓存的文件在多长时间没有访问之后将会过期
    if (ngx_strncmp(value[i].data, "inactive=", 9) == 0) {

      s.len = value[i].len - 9;
      s.data = value[i].data + 9;

      // 对时间进行解析，最终将转换为以秒为单位的时间长度
      inactive = ngx_parse_time(&s, 1);
      if (inactive == (time_t) ngx_error) {
        ngx_conf_log_error(ngx_log_emerg, cf, 0,
                  "invalid inactive value \"%v\"", &value[i]);
        return ngx_conf_error;
      }

      continue;
    }

    // 如果参数是以"max_size="开头，则解析max_size参数。该参数的形式如max_size=10g，
    // 表示当前缓存能够使用的最大内存空间
    if (ngx_strncmp(value[i].data, "max_size=", 9) == 0) {

      s.len = value[i].len - 9;
      s.data = value[i].data + 9;

      // 对解析得到的值进行转换，最终将以字节数为单位
      max_size = ngx_parse_offset(&s);
      if (max_size < 0) {
        ngx_conf_log_error(ngx_log_emerg, cf, 0,
                  "invalid max_size value \"%v\"", &value[i]);
        return ngx_conf_error;
      }

      continue;
    }

    // 如果参数是以"loader_files="开头，则解析loader_files参数。该参数形如loader_files=100，
    // 表示在启动nginx的时候默认会加载多少个缓存目录中的文件到缓存中
    if (ngx_strncmp(value[i].data, "loader_files=", 13) == 0) {

      // 解析loader_files参数的值
      loader_files = ngx_atoi(value[i].data + 13, value[i].len - 13);
      if (loader_files == ngx_error) {
        ngx_conf_log_error(ngx_log_emerg, cf, 0,
              "invalid loader_files value \"%v\"", &value[i]);
        return ngx_conf_error;
      }

      continue;
    }

    // 如果参数是以"loader_sleep="开头，则解析loader_sleep参数。该参数形如loader_sleep=10s，
    // 表示每次加载一个文件之后休眠多长时间，然后再加载下一个文件
    if (ngx_strncmp(value[i].data, "loader_sleep=", 13) == 0) {

      s.len = value[i].len - 13;
      s.data = value[i].data + 13;

      // 对loader_sleep的值进行转换，这里是以毫秒数为单位
      loader_sleep = ngx_parse_time(&s, 0);
      if (loader_sleep == (ngx_msec_t) ngx_error) {
        ngx_conf_log_error(ngx_log_emerg, cf, 0,
              "invalid loader_sleep value \"%v\"", &value[i]);
        return ngx_conf_error;
      }

      continue;
    }

    // 如果参数是以"loader_threshold="开头，则解析loader_threshold参数，该参数形如loader_threshold=10s，
    // 表示每次加载一个文件能够使用的最长时间
    if (ngx_strncmp(value[i].data, "loader_threshold=", 17) == 0) {

      s.len = value[i].len - 17;
      s.data = value[i].data + 17;

      // 对loader_threshold的值进行解析并且转换，最终是以毫秒数为单位
      loader_threshold = ngx_parse_time(&s, 0);
      if (loader_threshold == (ngx_msec_t) ngx_error) {
        ngx_conf_log_error(ngx_log_emerg, cf, 0,
              "invalid loader_threshold value \"%v\"", &value[i]);
        return ngx_conf_error;
      }

      continue;
    }

    // 如果参数是以"manager_files="开头，则解析manager_files参数，该参数形如manager_files=100，
    // 表示当缓存空间用尽时，将会以lru算法将文件进行删除，不过每次迭代最多删除manager_files所指定的文件数
    if (ngx_strncmp(value[i].data, "manager_files=", 14) == 0) {

      // 解析manager_files参数值
      manager_files = ngx_atoi(value[i].data + 14, value[i].len - 14);
      if (manager_files == ngx_error) {
        ngx_conf_log_error(ngx_log_emerg, cf, 0,
              "invalid manager_files value \"%v\"", &value[i]);
        return ngx_conf_error;
      }

      continue;
    }

    // 如果参数是以"manager_sleep="开头，则解析manager_sleep参数，该参数形如manager_sleep=1s，
    // 表示每次迭代完成之后将会休眠manager_sleep参数所指定的时长
    if (ngx_strncmp(value[i].data, "manager_sleep=", 14) == 0) {

      s.len = value[i].len - 14;
      s.data = value[i].data + 14;

      // 对manager_sleep所指定的值进行解析
      manager_sleep = ngx_parse_time(&s, 0);
      if (manager_sleep == (ngx_msec_t) ngx_error) {
        ngx_conf_log_error(ngx_log_emerg, cf, 0,
              "invalid manager_sleep value \"%v\"", &value[i]);
        return ngx_conf_error;
      }

      continue;
    }

    // 如果参数是以"manager_threshold="开头，则解析manager_threshold参数，该参数形如manager_threshold=2s，
    // 表示每次清除文件的迭代的最长耗时不能超过该参数所指定的值
    if (ngx_strncmp(value[i].data, "manager_threshold=", 18) == 0) {

      s.len = value[i].len - 18;
      s.data = value[i].data + 18;

      // 解析manager_threshold参数值，并且将其转换为以毫秒数为单位的值
      manager_threshold = ngx_parse_time(&s, 0);
      if (manager_threshold == (ngx_msec_t) ngx_error) {
        ngx_conf_log_error(ngx_log_emerg, cf, 0,
              "invalid manager_threshold value \"%v\"", &value[i]);
        return ngx_conf_error;
      }

      continue;
    }

    ngx_conf_log_error(ngx_log_emerg, cf, 0,
              "invalid parameter \"%v\"", &value[i]);
    return ngx_conf_error;
  }

  if (name.len == 0 || size == 0) {
    ngx_conf_log_error(ngx_log_emerg, cf, 0,
              "\"%v\" must have \"keys_zone\" parameter",
              &cmd->name);
    return ngx_conf_error;
  }

  // 这里的cache->path->manager和cache->path->loader的值为两个函数，需要注意的是，
  // 在nginx启动之后，会启动两个单独的进程，一个cache manager，一个cache loader，其中cache manager
  // 将会在一个循环中不断的为每个共享内存执行cache->path->manager所指定的方法，
  // 从而实现对缓存进行清理。而另一个进程cache loader则会在nginx启动之后60s的时候只执行一次，
  // 执行的方法就是cache->path->loader所指定的方法，
  // 该方法的主要作用是加载已经存在的文件数据到当前的共享内存中
  cache->path->manager = ngx_http_file_cache_manager;
  cache->path->loader = ngx_http_file_cache_loader;
  cache->path->data = cache;
  cache->path->conf_file = cf->conf_file->file.name.data;
  cache->path->line = cf->conf_file->line;
  cache->loader_files = loader_files;
  cache->loader_sleep = loader_sleep;
  cache->loader_threshold = loader_threshold;
  cache->manager_files = manager_files;
  cache->manager_sleep = manager_sleep;
  cache->manager_threshold = manager_threshold;

  // 将当前的path添加到cycle中，后续会对这些path进行检查，如果path不存在，则会创建相应的路径
  if (ngx_add_path(cf, &cache->path) != ngx_ok) {
    return ngx_conf_error;
  }

  // 把当前共享内存添加到cf->cycle->shared_memory所指定的共享内存列表中
  cache->shm_zone = ngx_shared_memory_add(cf, &name, size, cmd->post);
  if (cache->shm_zone == null) {
    return ngx_conf_error;
  }

  if (cache->shm_zone->data) {
    ngx_conf_log_error(ngx_log_emerg, cf, 0,
              "duplicate zone \"%v\"", &name);
    return ngx_conf_error;
  }


  // 这里指定了每个共享内存的初始化方法，该方法在master进程启动的时候会被执行
  cache->shm_zone->init = ngx_http_file_cache_init;
  cache->shm_zone->data = cache;

  cache->use_temp_path = use_temp_path;

  cache->inactive = inactive;
  cache->max_size = max_size;

  caches = (ngx_array_t *) (confp + cmd->offset);

  ce = ngx_array_push(caches);
  if (ce == null) {
    return ngx_conf_error;
  }

  *ce = cache;

  return ngx_conf_ok;
}