openresty中http请求body数据过大的处理方案
项目中由于数据过大，在openresty中使用
ngx.req.read_body() local args = ngx.req.get_body_data()
然后flink任务中的消费者Consumer拿到的数据是body部分是空数据，其他数据是正常的，推断是文件大小受限，导致拿不到数据。
1、排查1，检查nginx的配置，查看是否有对文件的限制，ngxin中使用了
可以确定，nginx对文件没有限制，
然后继续下一步跟踪，由于下一步的处理是转到openresty处理，所以大概率是openresty的问题了，查看openresty最佳实践发现：
client_max_body_size client_max_body_size 默认 1M，表示 客户端请求服务器最大允许大小，在“Content-Length”请求头中指定。如果请求的正文数据大于client_max_body_size，HTTP协议会报错 413 Request Entity Too Large。就是说如果请求的正文大于client_max_body_size，一定是失败的。如果需要上传大文件，一定要修改该值。 client_body_buffer_size Nginx分配给请求数据的Buffer大小，如果请求的数据小于client_body_buffer_size直接将数据先在内存中存储。如果请求的值大于client_body_buffer_size小于client_max_body_size，就会将数据先存储到临时文件中，在哪个临时文件中呢？ client_body_temp 指定的路径中，默认该路径值是/tmp/. 所以配置的client_body_temp地址，一定让执行的Nginx的用户组有读写权限。否则，当传输的数据大于client_body_buffer_size，写进临时文件失败会报错。
处理办法：
在这个问题上和语言就相关了，如果使用的是PHP，PHP会自己将临时文件读取出来，放置到请求数据里面，这是没有问题的，开发者也不需要关心。肯定是完整的数据。 如果使用的openresty lua 开发的话，就需要开发者自己读取出来，让后续的逻辑使用。
location /xx/xx/xx/xx {
# 响应正常，内容为空
proxy_http_version 1.1;
proxy_set_header Connection "";
empty_gif;
client_max_body_size 50m;
client_body_buffer_size 10m;
content_by_lua_block{
local topic = ""
local cjson = require "cjson"
local producer = require "resty.kafka.producer"
-- 定义kafka broker地址，ip需要和kafka的host.name配置一致
local broker_list = {
{ host = "", port = },
{ host = "", port = },
{ host = "", port = }
}
-- 定义json便于日志数据整理收集
local data_json = {}
ngx.req.read_body()
local args = ngx.req.get_body_data()
if nil == args then
local temp_file_name = ngx.req.get_body_file()
ngx.log(ngx.ERR, "Body data in temp file: ", temp_file_name)
if temp_file_name then
local f = assert(io.open(file_name, 'r'))
local body_data = f:read("*all")
f:close()
args = body_data
ngx.log(ngx.ERR, "Body: ", args)
end
end
-- ngx.log(ngx.ERR, "kafka receive msg:", args)
data_json["body"] = ngx.encode_base64(args)
data_json["u_time"] = ngx.now() * 1000
-- 转换json为字符串
local message = cjson.encode(data_json);
-- ngx.log(ngx.ERR, "args:", message)
-- 定义kafka异步生产者
local bp = producer:new(broker_list, { producer_type = "async" })
-- 发送日志消息,send第二个参数key,用于kafka路由控制:
-- key为nill(空)时，一段时间向同一partition写入数据
-- 指定key，按照key的hash写入到对应的partition
local ok, err = bp:send(topic, nil, message)
if not ok then
ngx.log(ngx.ERR, "kafka enter msg:", args)
return
end
}
}总结 传输的数据大于client_max_body_size，一定是传不成功的。小于client_body_buffer_size直接在内存中高效存储。如果大于client_body_buffer_size小于client_max_body_size会存储临时文件，临时文件一定要有权限。 如果追求效率，就设置 client_max_body_size client_body_buffer_size相同的值，这样就不会存储临时文件，直接存储在内存了。