加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

优雅的读取http请求或响应的数据

发布时间:2019-01-31 03:33:43 所属栏目:教程 来源:戚银
导读:从 http.Request.Body 或 http.Response.Body 中读取数据要领或者许多,尺度库中大大都行使 ioutil.ReadAll 要领一次读取全部数据,假如是 json 名目标数据还可以行使 json.NewDecoder 从 io.Reader 建设一个理会器,倘使行使 pprof 来说明措施老是会发明

以上是尺度库 ioutil.ReadAll 的代码,每次会建设一个 var buf bytes.Buffer 而且初始化 buf.Grow(int(capacity)) 的巨细为 bytes.MinRead, 这个值呢就是 512,按这个 buffer 的巨细读取一次数据必要分派 2~16 次内存,天啊的确不能忍,我本身建设一个 buffer 好欠好。

看一下火焰图🔥吧,个中红框标志的就是 ioutil.ReadAll 的部门,颜色较量艳丽。

优雅的读取http哀求或相应的数据

优化读取要领

本身建设足够大的 buffer 镌汰由于容量不足导致的多次扩容题目。

  1. buffer := bytes.NewBuffer(make([]byte, 4096)) 
  2. _, err := io.Copy(buffer, request.Body) 
  3. if err !=nil{ 
  4.     return nil, err 

恩恩这样应该差不多了,为啥是初始化 4096 的巨细,这是个均值,纵然比 4096 大根基也就多分派一次内存即可,并且大大都数据都是比 4096 小的。

可是这样真的就算好了吗,虽然不能这样,这个 buffer 个每哀求都要建设一次,是不是应该思量一下复用呢,行使 sync.Pool 成立一个缓冲池结果就更好了。

以下是优化读取哀求的简化代码:

  1. package adapter 
  2.  
  3. import ( 
  4.     "bytes" 
  5.     "io" 
  6.     "net/http" 
  7.     "sync" 
  8.  
  9.     "github.com/json-iterator/go" 
  10.     "github.com/sirupsen/logrus" 
  11.     "github.com/thinkeridea/go-extend/exbytes" 
  12.  
  13. type Adapter struct { 
  14.     pool sync.Pool 
  15.  
  16. func New() *Adapter { 
  17.     return &Adapter{ 
  18.         pool: sync.Pool{ 
  19.             New: func() interface{} { 
  20.                 return bytes.NewBuffer(make([]byte, 4096)) 
  21.             }, 
  22.         }, 
  23.     } 
  24.  
  25. func (api *Adapter) GetRequest(r *http.Request) (*Request, error) { 
  26.     buffer := api.pool.Get().(*bytes.Buffer) 
  27.     buffer.Reset() 
  28.     defer func() { 
  29.         if buffer != nil { 
  30.             api.pool.Put(buffer) 
  31.             buffer = nil 
  32.         } 
  33.     }() 
  34.  
  35.     _, err := io.Copy(buffer, r.Body) 
  36.     if err != nil { 
  37.         return nil, err 
  38.     } 
  39.  
  40.     request := &Request{} 
  41.     if err = jsoniter.Unmarshal(buffer.Bytes(), request); err != nil { 
  42.         logrus.WithFields(logrus.Fields{ 
  43.             "json": exbytes.ToString(buffer.Bytes()), 
  44.         }).Errorf("jsoniter.UnmarshalJSON fail. error:%v", err) 
  45.         return nil, err 
  46.     } 
  47.     api.pool.Put(buffer) 
  48.     buffer = nil 
  49.  
  50.     // .... 
  51.      
  52.     return request, nil 

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读