脚本之家,脚本语言编程技术及教程分享平台!
分类导航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服务器之家 - 脚本之家 - Golang - 使用Go HTTP客户端打造高性能服务

使用Go HTTP客户端打造高性能服务

2022-01-21 00:38kuteng Golang

大多数语言都有提供各自的 HTTP 客户端,本文将动手实践如何使用Go语言发起HTTP请求,并讨论其中有可能遇到的问题。具有一定的参考价值,感兴趣的可以了解一下

HTTP(超文本传输协议)是一种用于客户端和服务器之间传输数据的通信协议。如果想要访问服务器资源,HTTP 请求是必不可少的。Go 语言里,net/http 包附带了默认配置,我们可以适当调整便可以获得高性能。

大多数语言都有提供各自的 HTTP 客户端,文章接下来部分我们将动手实践如何使用 Go 语言发起 HTTP 请求,并讨论其中有可能遇到的问题。

在做 Go 项目时,我就意识到 HTTP 客户端如果配置不正确可能会随时导致服务器崩溃。

在使用 HTTP Client 时,我观察到一些问题并总结出相应的解决方案,如下所示:

问题一:默认的 HTTP Client

默认情况下,net/http 包自带的 HTTP 客户端不带超时时间。如果你使用的是默认的客户端 http.DefaultClient(),这个是不带超时时间的。

假如你请求外部的 API 挂了,发出的请求没响应导致连接一直出于打开状态。随着请求数越来越多,连接数随之增加,导致耗尽服务器的资源,最后服务器随之崩溃。

解决办法:不要使用默认的 HTTP 客户端,根据实际情况设置超时时间。

?
1
2
3
var httpClient = &http.Client{
  Timeout: time.Second * 10,
}

对于 API 接口,超时时间建议不需要超过 10s,如果请求在 10s 内没有返回,则请求会取消并报错:request canceled (Client.Timeout exceeded …) 。

问题二:默认的 Http Transport

默认情况下,HTTP 客户端会维护一个连接池。当请求完成之后,连接会保持打开状态直到空闲时间超时(默认是 90s)自动断开。如果有请求过来,会优先使用已打开的连接而不是创建新的连接,请求完成之后,连接会返还到连接池中。

使用连接池将使用最少的服务器资源处理更多的 API 请求。

如果没有自定义 HTTP 客户端的 transport,将会使用默认配置。

HTTP Transport 的默认配置如下:

?
1
2
3
4
5
6
7
8
9
var DefaultTransport RoundTripper = &Transport{
    ...
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    ...
}
 
 
const DefaultMaxIdleConnsPerHost = 2

MaxIdleConns 表示连接池大小,是可以打开的最大连接数,默认值是 100。

参数 DefaultMaxIdleConnsPerHost 的默认值是 2,表示每个主机(host)的打开连接数。这意味着,连接池中 100 个连接只有两个连接分配给该主机。

随着请求增多,但是只有两个请求被处理,其他请求只能被迫等待并进入 TIME_WAIT 状态。请求增多,进入 TIME_WAIT 状态的连接数增多,消耗越来越多的服务器资源,当达到服务器瓶颈时,服务器将会崩溃。

解决办法:提高 MaxIdleConnsPerHost 数值,不要使用默认的 Transport。

?
1
2
3
4
5
6
7
8
9
t := http.DefaultTransport.(*http.Transport).Clone()
t.MaxIdleConns = 100
t.MaxConnsPerHost = 100
t.MaxIdleConnsPerHost = 100
 
httpClient = &http.Client{
  Timeout:   10 * time.Second,
  Transport: t,
}

通过增加每个主机的连接数和空闲连接数,就有助于提高性能并以最少的服务器资源处理更多请求。

可以根据服务器资源和实际需求适当增加连接池大小和每个主机的连接数。

总结

这篇文章中,我们围绕 net/http 包讨论了默认配置的一些问题。通过更改 HTTP 客户端的一些默认设置,在生产环境中也可以获得高性能的 HTTP 客户端。

到此这篇关于使用Go HTTP客户端打造高性能服务的文章就介绍到这了,更多相关Go HTTP客户端高性能内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://www.topgoer.cn/blog-47.html

延伸 · 阅读

精彩推荐
  • Golanggolang的httpserver优雅重启方法详解

    golang的httpserver优雅重启方法详解

    这篇文章主要给大家介绍了关于golang的httpserver优雅重启的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,...

    helight2992020-05-14
  • Golanggolang json.Marshal 特殊html字符被转义的解决方法

    golang json.Marshal 特殊html字符被转义的解决方法

    今天小编就为大家分享一篇golang json.Marshal 特殊html字符被转义的解决方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧 ...

    李浩的life12792020-05-27
  • Golanggo语言制作端口扫描器

    go语言制作端口扫描器

    本文给大家分享的是使用go语言编写的TCP端口扫描器,可以选择IP范围,扫描的端口,以及多线程,有需要的小伙伴可以参考下。 ...

    脚本之家3642020-04-25
  • Golanggo日志系统logrus显示文件和行号的操作

    go日志系统logrus显示文件和行号的操作

    这篇文章主要介绍了go日志系统logrus显示文件和行号的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    SmallQinYan12302021-02-02
  • Golanggolang如何使用struct的tag属性的详细介绍

    golang如何使用struct的tag属性的详细介绍

    这篇文章主要介绍了golang如何使用struct的tag属性的详细介绍,从例子说起,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看...

    Go语言中文网11352020-05-21
  • GolangGolang中Bit数组的实现方式

    Golang中Bit数组的实现方式

    这篇文章主要介绍了Golang中Bit数组的实现方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    天易独尊11682021-06-09
  • Golanggolang 通过ssh代理连接mysql的操作

    golang 通过ssh代理连接mysql的操作

    这篇文章主要介绍了golang 通过ssh代理连接mysql的操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...

    a165861639710342021-03-08
  • GolangGolang通脉之数据类型详情

    Golang通脉之数据类型详情

    这篇文章主要介绍了Golang通脉之数据类型,在编程语言中标识符就是定义的具有某种意义的词,比如变量名、常量名、函数名等等,Go语言中标识符允许由...

    4272021-11-24