【AI 充电】揭秘大语言模型实践：分布式推理的工程化落地才是关键！ _云计算

## 分布式推理成为大模型落地的首 选方案

随着 3 月 15 日 OpenAI 重磅发布了 GPT4，其在司法考试、程序编程上的惊艳表现，将大家对大模型的热情推向了顶点，人们纷纷讨论是否我们已经进入到通用人工智能的时代。与此同时，基于大语言模型的应用也如雨后春笋出现在大家面前，其在协同办公、客服对话、语言翻译、内容生成等方面的使用均来带了前所未有的畅快体验。

在我们享受大语言模型带来的普惠 AI 能力时，它也给开发者带来了前所未有的挑战。GPT3 模型具有 1750 亿参数量，即使是针对学术界和初级用户的 Alpaca 也具有 70 亿的参数量，因此单机多卡的分布式推理便成为了大模型落地方案的不二选择。

本文将以 Bloom7B1 模型为样例，分享在阿里云容器服务 ACK 上，进行大语言模型分布式推理的具体实践。

## 工程化落地是大模型分布式推理的关键

随着越来越多的大语言模型发布，其中也有很多表现优秀的开源大语言模型能让大家体验，人们通过已有的大语言模型构建自己的应用也不再遥不可及。然而，与以往的模型不同，单张 GPU 卡的显存可能不足以支撑大语言模型。因此，需要使用模型并行技术，将大语言模型进行切分后，在多张 GPU 卡上进行推理。在本文中，我们使用 DeepSpeed Inference 来部署大语言模型分布式推理服务。

DeepSpeed Inference 是 Microsoft 提供的分布式推理解决方案，能够很好的支持 transformer 类型的大语言模型。DeepSpeed Inference 提供了模型并行能力，在多 GPU 上对大模型并行推理。通过张量并行技术同时利用多个 GPU，提高推理性能。DeepSpeed 还提供了优化过的推理定制内核来提高 GPU 资源利用率，降低推理延迟。详细信息可参考DeepSpeed Inference **[3** **]** 。

有了大模型分布式推理方案，然而想要在 Kubernetes 集群中高效部署大模型推理服务，还存在很多工程化挑战，比如大规模的 GPU 等异构资源如何高效地管理运维和自动调度？如何快速部署推理服务，服务上线后如何保证资源能够应对波动的访问量？以及没有适合的工具进行推理服务时延、吞吐、GPU 利用率、显存占用等关键指标监控，没有合理的模型切分方案，模型版本管理等。

本文使用阿里云容器服务 ACK 云原生 AI 套件进行 DeepSpeed 分布式推理的实践，可以轻松管理大规模异构资源，精细化的 GPU 调度策略和丰富的 GPU 监控告警能力，使用 Arena 快速提交和管理可弹性伸缩的推理服务，以及服务化运维等。

## 实践示例概述

本例中会使用以下组件：

-   **Arena**：Arena 是基于 Kubernetes 的机器学习轻量级解决方案，支持数据准备、模型开发，模型训练、模型预测的完整生命周期，提升数据科学家工作效率。同时和阿里云的基础云服务深度集成，支持 GPU 共享、CPFS 等服务，可以运行阿里云优化的深度学习框架，最大化使用阿里云异构设备的性能和成本的效益。更多 arena 信息，可以参考云原生 AI 套件开发者使用指南 **[** **1]** 。
-   **Ingress**：在 Kubernetes 集群中，Ingress 作为集群内服务对外暴露的访问接入点，其几乎承载着集群内服务访问的所有流量。Ingress 是 Kubernetes 中的一个资源对象，用来管理集群外部访问集群内部服务的方式。您可以通过 Ingress 资源来配置不同的转发规则，从而达到根据不同的规则设置访问集群内不同的 Service 所对应的后端 Pod。更多 Ingress 信息，可以参考 Ingress 概述 **[** **2]** 。
-   **DeepSpeed Inference**：是 Microsoft 提供的分布式推理解决方案，提供了对 GPT、BLOOM 等 LLM 模型的分布式推理优化，具体可参考 DeepSpeed Inference **[** **3]** 。

下列示例中，我们通过 Arena 在 Kubernetes 集群中部署了基于 Bloom 7B1 模型的单机多卡分布式推理服务，使用 DJLServing 作为模型服务框架。DJLServing 是由 Deep Java Library (DJL) 提供支持的高性能通用模型服务解决方案，能直接支持 DeepSpeed Inference，通过 HTTP 提供大模型推理服务，详细信息可参考 DJLServing **[** **4]** 。使用 Arena 提交推理任务，在 Kubernetes 中使用 Deployment 部署推理服务，从共享存储 OSS 中加载模型和配置文件，通过 Service 暴露服务，为推理服务提供弹性伸缩、GPU 共享调度、性能监控、成本分析与优化等功能，降低您的运维成本。

## 实践示例步骤

### 环境准备

-   创建包含 GPU 的 Kubernetes 集群 **[** **5]**
-   安装云原生 AI 套件 **[** **6]**

### 大模型推理实践

接下来演示如何使用 Arena 命令行工具，在 ACK 容器服务中提交一个 Bloom7B1 模型的单机多卡分布式推理任务，并配置 Ingress 来进行服务访问。

#### 1. 模型配置编写

模型配置中包括了两个方面的内容：

-   **配置文件**，对应本例中的 serving.properties 文件，里面描述了模型配置的相关信息。这里重点关注两个参数：

-   -   tensor_parallel_degree：用于指定 tensor parallel 的 size，本例中设置为 2，也就是使用 2 张 GPU 卡进行分布式推理；
    -   model_id：为模型的名称，huggingface 中 model 的名称，也可以是 download 后的模型地址；本例样例中，会将 bloom7B1 模型下载到 OSS 中，并通过 PVC 的形式挂载到容器内，因此这里会指定 OSS 的地址。

-   **推理逻辑文件**，用于完成模型的加载和 request 的处理，具体如下：

-   -   get_model 函数：先进行 model 和分词器的加载，然后将 model 通过 deepspeed.init_inference 转换为具有分布式推理能力的 model，最后通过新生成的 model 来构建推理 pipeline；
    -   handle 函数：通过调用 get_model 函数中生成的 pipeline 来完成 tokenize，forward 和 detokenize 流程。

serving.properties 内容如下：

-   这里的 model_id 指定为 pvc 挂载后的容器内地址；如果没有提前 download 模型到本地，可以指定为 bigscience/bloom-7b1，程序会执行自动下载（模型文件一共 15G 作业）

```
engine=DeepSpeed
option.parallel_loading=true
option.tensor_parallel_degree=2
option.model_loading_timeout=600
option.model_id=model/LLM/bloom-7b1/deepspeed/bloom-7b1
option.data_type=fp16
option.max_new_tokens=100
```

model.py 内容如下：

```
mport os
import torch
from typing import Optional

import deepspeed
import logging
logging.basicConfig(format='[%(asctime)s] %(filename)s %(funcName)s():%(lineno)i [%(levelname)s] %(message)s', level=logging.DEBUG)
from djl_python.inputs import Input
from djl_python.outputs import Output
from transformers import pipeline, AutoModelForCausalLM, AutoTokenizer

predictor = None

def get_model(properties: dict):
    model_dir = properties.get("model_dir")
    model_id = properties.get("model_id")
    mp_size = int(properties.get("tensor_parallel_degree", "2"))
    local_rank = int(os.getenv('OMPI_COMM_WORLD_LOCAL_RANK', '0'))
    logging.info(f"process [{os.getpid()}  rank is [{local_rank}]]")
    if not model_id:
        model_id = model_dir
    logging.info(f"rank[{local_rank}] start load model")
    model = AutoModelForCausalLM.from_pretrained(model_id)
    tokenizer = AutoTokenizer.from_pretrained(model_id)
    logging.info(f"rank[{local_rank}] success load model")

model = deepspeed.init_inference(model,
                                     mp_size=mp_size,
                                     dtype=torch.float16,
                                     replace_method='auto',
                                     replace_with_kernel_inject=True)
    logging.info(f"rank[{local_rank}] success to convert model to deepspeed kernel")

return pipeline(task='text-generation',
                    model=model,
                    tokenizer=tokenizer,
                    device=local_rank)

def handle(inputs: Input) -> Optional[Output]:
    global predictor
    if not predictor:
        predictor = get_model(inputs.get_properties())

if inputs.is_empty():
        # Model server makes an empty call to warmup the model on startup
        return None

data = inputs.get_as_string()
    output = Output()
    output.add_property("content-type", "application/json")
    result = predictor(data, do_sample=True, max_new_tokens=50)
    return output.add(result)
```

分别将 serving.properties、model.py 和模型文件（可选）上传到 OSS 上。具体操作，请参见控制台上传文件 **[** **7]** 。

上传到 OSS 之后，分别创建名称为 bloom7b1-pv 和 bloom7b1-pvc 的 PV 和 PVC，以用于推理服务的容器挂载。具体操作，请参见使用 OSS 静态存储卷 **[** **8]** 。

#### 2. 启动服务

将配置文件信息放入 PVC 中，可通过下列 arena 命令启动推理服务。

-   --gpus：设置为 2，表示需要使用 2 张 GPU 卡进行分布式推理
-   --data：bloom7b1-pvc 为上一步创建的 pvc，/model 为 pvc 挂载到容器中的路径

```
arena serve custom \
    --name=bloom7b1-deepspeed \
    --gpus=2 \
    --version=alpha \
    --replicas=1 \
    --restful-port=8080 \
    --data=bloom7b1-pvc:/model \
    --image=ai-studio-registry-vpc.cn-beijing.cr.aliyuncs.com/kube-ai/djl-serving:2023-05-19 \
    "djl-serving -m "
```

查看任务运行情况。

```
$ kubectl get pod | grep bloom7b1-deepspeed-alpha-custom-serving
bloom7b1-deepspeed-alpha-custom-serving-766467967d-j8l2l    1/1     Running     0          8s

# 查看启动日志
kubectl logs bloom7b1-deepspeed-alpha-custom-serving-766467967d-j8l2l -f
```

服务启动日志如下，通过日志我们可以看到：

-   使用的 tensor parallel size 为 2 的分布式并行进行推理
-   服务中启动了 process id 为 92 和 93 的两个进程，rank id 分别为 0 和 1
-   rank0 和 rank0 会同时进行 kernel 的转换和模型的加载，以实现分布式推理的任务

```
INFO  ModelServer Starting model server ...
INFO  ModelServer Starting djl-serving: 0.23.0-SNAPSHOT ...
INFO  ModelServer
INFO  PyModel Loading model in MPI mode with TP: 2.
INFO  PyProcess [1,0]<stdout>:process [92  rank is [0]]
INFO  PyProcess [1,0]<stdout>:rank[0] start load model
INFO  PyProcess [1,1]<stdout>:process [93  rank is [1]]
INFO  PyProcess [1,1]<stdout>:rank[1] start load model
INFO  PyProcess [1,0]<stdout>:rank[0] success to convert model to deepspeed kernel
INFO  PyProcess [1,1]<stdout>:rank[1] success to convert model to deepspeed kernel
INFO  PyProcess [1,0]<stdout>:rank[0] success load model
INFO  PyProcess [1,1]<stdout>:rank[1] success load model
INFO  PyProcess Model [deepspeed] initialized.
INFO  PyProcess Model [deepspeed] initialized.
INFO  PyModel deepspeed model loaded in 297083 ms.
INFO  ModelServer Initialize BOTH server with: EpollServerSocketChannel.
INFO  ModelServer BOTH API bind to: http://0.0.0.0:8080
```

#### 3. 服务验证

这里我们启动 port-forward 来进行快速验证

```
# 使用 kubectl 启动port-forward
kubectl  -n default-group port-forward svc/bloom7b1-deepspeed-alpha 9090:8080
```

在另一个终端，请求服务

```
# 打开新的终端，执行下列命令
$ curl -X POST http://127.0.0.1:9090/predictions/deepspeed -H "Content-type: text/plain" -d "I'm very thirsty, I need"
[
  {
    "generated_text":"I'm very thirsty, I need some water.\nWhat are you?\n- I'm a witch.\n- I thought you'd say that.\nI know a great witch.\nShe's right in here.\n- You know where we can go?\n- That's right, in one moment.\n- You want to"
  }
]
```

#### 4. Ingress 配置

我们可配置 Ingress 来将模型服务对外透出，以用来对外部流量进行管理，保证模型可用性。为上面创建的服务配置 Ingress 流程如下：

-   登录容器服务管理控制台，在左侧导航栏选择集群。
-   在集群列表页面，单击目标集群名称，然后在左侧导航栏，选择网络 > 路由。
-   在路由页面，单击创建 Ingress，在创建 Ingress 对话框配置路由。

更详细的 Ingress 配置策略可以参考：创建 Nginx Ingress **[** **9]**

填写如下信息

![image](http://www.zzvips.com/uploads/allimg/c723eba06e5345d59afd2e98603081f8~tplv-k3u1fbpfcp-zoom-1.png "image")

Ingress 创建成功后，可以 Ingress 配置的域名来对 Bloom 模型进行访问。

```
% curl -X POST http://www.zzvips.com/uploads/allimg/deepspeed -H "Content-type: text/plain" -d "I'm very thirsty, I need"
[
  {
    "generated_text":"I'm very thirsty, I need to drink!\nI want more water.\nWhere is the water?\nLet me have the water, let me have the water...\nWait!\nYou're the father aren't you?\nDo you have water?\nAre you going to let me have some?\nGive me the"
  }
]
```

## 总结和展望

通过上面的例子，我们展示了如何使用 Arena 部署了一个 Bloom7B1 模型的单机多卡推理服务，使用 DeepSpeed-Inference 的模型并行推理技术，在多张 GPU 上进行推理。除了 DeepSpeed-Inference，当前也有一些其他的大模型分布式推理方案，比如 FastTransformer + Triton。后续我们也将不断探索，希望能够通过云原生 AI 套件，结合大模型分布式推理方案，用更低的成本支持高性能、低延迟、可弹性伸缩的大模型推理服务。

**相关链接：**

[1] 云原生 AI 套件开发者使用指南

*<http://www.zzvips.com/uploads/allimg/336968.html

[2] Ingress 概述

*<http://www.zzvips.com/uploads/allimg/198892.html

[3] DeepSpeed Inference

*<https://www.deepspeed.ai/tutorials/inference-tutorial/>*

[4] DJLServing

*<https://github.com/deepjavalibrary/djl-serving>*

[5] 创建托管 GPU 集群

*[http://www.zzvips.com/uploads/allimg/error.html

[6] 安装云原生 AI 套件

[*http://www.zzvips.com/uploads/allimg/error.html

[7] 控制台上传 OSS 文件

*<http://www.zzvips.com/uploads/allimg/31886.htm

[8] 使用 OSS 静态存储卷

*<http://www.zzvips.com/uploads/allimg/134903.html

[9] 创建 Nginx ingress

*[http://www.zzvips.com/uploads/allimg/error.html
			</div>
		    <div class="nrwz">
			<script>dy("nrwz");</script>
			</div>
			<div class="pageinfo">
				 
			</div>
		</div>
		<div class="article-actions">
			<div class="tags fl">
				<i class="icon-tag"></i> 
			</div>
			<div class="operation fr">
				<span class="custom-share"><span class="bdsharebuttonbox"><a href="#" class="bds_tsina" data-cmd="tsina" title="分享到新浪微博"></a><a href="#" class="bds_weixin" data-cmd="weixin" title="分享到微信"></a><a href="#" class="bds_sqq" data-cmd="sqq" title="分享给QQ好友"></a><a href="#" class="bds_qzone" data-cmd="qzone" title="分享到QQ空间"></a></span></span>
			</div>
		</div>
		<div class="article-about special_tag_wrap">
			<div class="special-tag">
				<h2 class="special-tag-tit clearfix">延伸 · 阅读</h2>
			</div>
			<ul class="about-txtul">
				 <li><i>2023-07-04</i><a href="/news/247985.html" title="Spigen 推出新款 10000mAh 快充充电宝：30W PD 充电，支持三星手机 25W 快充" target="_blank">Spigen 推出新款 10000mAh 快充充电宝：30W PD 充电，</a></li>
<li><i>2023-07-04</i><a href="/news/247982.html" title="晓来 Litheli 推出火石 300 户外电源：300W 逆变输出、无线充电，1980 元" target="_blank">晓来 Litheli 推出火石 300 户外电源：300W 逆变输出</a></li>
<li><i>2023-07-03</i><a href="/news/247828.html" title="消息称苹果 AirPods Pro 充电盒将换用 USB-C 接口，测听力功能开发中" target="_blank">消息称苹果 AirPods Pro 充电盒将换用 USB-C 接口，测</a></li>
<li><i>2023-07-03</i><a href="/news/247824.html" title="谷歌 Pixel 8 系列手机曝光：最高 4950mAh 电池，支持 27/23W 充电" target="_blank">谷歌 Pixel 8 系列手机曝光：最高 4950mAh 电池，支</a></li>
<li><i>2023-07-03</i><a href="/news/247809.html" title="【IT之家评测室】摩尔线程智娱摩方主机评测：内置国产显卡，能玩 3A 大作" target="_blank">【IT之家评测室】摩尔线程智娱摩方主机评测：内</a></li>
<li><i>2023-07-03</i><a href="/news/247750.html" title="科技昨夜今晨 0703：苹果成全球首家收盘市值超 3 万亿美元的公司、各汽车厂商 6 月交付数据出炉、消息称苹果 AirPods Pro 充电盒将换用 USB-C 接口" target="_blank">科技昨夜今晨 0703：苹果成全球首家收盘市值超</a></li>

</ul>
		</div>
		<div class="clearfix">
		</div>
		<div class="share-area">
			<div class="nr2">
				<script>dy("nr2");</script>
			</div>
		</div>
		<div class="comment-tit comment-title">
			<div class='hd'>
				精彩推荐
			</div>
		</div>
		<div class="detail clearfix">
			<ul class="clearfix">
				<div class="nr3">
					<script>dy("nr3");</script>
				</div>
				 <li class="clearfix"><a href="/news/114935.html" class="detail-img"><span>云计算</span><img src="/uploads/allimg/201112/22123S203-0-lp.jpg" alt="疫情影响云计算投资的10个方面" title="疫情影响云计算投资的10个方面"/></a>
				<div class="detail-info">
					<h3><a href="/news/114935.html">疫情影响云计算投资的10个方面</a></h3>
					<p>
						 云计算技术如今改变了游戏规则。管理和控制云计算的服务商越来越受欢迎，技术领导者意识到他们的组织必须满足不断增长的需求，并且必须经常优化云...
					</p>
					<div class="detail-icon">
						<span class="fl comment">企业网D1Net</span><span class="view fr">442</span><span class="time fr">2020-11-12</span>
					</div>
				</div>
				</li>
<li class="clearfix"><a href="/news/35429.html" class="detail-img"><span>云计算</span><img src="/uploads/allimg/191201/2256052200-0-lp.jpg" alt="对于云中的成本优化需要了解什么？" title="对于云中的成本优化需要了解什么？"/></a>
				<div class="detail-info">
					<h3><a href="/news/35429.html">对于云中的成本优化需要了解什么？</a></h3>
					<p>
						 如今的云计算技术和可用的多种平台意味着现在几乎所有内容都在云中运行。由于有望在提高业务敏捷性的同时降低成本，大多数企业已将业务大量迁移到...
					</p>
					<div class="detail-icon">
						<span class="fl comment">机房360</span><span class="view fr">197</span><span class="time fr">2019-12-01</span>
					</div>
				</div>
				</li>
<li class="clearfix"><a href="/news/1739.html" class="detail-img"><span>云计算</span><img src="/uploads/allimg/190609/231G23L5-0-lp.jpg" alt="PaaS是什么?为什么说PaaS是云计算开发的关键?" title="PaaS是什么?为什么说PaaS是云计算开发的关键?"/></a>
				<div class="detail-info">
					<h3><a href="/news/1739.html">PaaS是什么?为什么说PaaS是云计算开发的关键?</a></h3>
					<p>
						 云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)，提供资源的网络被称为 云。在云计算的...
					</p>
					<div class="detail-icon">
						<span class="fl comment">挖链网</span><span class="view fr">564</span><span class="time fr">2019-06-09</span>
					</div>
				</div>
				</li>
<li class="clearfix"><a href="/news/88872.html" class="detail-img"><span>云计算</span><img src="/uploads/allimg/200726/225S141J-2.png" alt="云计算网络安全等级保护定级" title="云计算网络安全等级保护定级"/></a>
				<div class="detail-info">
					<h3><a href="/news/88872.html">云计算网络安全等级保护定级</a></h3>
					<p>
						 云计算的本质是服务，如果不能将计算资源规模化/大范围的进行共享，如果不能真正以服务的形式提供，就根本算不上云计算。...
					</p>
					<div class="detail-icon">
						<span class="fl comment">FreeBuf</span><span class="view fr">595</span><span class="time fr">2020-07-26</span>
					</div>
				</div>
				</li>
<li class="clearfix"><a href="/news/247109.html" class="detail-img"><span>云计算</span><img src="/images/defaultpic.gif" alt="私有云从“可用”到“好用”，“可进化”是一把尺                 " title="私有云从“可用”到“好用”，“可进化”是一把尺                 "/></a>
				<div class="detail-info">
					<h3><a href="/news/247109.html">私有云从“可用”到“好用”，“可进化”是一把尺         </a></h3>
					<p>
						 中桥咨询2022年发布的一份云计算调查数据显示：在“未来12个月公司的IT形态以哪种为主”的问题中，21.3%的大型企业选择了私有云;在“未来24个月公司的...
					</p>
					<div class="detail-icon">
						<span class="fl comment">未知</span><span class="view fr">198</span><span class="time fr">2023-06-29</span>
					</div>
				</div>
				</li>
<li class="clearfix"><a href="/news/180760.html" class="detail-img"><span>云计算</span><img src="/uploads/allimg/210802/2146253O6-0-lp.jpg" alt="云原生驱动云计算“质变” 为数字化转型提供实现路径" title="云原生驱动云计算“质变” 为数字化转型提供实现路径"/></a>
				<div class="detail-info">
					<h3><a href="/news/180760.html">云原生驱动云计算“质变” 为数字化转型提供实现路径</a></h3>
					<p>
						 云计算如何助力企业数字化?未来将如何影响社会变革?在2021年可信云大会现场，记者采访了中国信息通信研究院云计算与大数据研究所(以下简称中国信通院...
					</p>
					<div class="detail-icon">
						<span class="fl comment">光明网</span><span class="view fr">802</span><span class="time fr">2021-08-02</span>
					</div>
				</div>
				</li>
<li class="clearfix"><a href="/news/6249.html" class="detail-img"><span>云计算</span><img src="/images/defaultpic.gif" alt="Gartner报告：AWS市场份额下跌4% 阿里云增长近一倍" title="Gartner报告：AWS市场份额下跌4% 阿里云增长近一倍"/></a>
				<div class="detail-info">
					<h3><a href="/news/6249.html">Gartner报告：AWS市场份额下跌4% 阿里云增长近一倍</a></h3>
					<p>
						 7月10日下午消息，权威研究机构Gartner今日发布全球云计算市场数据，2018年亚马逊AWS市场份额下跌4%，阿里云份额增长近一倍。 据Gartner统计，2018年全球云计...
					</p>
					<div class="detail-icon">
						<span class="fl comment">新浪科技</span><span class="view fr">369</span><span class="time fr">2019-07-10</span>
					</div>
				</div>
				</li>
<li class="clearfix"><a href="/news/90393.html" class="detail-img"><span>云计算</span><img src="/uploads/allimg/200730/1-200I0234309645-lp.jpg" alt="云计算的未来：对企业，员工和社会的影响" title="云计算的未来：对企业，员工和社会的影响"/></a>
				<div class="detail-info">
					<h3><a href="/news/90393.html">云计算的未来：对企业，员工和社会的影响</a></h3>
					<p>
						 为了突出云计算的令人兴奋的未来，让我们深入探讨这场信息技术革命将对企业、员工和社会产生的影响。...
					</p>
					<div class="detail-icon">
						<span class="fl comment">千家网</span><span class="view fr">223</span><span class="time fr">2020-07-30</span>
					</div>
				</div>
				</li>

</ul>
		</div>
	</div>
	 <div class="sidebar fr"><div class="adr"><script>dy("r1")</script></div><div class="r-box clearfix"><div class="r-title"><span>最近更新</span></div><div class="r-content"><ul class="pc-list"><li><a href="/news/248109.html" target="_blank">【AI 充电】揭秘大语言模型实践：分布式推理</a></li>
<li><a href="/news/248108.html" target="_blank">DeepSpeed + Kubernetes 如何轻松落地大规模分布式</a></li>
<li><a href="/news/248107.html" target="_blank">边缘云特点、应用实践和发展趋势浅析     </a></li>
<li><a href="/news/248106.html" target="_blank">解读 RocketMQ 5.0 全新的高可用设计            </a></li>
<li><a href="/news/248105.html" target="_blank">Rainbond助力“信创应用”迁移上云            </a></li>
</ul></div></div><div class="adr"><script>dy("rn3")</script></div><div class="r-box clearfix"><div class="r-title"><span>编辑推荐</span></div><div class="r-content"><ul class="hot-news"><li class="first-img"><div class="hot-img"><a href="/news/214773.html" target="_blank"><img src="/uploads/allimg/210519/2321401532-0-lp.jpg" width="320" alt="美国和欧洲 vps哪个好？美国和欧洲vps详细对比" title="美国和欧洲 vps哪个好？美国和欧洲vps详细对比"><div class="img-tit"><i>美国和欧洲 vps哪个好？美国和欧洲vps详细对比</i></div></a></div></li>
 <li class="second-list clearfix"><a href="/article/87295.html" target="_blank" class="common-img"><i>2</i><img src="/uploads/200722/1-200H2004430C6.png" width="120" alt="云服务器是什么，云主机干什么用的？" title="云服务器是什么，云主机干什么用的？"></a><div class="hot-list-info"><h4><a href="/article/87295.html" target="_blank">云服务器是什么，云主机干什么用的？</a></h4><span class="hot-data">2020-07-22</span></div></li>
 <li class="clearfix"><a href="/news/67000.html" target="_blank" class="common-img"><i>3</i><img src="/uploads/allimg/200517/232S552G-0-lp.jpg" width="120" alt="2020最新好用的web服务器软件推荐"></a><div class="hot-list-info"><h4><a href="/news/67000.html" target="_blank">2020最新好用的web服务器软件推荐</a></h4><span class="hot-data">2020-05-17</span></div></li>
<li class="clearfix"><a href="/article/55563.html" target="_blank" class="common-img"><i>4</i><img src="/uploads/allimg/200406/192R93K4-0-lp.png" width="120" alt="服务器操作系统有哪些?"></a><div class="hot-list-info"><h4><a href="/article/55563.html" target="_blank">服务器操作系统有哪些?</a></h4><span class="hot-data">2020-04-06</span></div></li>
<li class="clearfix"><a href="/article/55555.html" target="_blank" class="common-img"><i>5</i><img src="/uploads/allimg/200406/1P11623a-0-lp.jpg" width="120" alt="web服务器配置（图文详解）"></a><div class="hot-list-info"><h4><a href="/article/55555.html" target="_blank">web服务器配置（图文详解）</a></h4><span class="hot-data">2020-04-06</span></div></li>
<li class="clearfix"><a href="/article/13179.html" target="_blank" class="common-img"><i>6</i><img src="/uploads/allimg/190916/1-1Z916211611634-lp.jpg" width="120" alt="企业如何选择阿里云服务器配置?"></a><div class="hot-list-info"><h4><a href="/article/13179.html" target="_blank">企业如何选择阿里云服务器配置?</a></h4><span class="hot-data">2019-10-18</span></div></li>
<li class="clearfix"><a href="/article/2460.html" target="_blank" class="common-img"><i>7</i><img src="/uploads/allimg/190614/1-1Z614212505362.jpg" width="120" alt="五大免费主机管理系统优缺点对比及推荐"></a><div class="hot-list-info"><h4><a href="/article/2460.html" target="_blank">五大免费主机管理系统优缺点对比及推荐</a></h4><span class="hot-data">2019-06-14</span></div></li>
<li class="clearfix"><a href="/article/607.html" target="_blank" class="common-img"><i>8</i><img src="/uploads/allimg/190528/10214645S-0-lp.jpg" width="120" alt="2019最新三款Windows下连接Linux的ssh软件下载推荐"></a><div class="hot-list-info"><h4><a href="/article/607.html" target="_blank">2019最新三款Windows下连接Linux的ssh软件下载推荐</a></h4><span class="hot-data">2019-05-28</span></div></li>
<li class="clearfix"><a href="/news/588.html" target="_blank" class="common-img"><i>9</i><img src="/uploads/allimg/190527/1-1Z52H02UI38.jpg" width="120" alt="服务器常用管理软件盘点"></a><div class="hot-list-info"><h4><a href="/news/588.html" target="_blank">服务器常用管理软件盘点</a></h4><span class="hot-data">2019-05-27</span></div></li>
<li class="clearfix"><a href="/article/455.html" target="_blank" class="common-img"><i>10</i><img src="/uploads/allimg/190524/1_0524223Sb4Z.jpeg" width="120" alt="Nginx服务器究竟是怎么执行PHP项目"></a><div class="hot-list-info"><h4><a href="/article/455.html" target="_blank">Nginx服务器究竟是怎么执行PHP项目</a></h4><span class="hot-data">2019-05-24</span></div></li>
</ul></div></div><div class="adr"><script>dy("rn4")</script></div><div class="r-box clearfix"><div class="r-title"><span>阅读排行</span></div><div class="hotpage-con" style="display:block"><ul><li><span class="num">1</span> <a href="/news/2582.html" target="_blank">常常提到的saas是什么意思?通俗点的解释</a></li>
<li><span class="num">2</span> <a href="/news/21444.html" target="_blank">什么是多云？如何通俗地解释多云</a></li>
<li><span class="num">3</span> <a href="/news/2585.html" target="_blank">云计算的特征是什么?云计算的定义及主要特</a></li>
 <li><span>4</span> <a href="/news/20031.html" target="_blank">云计算一般薪资多少 云计算专业工作工资多</a></li>
<li><span>5</span> <a href="/news/1738.html" target="_blank">云计算适合什么人学?云计算适合女生学吗?</a></li>
<li><span>6</span> <a href="/news/1720.html" target="_blank">云计算是什么？云服务运营商提供哪些服务？</a></li>
<li><span>7</span> <a href="/news/71260.html" target="_blank">2020年Gartner全球MSP魔力象限</a></li>
<li><span>8</span> <a href="/news/221310.html" target="_blank">Podman是什么？和Docker有啥区别？</a></li>
<li><span>9</span> <a href="/news/2267.html" target="_blank">华为云计算是什么?华为云的商业模式是怎样</a></li>
<li><span>10</span> <a href="/news/80172.html" target="_blank">什么是边缘计算？三分钟看懂</a></li>
</ul></div></div><div class="adr"><script>dy("rn5")</script></div><div class="r-box clearfix"><div class="r-title"><span>热门标签</span></div><div class="r-content2"><div class="inner_con"> <a target="_blank" href="/tags/72106/">数字架构</a> 　  <a target="_blank" href="/tags/2310/">学习路线</a> 　  <a target="_blank" href="/tags/2311/">云计算概念</a> 　  <a target="_blank" href="/tags/2312/">优势</a> 　  <a target="_blank" href="/tags/2313/">发展历程</a> 　  <a target="_blank" href="/tags/2314/">PaaS</a> 　  <a target="_blank" href="/tags/2315/">云计算开发</a> 　  <a target="_blank" href="/tags/2388/">欧盟</a> 　  <a target="_blank" href="/tags/2389/">超算中心</a> 　  <a target="_blank" href="/tags/2659/">云游戏服务</a> 　  <a target="_blank" href="/tags/2673/">云计算应用</a> 　  <a target="_blank" href="/tags/2674/">云计算发展趋势</a> 　  <a target="_blank" href="/tags/2785/">云端</a> 　  <a target="_blank" href="/tags/2905/">特征</a> 　  <a target="_blank" href="/tags/2309/">IaaS</a> 　  <a target="_blank" href="/tags/2308/">云计算概念股</a> 　  <a target="_blank" href="/tags/2307/">云计算前景</a> 　  <a target="_blank" href="/tags/1821/">企业数字化</a> 　  <a target="_blank" href="/tags/1822/">电商云</a> 　  <a target="_blank" href="/tags/1856/">企业</a> 　  <a target="_blank" href="/tags/1857/">DRS</a> 　  <a target="_blank" href="/tags/1962/">深圳云计算</a> 　  <a target="_blank" href="/tags/2295/">云计算是什么意思</a> 　  <a target="_blank" href="/tags/2296/">什么叫云计算</a> 　  <a target="_blank" href="/tags/2301/">什么是云计算</a> 　  <a target="_blank" href="/tags/2302/">云计算是什么</a> 　  <a target="_blank" href="/tags/2303/">云服务运营商</a> 　  <a target="_blank" href="/tags/2304/">云计算行业</a> 　  <a target="_blank" href="/tags/2305/">发展趋势</a> 　  <a target="_blank" href="/tags/2306/">智能化</a> 　 </div></div></div><div class="fixed"><script>dy("r2")</script></div></div>
</div>
<div class='mb50'>
</div>
 <div class="footer"><div class="container"><span class="fl footer-info">© 2019-2023 服务器之家(www.zzvips.com) 版权所有</span><span class="fr footer-list"><a rel="nofollow" href="//www.zzvips.com/about/">关于我们</a><a rel="nofollow" href="//www.zzvips.com/about/contactus.html">联系我们</a><a rel="nofollow" href="//www.zzvips.com/about/copyright.html">版权申明</a><a rel="nofollow" href="//www.zzvips.com/sitemap.xml">网站地图</a></span><div style="display:none"><script>dy("foot");</script></div></div></div>
<script type="text/javascript">$(document).ready(function(e){t=$('.fixed').offset().top;mh=$('.main').height();fh=$('.fixed').height();$(window).scroll(function(e){s=$(document).scrollTop();if(s>t-10){$('.fixed').css('position','fixed');if(s+fh>mh){$('.fixed').css('top',mh-s-fh+'px')}}else{$('.fixed').css('position','')}})});window._bd_share_config={"common":{"bdSnsKey":{},"bdText":"","bdMini":"1","bdMiniList":false,"bdPic":"","bdStyle":"1","bdSize":"16"},"share":{}};with(document)0[(getElementsByTagName('head')[0]||body).appendChild(createElement('script')).src='//bdimg.share.baidu.com/static/api/js/share.js?v=89860593.js?cdnversion='+~(-new Date()/36e5)];</script><div style="display:none"><script src="/p/c.php?view=yes&aid=248109&mid=2" language="javascript"></script></div><script language="javascript" type="text/javascript" src="/include/ckeditor/plugins/syntaxhighlight/code.js" ></script>
<link type="text/css" rel="stylesheet" href="/include/ckeditor/plugins/syntaxhighlight/styles/shCore.css"/>
<link type="text/css" rel="stylesheet" href="/include/ckeditor/plugins/syntaxhighlight/styles/shThemeDefault.css"/>
</body>
</html>