TensorFlow Serving 高性能的机器学习模型服务系统

架构
TensorFlow Serving 是一个灵活、高性能的机器学习模型服务系统，专为生产环境而设计。 TensorFlow Serving 可以轻松部署新算法和实验，同时保持相同的服务器架构和 API。 TensorFlow Serving 提供与 TensorFlow 模型的开箱即用集成，但可以轻松扩展以服务于其他类型的模型。

关键概念
要了解 TensorFlow Serving 的架构，您需要了解以下关键概念：

可服务Servables
Servables 是 TensorFlow Serving 中的核心抽象。 Servables 是客户端用来执行计算（例如，查找或推理）的底层对象。

Servable 的大小和粒度是灵活的。单个 Servable 可能包含从查找表的单个分片到单个模型再到推理模型元组的任何内容。 Servables 可以是任何类型和接口，从而实现灵活性和未来改进，例如：

流式传输结果
实验性 API
异步操作模式
Servables 不管理自己的生命周期。

典型的可服务包括以下内容：

一个 TensorFlow SavedModelBundle (tensorflow::Session)
用于嵌入或词汇查找的查找表

可服务版本
TensorFlow Serving 可以在单个服务器实例的生命周期内处理一个或多个版本的 servable。这使得随着时间的推移加载新的算法配置、权重和其他数据。版本可以同时加载多个版本的 servable，支持逐步推出和试验。在服务时，客户端可以请求特定模型的最新版本或特定版本 ID。

可服务的流
可服务流是可服务的版本序列，按版本号递增排序。

楷模
TensorFlow Serving 将模型表示为一个或多个可服务对象。机器学习模型可能包括一个或多个算法（包括学习的权重）和查找或嵌入表。

您可以将复合模型表示为以下任意一种：

多个独立的可服务对象
单一复合可服务（single composite servable）

一个可服务对象也可能对应于模型的一部分。例如，一个大型查找表可以跨多个 TensorFlow Serving 实例进行分片。

Loaders
加载器管理 servable 的生命周期。 Loader API 支持独立于所涉及的特定学习算法、数据或产品用例的通用基础架构。具体来说，Loaders 标准化了用于加载和卸载 servable 的 API。