分布式机器学习——系统、工程与实战

图书信息

作者	柳浩
出版社	电子工业出版社
ISBN	9787121458149
出版时间	2023-06-01
字数	35.3万
分类	科技,计算机,网络,多媒体,数据通信

读书简介

本书主要讲解分布式机器学习算法和源框架，读者既可以从宏观的设计上了解分布式机器学习的概念和理论，也可以深核心技术的细节设计中，对分布式机器学习形成深刻而直观的认识，做到学以致用。 本书共分为5篇，第1篇是分布式基础，首先介绍了分布式机器学习的概念、基础设施，以及机器学习并行化技术、框架和软件系统，然后对集合通信和参数服务器PS-Lite行了介绍。

目录

内容简介

前言

1 分布式基础

第1章 分布式机器学习

第2章 集合通信

第3章 参数服务器之PS-Lite

2 数据并行

第4章 PyTorch DataParallel

第5章 PyTorch DDP的基础架构

第6章 PyTorch DDP的动态逻辑

第7章 Horovod

3 流水线并行

第8章 GPipe

第9章 PyTorch流水线并行

第10章 PipeDream之基础架构

第11章 PipeDream之动态逻辑

4 模型并行

第12章 Megatron

第13章 PyTorch如何实现模型并行

第14章 分布式优化器

5 TensorFlow分布式

第15章 分布式运行环境之静态架构

第16章 分布式运行环境之动态逻辑

第17章 分布式策略基础

第18章 MirroredStrategy

第19章 ParameterServerStrategy

反侵权盗版声明