论文标题：（DRPS—— 针对分布式机器学习的高效磁盘驻留参数服务器）

期刊：

作者：Zhen SONG, Yu GU, Zhigang WANG, Ge YU

发表时间：01 Dec 2021

DOI：

微信链接：

导读

参数服务器作为最先进的分布式大规模迭代机器学习架构已经被学者广泛研究。然而，现存的基于参数服务器架构的系统通常以内存驻留的方式实现。由于内存空间的限制，一些机器学习开发人员很难在他们的小集群中训练大规模的机器学习任务。此外，租借大规模云服务器对于一些资金有限的研究团队或小公司是不可行的。在本文，我们提出了一个名为DRPS的磁盘驻留参数服务器系统，该系统通过将高维模型存储到磁盘中来减少硬件需求。为了进一步提升DRPS的效率，我们建立了高效的索引和一个全新的多目标参数划分算法。最后，我们提出一个灵活的工作机自主选择的并行计算模型WSP来实现在参数版本不一致和进程执行不一致两者之间的权衡。

文章精要

摘要

Parameter server (PS) as the state-of-the-art distributed framework for large-scale iterative machine learning tasks has been extensively studied. However, existing PS-based systems often depend on memory implementations. With memory constraints, machine learning (ML) developers cannot train large-scale ML models in their rather small local clusters. Moreover, renting large-scale cloud servers is always economically infeasible for research teams and small companies. In this paper, we propose a disk-resident parameter server system named DRPS, which reduces the hardware requirement of large-scale machine learning tasks by storing high dimensional models on disk. To further improve the performance of DRPS, we build an efficient index structure for parameters to reduce the disk I/O cost. Based on this index structure, we propose a novel multi-objective partitioning algorithm for the parameters. Finally, a flexible workerselection parallel model of computation (WSP) is proposed to strike a right balance between the problem of inconsistent parameter versions (staleness) and that of inconsistent execution progresses (straggler). Extensive experiments on many typical machine learning applications with real and synthetic datasets validate the effectiveness of DRPS.

相关内容推荐：

Frontiers of Computer Science

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机app领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和明升中国app引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“明升中国科技期刊国际影响力提升计划”；入选“第4届明升中国国际化精品科技期刊”；入选“明升中国科技期刊卓越行动计划项目”。

《前沿》系列英文学术期刊

由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础app、明升m88app、工程技术和人文社会app四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中13种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。

明升中国学术前沿期刊网