论文标题：（现代集群数据库中高效稳定的基于仲裁的日志复制与回放）

期刊：

作者：Donghui WANG, Peng CAI, Weining QIAN, Aoying ZHOU

发表时间：07 Jan 2022

DOI：

微信链接：

导 读

现代内存数据库（IMDB）可以支持高度并发的在线事务处理（OLTP）工作负载，并且每秒生成大量事务日志。基于仲裁的日志复制协议，如 Paxos 或 Raft，得到了广泛的应用，它为分布式数据库提供了高可用和数据强一致性的保障。然而，高速的事务的处理为日志复制带来了新的挑战。首先，仲裁复制中的主节点需要考虑不同的事务到达率和备节点的处理能力，需要具有自适应性。其次，在高并发环境下，备节点需要重放日志，跟随主节点的状态，以减少数据可见性差距。第三，现代数据库往往是由一组由低配置网络连接的商品机组成的集群，网络异常经常发生。在这种情况下，由于备节点陷入长时间异常处理过程（例如，从主节点获取丢失的日志），性能将受到显著影响。为此，我们构建了 QuorumX，一个高效、稳定的基于仲裁协议的复制框架，适用于重 OLTP 工作负载下的 IMDB 日志复制。QuorumX 结合了基于关键路径的批处理和管道批处理技术，提供了一个自适应的日志传播方案，以在各种设置下获得稳定和较高的性能。进一步，我们提出了一个安全且无需协调的日志重放方案，以最小化主从 IMDB 之间的数据可视性差距。为了进一步减轻集群数据库中网络的不可靠对复制性能的影响，我们对备节点进行了仔细的设计，避免在各种场景下数据库出现不稳定。我们使用 YCSB、TPC-C 和一个实际的 Micro-Benchmark 测试结果表明，QuorumX 的性能接近于异步主备份复制，并且始终能够提供稳定的服务，同时保证数据强一致性和较低的可视性差距。

文章精要

摘要

The modern in-memory database (IMDB) can support highly concurrent on-line transaction processing (OLTP) workloads and generate massive transactional logs per second. Quorum-based replication protocols such as Paxos or Raft have been widely used in the distributed databases to offer higher availability and fault-tolerance. However, it is non-trivial to replicate IMDB because high transaction rate has brought new challenges. First, the leader node in quorum replication should have adaptivity by considering various transaction arrival rates and the processing capability of follower nodes. Second, followers are required to replay logs to catch up the state of the leader in the highly concurrent setting to reduce visibility gap. Third, modern databases are often built with a cluster of commodity machines connected by low configuration networks, in which the network anomalies often happen. In this case, the performance would be significantly affected because the follower node falls into the long-duration exception handling process (e.g., fetch lost logs from the leader). To this end, we build QuorumX, an efficient and stable quorum-based replication framework for IMDB under heavy OLTP workloads. QuorumX combines critical path based batching and pipeline batching to provide an adaptive log propagation scheme to obtain a stable and high performance at various settings. Further, we propose a safe and coordination-free log replay scheme to minimize the visibility gap between the leader and follower IMDBs. We further carefully design the process for the follower node in order to alleviate the influence of the unreliable network on the replication performance. Our evaluation results with the YCSB, TPC-C and a realistic micro-benchmark demonstrate that QuorumX achieves the performance close to asynchronous primary-backup replication and could always provide a stable service with data consistency and a low-level visibility gap.

相关内容推荐：

Frontiers of Computer Science

Frontiers of Computer Science （FCS）是由教育部主管、高等教育出版社和北京航空航天大学共同主办、SpringerNature 公司海外发行的英文学术期刊。本刊于 2007 年创刊，双月刊，全球发行。主要刊登计算机app领域具有创新性的综述论文、研究论文等。本刊主编为周志华教授，共同主编为熊璋教授。编委会及青年 AE 团队由国内外知名学者及优秀青年学者组成。本刊被 SCI、Ei、DBLP、INSPEC、SCOPUS 和明升中国app引文数据库（CSCD）核心库等收录，为 CCF 推荐期刊；两次入选“明升中国科技期刊国际影响力提升计划”；入选“第4届明升中国国际化精品科技期刊”；入选“明升中国科技期刊卓越行动计划项目”。

《前沿》系列英文学术期刊

由教育部主管、高等教育出版社主办的《前沿》（Frontiers）系列英文学术期刊，于2006年正式创刊，以网络版和印刷版向全球发行。系列期刊包括基础app、明升m88app、工程技术和人文社会app四个主题，是我国覆盖学科最广泛的英文学术期刊群，其中13种被SCI收录，其他也被A&HCI、Ei、MEDLINE或相应学科国际权威检索系统收录，具有一定的国际学术影响力。系列期刊采用在线优先出版方式，保证文章以最快速度发表。

明升中国学术前沿期刊网