FAQ 常见问题系列 -- 系统管理篇 Linux OOM Killer问题

Linux内核机制OOM Killer，也即Out of Memory Killer, 顾名思义，该机制的主要职能就是当内存不足时，选择并杀掉一些进程，以使系统继续运行。

Caché/Ensemble/IRIS的多个客户曾经遇到过与此相关的系统宕机，宕机的直接原因是数据库核心写进程Write Daemon被OOM Killer选中并杀掉了，在我们的日志文件中可以看到如下信息，

06/15/21-10:50:31:035 (13579) 3 Daemon WRTDMN (pid 13588) died. Freezing system
06/15/21-10:52:25:940 (13601) 2 System Process 'WRTDMN' terminated abnormally (pid 13588)

与之对应，在操作系统的日志文件中可以看到如下记录，

Jun 15 10:50:34 localhost kernel: Free swap = 0kB
Jun 15 10:50:34 localhost kernel: Total swap = 20479996kB
Jun 15 10:50:34 localhost kernel: 16777102 pages RAM
Jun 15 10:50:34 localhost kernel: 0 pages HighMem/MovableOnly
Jun 15 10:50:34 localhost kernel: 324506 pages reserved

Jun 15 10:50:30 localhost kernel: cache invoked oom-killer: gfp_mask=0x42d0, order=3, oom_score_adj=0
Jun 15 10:50:35 localhost kernel: Out of memory: Kill process 13588 (cache) score 127 or sacrifice child

InterSystems在后续的IRIS版本中（从IRIS2021.1.0开始）已经对此做了优化，以使Write Daemon不那么容易被OOM Killer选中。但是要从根本上解决该问题，还是应当重新审视系统的内存分配，如Huge Page，共享内存等，检查Linux内存相关参数，如vm.swappiness，vm.dirty_background_ratio，vm.dirty_ratio等，以使系统可以在内存使用方面达到最大的效用。