详解Linux系统内存知识及调优方案

内存是计算机中重要的部件之一，它是与CPU进行沟通的桥梁。计算机中所有程序的运行都是在内存中进行的，因此内存的性能对计算机的影响非常大。内存作用是用于暂时存放CPU中的运算数据，以及与硬盘等外部存储器交换的数据。只要计算机在运行中，CPU就会把需要运算的数据调到内存中进行运算，当运算完成后CPU再将结果传送出来，内存的运行也决定了计算机的稳定运行。对于整个操作系统来说，内存可能是最麻烦的的设备。而其性能的好坏直接影响着整个操作系统。

创新互联公司专业为企业提供卧龙网站建设、卧龙做网站、卧龙网站设计、卧龙网站制作等企业网站建设、网页设计与制作、卧龙企业网站模板建站服务，十余年卧龙做网站经验，不只是建网站，更提供有价值的思路和整体网络服务。

我们知道CPU是不能与硬盘打交道的，只有数据被载入到内存中才可以被CPU调用。cpu在访问内存的时候需要先像内存监控程序请求，由监控程序控制和分配内存的读写请求，这个监控程序叫做MMU(内存管理单元)。下面以32位系统来说明内存的访问过程：

32位的系统上每一个进程在访问内存的时候，每一个进程都当做自己有4个G的内存空间可用，这叫虚拟内存(地址)，虚拟内存转化成物理内存是通过MMU来完成的。为了能够从线性地址转换成物理地址，需要page table(页表)的内存空间,page table要载入到MMU上。为了完成线性地址到物理地址的映射，如果按照1个字节1个字节映射的话，需要一张非常大的表，这种转换关系会非常的复杂。因此把内存空间又划分成了另外一种存储单元格式，通常为4K。在不同的硬件平台上，它们的大小一般是不一样的，像x86 32位的有4k的页;而64位的有4k页，2M页，4M页，8M页等等，默认都是4k的。每一个进程一般而言都有自己的页路径和页表映射机制，不管那一个页表都是由内核加载的。每一个进程只能看到自己的线性地址空间，想要增加新的内存的时候，只能在自己的线性地址空间中申请，并且申请后一定是通过操作系统的内核映射到物理地址空间中去找那么一段空间，并且告诉线性地址空间准备好了，可以访问，并且在page table中增加一条映射关系，于是就可以访问物理内存了，这种叫做内存分配。但是新的申请一定是通过操作的内核到物理内存中去找那么一段空间，并且告诉线性地址空间好了，可以建设映射关系，最终page table建立映射关系。

这反映了上述描述过程的大体情况。可以看到每一个用户程序都会有自己的页表，并且映射到对应的主存储器上去。

根据上述文字和图表的描述可以发现2个问题：

1.每个进程如果需要访问内存的时候都需要去查找page table的话，势必会造成服务器的性能底下

2.如果主存储器的内存满了以后，应用程序还需要调用内存的时候怎么办

对于第一个问题，我们就需要借助TLB(Translation Lookaside Buffer)翻译后备缓冲器。TLB是一个内存管理单元，它可以用于改进虚拟地址到物理地址转换速度的缓存。这样每次在查找page table的时候就可以先去TLB中查找相应的页表数据，如果有就直接返回，没有再去查找page table，并把查找到的结果缓存中TLB中。TLB虽然解决了缓存的功能，但是在那么page table中查找映射关系仍然很慢，所以又有了page table的分级目录。page table可以分为1级目录，2级目录和偏移量

但是一个进程在运行的时候要频繁的打开文件，关闭文件。这就意味着要频繁的申请内存和释放内存。有些能够在内存中缓存数据的那些进程，他们对内存的分配和回收更多，那么每一次分配都会在页表中建立一个对应项。所以，就算内存的速度很快，大量频繁的同一时间分配和释放内存，依然会降低服务器的整体性能。当然内存空间不够用的时候，我们称为oom(out of memory,内存耗尽)。当内存耗尽的时候，，整个操作系统挂了。这种情况下我们可以考虑交换分区，交换分区毕竟是由硬盘虚拟出来的内存，所以其性能与真正的内存相比，差了很多，所以要尽力避免使用交换分区。有物理内存空间的时候尽量保证全部使用物理内存。cpu无论如何是不能给交换内存打交道的，它也只能给物理内存打交道，能寻址的空间也只能是物理内存。所以当真正物理内存空间不够用的时候，会通过LRU算法把其中最近最少使用的内存放到交换内存中去，这样物理内存中的那段空间就可以供新的程序使用了。但是这样会引发另外的一个问题，即原来的进程通过page table寻找的时候，那一段空间的数据已经不属于它了。所以此刻cpu发送通知或者异常告诉这个程序，这个地址空间已不属于它，这个时候可能会出现2种情况：

1.物理内存有可用的空间可用：这个时候cpu会根据以前的转换策略会把交换分区中的那段内存重新送到物理内存中去，但是转换过来的空间地址不一定会是以前的那一段空间地址，因为以前的那一段空间地址可能已经被别人使用了。

2.物理内存没有可用的空间可用：这个时候依然会使用LRU算发把当前物理地址空间上最近最少使用的空间地址转换到交换内存中去，并把当前进程需要的这断在交换空间中的内存送到物理内存空间中去，并且重新建立映射关系。

上述通知或者异常出现的情况，通常叫做缺页异常。缺页异常也分为大异常和小异常两种。大异常就是访问的数据内存中没有，不的不去硬盘上加载，无论是从交换内存中还是直接从磁盘的某个文件系统上，反正需要从硬盘上去加载，这种异常加载需要很长时间。小异常就是进程之间通过共享内存，第二个进程访问的时候，查看本地的内存映射表没有，但是其它进程已经拥有了这个内存页，所以可以直接映射，这种异常加载需要的时间一般很短。

在操作系统开机的时候，每一个io设备都会像cpu申请一些列的随机端口，这种端口叫做io端口。在IBM PC体系结构中，I/O地址空间一共提供了65,536个8位的I/O端口。正是这些io端口的存在，cpu可以与io设备进行读写交互的过程。在执行读写操作时，CPU使用地址总线选择所请求的I/O端口，使用数据总线在CPU寄存器和端口之间传送数据。I/O端口还可以被映射到物理地址空间：因此，处理器和I/O设备之间的通信就可以直接使用对内存进行操作的汇编语言指令(例如，mov、and、or等等)。现代的硬件设备更倾向于映射I/O，因为这样处理的速度较快，并可以和DMA结合起来使用。这样io在和内存传数据的时候就不需要通过cpu，cpu把总线的控制权交给DMA，每次io传数据的时候就调用DMA一次，就把cpu给解放了出来。当数据传输完了以后，DMA通知给cpu中断一次。DMA在运行的时候对整个总线有控制权限，当cpu发现有其它进程需要使用总线的时候，二者就会产生争用。这个时候，在总线控制权的使用上，CPU和DMA具有相等的权限。只要CPU委托给了DMA，就不能随意的收回这个委托，就要等待DMA的用完。

如果没有其它进程可以运行，或者其它进程运行的时间非常短，这个时候CPU发现我们的IO仍然没有完成，那就意味着，CPU只能等待IO了。CPU在时间分配里面有个iowait的值，就是CPU在等待IO花费的时间。有些是在同步调用过程中，CPU必须要等待IO的完成;否者CPU可以释放IO的传输在背后自动完成，CPU自己去处理其它的事情。等硬盘数据传输完成以后，硬盘只需要像CPU发起一个通知即可。CPU外围有一种设备，这个设备叫做可编程中断控制器。每一个硬件设备为了给CPU通信，在刚开机的时候，在BIOS实现检测的时候，这个设备就要到可编程中断控制器上去注册一个所谓的中断号。那么这个号码就归这个硬件使用了。当前主机上可能有多个硬件，每一个硬件都有自己的号码，CPU在收到中断号以后，就能够通过中断相量表查找到那个硬件设备进行中断。并且就由对应的IO端口过来处理了。

CPU正在运行其它进程，当一个中断请求发过来的时候，CPU会立即终止当前正在处理的进程，而去处理中断。当前CPU挂起当前正在处理的进程，转而去执行中断的过程，也叫做中断切换。只不过，这种切换在量级别上比进程切换要低一些，而且任何中断的优先级通常比任何进程也要高，因为我们指的是硬件中断。中断还分为上半部和下半部，一般而言，上半部就是CPU在处理的时候，把它接进来，放到内存中，如果这个事情不是特别紧急(CPU或者内核会自己判断)，因此在这种情况下，CPU回到现场继续执行刚才挂起的进程，当这个进程处理完了，再回过头来执行中断的下半部分。

在32位系统中，我们的内存(线性地址)地址空间中，一般而言，低地址空间有一个G是给内核使用的，上面3个G是给进程使用的。但是应该明白，其实在内核内存当中，再往下，不是直接这样划分的。32位系统和64位系统可能不一样(物理地址)，在32位系统中，最低端有那么10多M的空间是给DMA使用的。DNA的总线宽度是很小的，可能只有几位，所以寻址能力很有限，访问的内存空间也就很有限。如果DMA需要复制数据，而且自己能够寻址物理内存，还可以把数据直接壮哉进内存中去，那么就必须保证DMA能够寻址那段内存才行。寻址的前提就是把最低地址断M，DA的寻址范围内的那一段给了DMA。所以站在这个角度来说，我们的内存管理是分区域的。

在32位系统上，16M的内存空间给了ZONE_DMA(DMA使用的物理地址空间);从16M到896M给了ZONE_NORMAL(正常物理地址空间)，对于Linux操作系统来说，是内核可以直接访问的地址空间;从896M到1G这断空间叫做"Reserved"(预留的物理地址空间);从1G到4G的这段物理地址空间中，我们的内核是不能直接访问的，要想访问必须把其中的一段内容映射到Reserved来，在Reserved中保留出那一段内存的地址编码，我们内核才能上去访问，所以内核不直接访问大于1G的物理地址空间。所以在32位系统上，它访问内存当中的数据，中间是需要一个额外步骤的。

在64位系统上，ZONE_DAM给了低端的1G地址空间，这个时候DMA的寻址能力被大大加强了;ZONE_DAM32可以使用4G的空间;而大于1G以上给划分了ZONE_NORMAL,这段空间都可以被内核直接访问。所以在64位上，内核访问大于1G的内存地址，就不需要额外的步骤了，效率和性能上也大大增加，这也就是为什么要使用64位系统的原因。

在现在的PC架构上，AMD,INTER都支持一种机制，叫做PEA(物理地址扩展)。所谓PAE。指的是在32位系统的地址总线上，又扩展了4位，使得32位系统上的地址空间可以达到64G。当然在32为系统上，不管你的物理内存有多大，单个进程所使用的空间是无法扩展的。因为在32位的系统上，线性地址空间只有4个G，而单个进程能够识别的访问也只有3个G。

linux的虚拟内存子系统包含了以下几个功能模块：

slab allocator,zoned buddy allocator,MMU,kswapd,bdflush

slab allocator叫做slab分配器

buddy allocator又叫做buddy system，叫做伙伴系统，也是一种内存分配器

buddy system是工作在MMU之上的，而slab allocator又是工作在buddy system之上的。

设置为小于等于1G，在数据库服务器应该劲量避免使用交换内存

3.在应用服务器上，可以设置为RAM*0.5，当然这个是理论值

如果不的不使用交换内存，应该把交换内存放到最靠外的磁道分区上，因为最外边的磁盘的访问速度最快。所以如果有多块硬盘，可以把每块硬盘的最外层的磁道拿一小部分出来作为交换分区。交换分区可以定义优先级，因此把这些硬盘的交换内存的优先级设置为一样，可以实现负载均衡的效果。定义交换分区优先级的方法为编辑/etc/fstab：

/dev/sda1 swap swap pri=5 0 0

/dev/sdb1 swap swap pri=5 0 0

/dev/sdc1 swap swap pri=5 0 0

/dev/sdd1 swap swap pri=5 0 0

四.内存耗尽时候的相关调优参数

当Linux内存耗尽的时候，它会杀死那些占用内存最多的进程，以下三种情况会杀死进程：

1.所有的进程都是活动进程，这个时候想交换出去都没有空闲的进程

2.没有可用的page页在ZONE_NORMAL中

3.有其它新进程启动，申请内存空间的时候，要找一个空闲内存给做映射，但是这个时候找不到了

一旦内存耗尽的时候，操作系统就会启用oom-kill机制。

在/proc/PID/目录下有一个文件叫做oom_score,就是用来指定oom的评分的，就是坏蛋指数。

如果要手动启用oom-kill机制的话，只需要执行echo f/proc/sysrq-trigger即可，它会自动杀掉我们指定的坏蛋指数评分最高的那个进程

可以通过echo n /proc/PID/oom_adj来调整一个进程的坏蛋评分指数。最终的评分指数就是2的oom_adj的值的N次方。假如我们的一个进程的oom_adj的值是5，那么它的坏蛋评分指数就是2的5次方。

如果想禁止oom-kill功能的使用可以使用vm.panic_on_oom=1即可。

五.与容量有关的内存调优参数：

overcommit_memory,可用参数有3个，规定是否能够过量使用内存：

0：默认设置，内核执行启发式的过量使用处理

1：内核执行无内存的过量使用处理。使用这个值会增大内存超载的可能性

2：内存的使用量等于swap的大小+RAM*overcommit_ratio的值。如果希望减小内存的过度使用，这个值是最安全的

overcommit_ratio:将overcommit_memory指定为2时候，提供的物理RAM比例，默认为50

六.与通信相关的调优参数

常见在同一个主机中进行进程间通信的方式：

1.通过消息message;2.通过signal信号量进行通信;3.通过共享内存进行通信，跨主机常见的通信方式是rpc

以消息的方式实现进程通信的调优方案：

msgmax:以字节为单位规定消息队列中任意消息的最大允许大小。这个值一定不能超过该队列的大小(msgmnb)，默认值为65536

msgmnb:以字节为单位规定单一消息队列的最大值(最大长度)。默认为65536字节

msgmni:规定消息队列识别符的最大数量(及队列的最大数量)。64位架构机器的默认值为1985;32位架构机器的默认值为1736

以共享内存方式实现进程通信的调优方案：

shmall:以字节为单位规定一次在该系统中可以使用的共享内存总量(单次申请的上限)

shmmax:以字节为单位规定每一个共享内存片段的最大大小

shmmni:规定系统范围内最大共享内存片段。在64和32位的系统上默认值都是4096

七.与容量相关的文件系统可调优参数：

file-max:列出内核分配的文件句柄的最大值

dirty_ratio:规定百分比值，当脏数据达到系统内存总数的这个百分比值后开始执行pdflush,默认为20

dirty_background_ratio:规定百分比值，当某一个进程自己所占用的脏页比例达到系统内存总数的这个百分比值后开始在后台执行pdflush，默认为10

dirty_expire_centisecs:pdlush每隔百分之一秒的时间开启起来刷新脏页，默认值为3000，所以每隔30秒起来开始刷新脏页

dirty_writeback_centisecs:每隔百分之一秒开始刷新单个脏页。默认值为500，所以一个脏页的存在时间达到了5秒，就开始刷新脏

八.linux内存常用的观察指标命令：

Memory activity

vmstat [interval] [count]

sar -r [interval] [count]

Rate of change in memory

sar -R [interval] [count]

frmpg/s:每秒释放或者分配的内存页，如果为正数，则为释放的内存页;如果为负数，则为分配的内存页

bufpg/s:每秒buffer中获得或者释放的内存页。如果为正数则为获得的内存页，为负数。则为释放的内存页

campg/s:每秒cache中获得或者释放的内存页。如果为正数则为获得的内存页，为负数。则为释放的内存页

Swap activity

sar -W [interval] [count]

ALL IO

sar -B [interval] [count]

pgpgin/s:每秒从磁盘写入到内核的块数量

pgpgout/s:每秒从内核写入到磁盘的块数量

fault/s:每秒钟出现的缺页异常的个数

majflt/s:每秒钟出现的大页异常的个数

pgfree/s:每秒回收回来的页面个数

Linux buffer/cache回收

Linux2.6以后，使用pdflush kernel thread替代了bdflush，pdflush两个主要功能：1.dirty pages写回磁盘，2.超过30S(/proc/sys/vm/dirty_writeback_centisecs)的pages写回磁盘，防止数据丢失

触动机制:

1.进程或者手工调用sync().

2.grow_buffers( )分配buffer page失败

3.free_more_memory() or try_to_free_pages() reclaim失败

4.mempool_alloc()分配失败

5.更多场景，当进程dirty pages达到阈值时，/proc/sys/vm/dirty_background_ratio（默认10%)，调用 background_writeout()回收。

pdflush调用background_writeout()，指定刷新nr_pages。

过程中，当脏页在/proc/sys/vm/dirty_ratio（默认30%）以下时，停止刷新,如果脏页比例还在30%以上，往page_cache写将block。

刷新内存范围包括page cache dirty pages，super block dirty pages,device dirty pages等。

Linux磁盘I/O子系统

上文学到 不管什么文件系统类型，都通过VFS(虚拟文件系统层)读和写等操作文件，写文件的元数据和文件的实际数据到磁盘 。但数据是怎么落地磁盘中的呢？落到磁盘中的都经过什么组件？

以一个写数据到磁盘为例，给出Linux I/O子系统的体系结构。

当磁盘执行写入操作时发生的 基本操作 (假设磁盘上扇区中的文件数据已经被读取到分页缓存)。

1) 一个进程通过write()系统调用 VFS虚拟文件系统 请求写一个文件。

2) 内核更新已映射文件的分页缓存。

3) 内核线程 pdflush/Per-BDI flush将分页缓存刷新到磁盘。

4) 同时 VFS虚拟文件系统层 在一个bio(block input output)结构中放置每个块缓冲，并向块设备层提交写请求。

5) 块设备层 从上层得到请求，并执行一个 I/O电梯操作，将请求放置到I/O 请求队列。

6) 设备驱动器 （比如SCSI 或 其他设备特定的驱动器）将执行写操作。

7) 磁盘设备 固件执行硬件操作，如在盘片扇区上定位磁头，旋转，数据传输。

过去的20年中，处理器性能的改进要超过计算机系统中的其他组件，如处理器缓存、物理内存及磁盘等等。 访问内存和磁盘的速度较慢会限制整个系统的性能 ，怎么解决这个问题呢？引入 磁盘缓存机制 ，在较快的存储器中缓存频繁使用的数据，减少了访问较慢的存储器的次数。

磁盘缓存机制有以下3个地方解决：

引入存储层次结构 ，在CPU和磁盘之间放置L1缓存、L2缓存、物理内存和一些其他缓存减少这种不匹配，从而让进程减少访问较慢的内存和磁盘的次数，避免CPU花费更多的时间等待来自较慢磁盘驱动器的数据。

另外一种解决思路： 在更快的存储器上实现更高的缓存命中率，就可能更快地访问数据 。怎么提高缓存命中率呢？引入 参考局部性(locality of reference) 的技术。这项技术基于以下2个原则：

1) 大多数最近使用过的数据，在不久的将来有较高的几率被再次使用(时间局部性)。

2) 驻留在数据附近的数据有较高的几率被再次使用(空间局部性)。

Linux在许多组件中使用这些原则，比如分页缓存、文件对象缓存（索引节点缓存、目录条目缓存等等）、预读缓冲等。

以进程从磁盘读取数据并将数据复制到内存的过程为例。进程可以从缓存在内存中的数据副本中检索相同的数据，用于读和写。

1) 进程写入新数据

当一个进程试图改变数据时，进程首先在内存中改变数据。此时磁盘上的数据和内存中的数据是不相同的，并且内存中的数据被称为 脏页(dirty page) 。脏页中的数据应该尽快被同步到磁盘上，因为如果系统突然发生崩溃(电源故障)则内存中的数据会丢失。

2) 将内存中的数据刷新到磁盘

同步脏数据缓冲的过程被称为 刷新 。在Linux 2.6.32内核之前(Red Hat Enterprise  Linux 5)，通过内核线程pdflush将脏页数据刷新到磁盘。在Linux 2.6.32内核中(Red Hat Enterprise Linux 6.x)pdflush被Per-BDI flush线程(BDI=Backing Device Interface)取代，Per-BDI flush线程以flush-MAJOR：MINOR的形式出现在进程列表中。当内存中脏页比例超过阀值时，就会发生刷新(flush)。

块层处理所有与块设备操作相关的活动。块层中的关键数据结构是bio(block input output)结构，bio结构是在虚拟文件系统层和块层之间的一个接口。

当执行写的时候，虚拟文件系统层试图写入由块缓冲区构成的页缓存，将连续的块放置在一起构成bio结构，然后将其发送到块层。

块层处理bio请求，并链接这些请求进入一个被称为I/O请求的队列。这个链接的操作被称为 I/O电梯调度(I/O elevator)。问个问题：为啥叫电梯调度呢？

Linux 2.4内核使用的是一种单一的通用I/O电梯调度方法，2.6内核提供4种电梯调度算法供用户自己选择。因为Linux操作系统适用的场合很广泛，所以I/O设备和工作负载特性都会有明显的变化。

1）CFQ(Complete Fair Queuing，完全公平队列)

CFQ电梯调度为每个进程维护一个I/O队列，从而 对进程实现一个QoS(服务质量)策略 。CFQ电梯调度能够很好地适应存在很多竞争进程的大型多用户系统。它积极地避免进程饿死并具有低延迟特征。从2.6.18内核发行版开始，CFQ电梯调度成为默认I/O调度器。

CFQ为每个进程/线程单独创建一个队列来管理产生的请求，各队列之间用时间片来调度，以保证每个进程都能分配到合适的I/O带宽。I/O调度器每次执行一个进程的4个请求。

2）Deadline

Deadline是一种循环的电梯调度(round  robin)方法，Deadline 算法实现了一个近似于实时的I/O子系统。在保持良好的磁盘吞吐量的同时，Deadline电梯调度既提供了出色的块设备扇区的顺序访问，又确保一个进程不会在队列中等待太久导致饿死。

Deadline调度器为了兼顾这两个方面，引入了4个队列，这4个队列可分为两类，每一类都由读和写两种队列组成。一类队列用来对 请求 按 起始扇区序号 进行排序（通过红黑树来组织），称为sort_list；另一类对 请求 按 生成时间进行排序 （由链表来组织），称为fifo_list。每当确定了一个传输方向（读或写），系统都将会从相应的sort_list中将一批连续请求调度到请求队列里，具体的数目由fifo_batch来确定。 只有遇到三种情况才会导致一次批量传输的结束 ：1.对应的sort_list中已经没有请求了；2.下一个请求的扇区不满足递增的要求；3.上一个请求已经是批量传输的最后一个请求了。

所有的请求在生成时都会被赋上一个期限值，并且按期限值将它们排序在fifo_list中， 读请求的期限时长默认为500ms，写请求的期限时长默认为5s。 在Deadline调度器定义了一个writes_starved默认值为2，写请求的饥饿线。 内核总是优先处理读请求，当饿死进程的次数超过了writes_starved后，才会去考虑写请求 。 为什么内核会偏袒读请求呢? 这是从整体性能上进行考虑的。读请求和应用程序的关系是同步的，因为应用程序要等待读取完毕，方能进行下一步工作所以读请求会阻塞进程，而写请求则不一样。应用程序发出写请求后，内存的内容何时被写入块设备对程序的影响并不大，所以调度器会优先处理读请求。

3) NOOP

一个简单的FIFO 队列，不执行任何数据排序。NOOP 算法简单地合并相邻的数据请求，所以增加了少量的到磁盘I/O的处理器开销。NOOP电梯调度假设一个块设备拥有它自己的电梯算法。当后台存储设备能重新排序和合并请求，并能更好地了解真实的磁盘布局时，通常选择NOOP调度，

4）Anticipatory

Anticipatory本质上与Deadline一样，但Anticipatory电梯调度在处理最后一个请求之后会等待一段很短的时间，约6ms(可调整antic_expire改变该值)，如果在此期间产生了新的I/O请求，它会在每个6ms中插入新的I/O操作，这样可以将一些小的I/O请求合并成一个大的I/O请求，从而用I/O延时换取最大的I/O吞吐量。

Linux内核使用设备驱动程序得到设备的控制权。 设备驱动程序 通常是一个独立的内核模块，通常针对每个设备(或是设备组)而提供，以便这些设备在Linux操作系统上可用。一旦加载了设备驱动程序，将被当作Linux内核的一部分运行，并能控制设备的运行。

SCSI (Small Computer System Interface，小型计算机系统接口)是最常使用的I/O设备技术，尤其在企业级服务器环境中。SCSI在 Linux 内核中实现，可通过设备驱动模块来控制SCSI设备。 SCSI包括以下模块类型 ：

1) Upper IeveI drivers(上层驱动程序)。 sd_mod、sr_mod（SCSI-CDROM）、st（SCSI Tape）和sq（SCSI通用设备）等。

2) MiddIe IeveI driver(中层驱动程序) 。如scsi_mod实现了 SCSI 协议和通用SCSI功能。

3) Low IeveI drivers(底层驱动程序) 。提供对每个设备的较低级别访问。底层驱动程序基本上是特定于某一个硬件设备的，可提供给某个设备。

4) Pseudo drive(伪驱动程序) 。如ide-scsi，用于 IDE-SCSI仿真。

通常一个较大的性能影响是文件系统元数据怎样在磁盘上存放 。引入 磁盘条带阵列 (RAID 0、RAID 5和RAID 6)解决这个问题。在一个条带阵列上，磁头在移动到阵列中下一个磁盘之前，单个磁盘上写入的数据称为 CHUNKSIZE ，所有磁盘使用一次它后返回到第一个磁盘。 如果文件系统的布局没有匹配RAID的设计，则有可能会发生一个文件系统元数据块被分散到2个磁盘上，导致对2个磁盘发起请求 。或者 将所有的元数据在一个单独的磁盘上存储，如果该磁盘发生故障则可能导致该磁盘变成热点 。

设计RAID阵列需要考虑以下内容：

1) 文件系统使用的块大小。

2) RAID 阵列使用的CHUNK大小。

3) RAID 阵列中同等磁盘的数量。

块大小 指可以读取/写入到驱动器的最小数据量，对服务器的性能有直接的影响。块的大小由文件系统决定，在联机状态下不能更改，只有重新格式化才能修改。可以使用的块大小有1024B、2048B、4096B，默认为 4096 B。

stride条带 是在一个chunk中文件系统块的数量。如果文件系统块大小为4KB，则chunk大小为64KB，那么stride是64KB/4KB=16块。

stripe-width 是RAID阵列上一个条带中文件系统块的数量。比如 一个3块磁盘的RAID5阵列 。按照定义，在RAID5阵列每个条带中有1个磁盘包含奇偶校验内容。想要得到stripe-width，首先需要知道每个条带中有多少磁盘实际携带了数据块，即3磁盘-1校验磁盘=2数据磁盘。2个磁盘中的stride是chunk中文件系统块的数量。因此能计算 2（磁盘）*16（stride）=32（stripe）。

创建文件系统时可以使用mkfs给定数量：mk2fs -t ext4 -b 4096 -E stripe=16,stripe_width=64 /dev/vda

Page Cache

Page Cache是通过将磁盘中的数据缓存到内存中，减少磁盘I/O操作，从而提高性能。此外，还要确保Page Cache中的数据更改能够同步到磁盘上，这称之为page回写（page writeback）。一个inode对应一个page cache对象，一个page cache对象包含多个物理page。

对磁盘的数据进行缓存，从而提高性能主要基于两个因素：一：磁盘访问速度比内存慢几个数量级。第二是访问过的数据，很大概率再次访问（局部性原理）。

Page Cache是内核管理的内存，也就是说，它属于内核，而不属于用户。

在Linux上，可以直接查看Page Cache的方式有很多， 包括/proc/meminfo、free 、/proc/vmstat 命令，它们的内容实际上是一致的。

以/proc/meminfo命令来说：

其中： Buffers + Cached + SwapCached = Active(file) + Inactive(file) + Shmem + SwapCached

等式两边的内容就是平时说的Page Cache ，两边都有SwapCached，只是为了说明它也是Page Cache的一部分。

在Page Cache中，Active(file) + Inactive(file) 是File-backed page（与文件对应的内存页），是最需要关注的部分，因为平时用的mmap()内存映射方式和buffered I/O来消耗的内存就是这部分。

SwapCached是打开了Swap分区后，把Inactive(anno) + Active(anno)两项匿名页交换到磁盘（swap out）之后，然后在读入到内存（swap in）之后分配的内存。 由于读入到内存后，原来的Swap File还存在，所以SwapCached也可以认为是File-backed page，属于Page Cache。 注意：SwapCached只有在Swap分区打开的请求下才会有，但是Swap过程产生的I/O很容易引起性能抖动，因此，线上环境Swap分区一般是关闭的。

Shmen是指匿名共享映射这种方式分配的内存（free 命令中的shared一项）。

当内核发起一个读请求时，会先检查请求的数据是否缓存到了page cache中，如果有则直接从内存中读取，不需要访问磁盘。如果cache没有请求的数据，就必须从磁盘中读取数据，然后内核将数据缓存到cache中。这样后续读请求就可以命中cache了。page可以只缓存一个文件部分的内容，不需要把整个文件都缓存进来。

当内核发起一个写请求时，同样直接写入到cache中。内核会将被写入的page标记为dirty，并将其加入到dirty list中。内核会周期性的将dirty list中的page回写到磁盘上。从而使磁盘上的数据和内存中缓存的数据一致。

Page Cache的产生有两种不同的方式：

两种方式产生如下图：

对于标准I/O的写，是写用户缓冲区，然后再讲用户缓冲区的数据拷贝到内核缓冲区。如果是读的话，则先从内核缓冲区拷贝到用户缓冲区，再从用户缓冲区中读数据。

对于存储映射I/O，是直接将Pagecache 的Page 给映射到用户地址空间，用户直接读写Pagecache Page中的内容。

以标准I/O为例，解释一下，Page Cache如何产生。具体如下图：

1）往用户缓冲区buffer写入数据。然后buffer中的数据拷贝到内核缓冲区（Pagecache page）。

2）如果内核缓冲区中没有这个Page，就会发生Page Fault，会去分配一个Page。

3）拷贝数据，该Pagecache Page就是一个Dirty Page（脏页）。

4）然后Dirty Page的内容会同步到磁盘，同步到磁盘后，该Pagecache Page就会变成Clean Page并且继续存在系统中。

如果是读文件产生的PageCache ，它的内容和磁盘内容一样，所以它一开始就是Clean Page，除非改写了里面的内容才会变成Dirty Page。

cat /proc/vmstat | egrep "dirty|writeback“

nr_dirty 表示当前系统中积压了多少脏页，nr_writeback 则表示有多少脏页正在回写到磁盘中，他们两个的单位都是 Page(4KB)。

先看写内存分配的图：

可以得出，应用在申请内存的时候，即使没有free内存了，只要还有足够的可回收逇Page Cache，也可以通过回收Page Cache的方式来申请到内存，所以，回收的方式主要有两种： 直接回收和后台回收。

也就是对应的两种页面回收机制：

1）周期性的检查：后台运行的守护进程kswapd完成。该进程定期检查当前系统的内存使用情况，发现系统内空闲的物理内存数目少于特定的阈值（参数是什么？），该进程就会发起页面回收的操作。

2）“内存严重不足”事件触发：如果需要很大内存，而当时系统的内存没有办法提供足够多的物理内存以满足内存请求。这时，操作系统就必须尽快进行页面回收，以便释放一些内存空间从而满足内存请求。

可以通过命令sar来观察内存回收行为，也可以通过查看/proc/vmstat里面的指标进行查看。

Linux中的页面回收是基于LRU(Lease recently used ，最近最少使用)算法。Linux操作系统对LRU的实现是基于一对双向链表，active链表和inactive链表。经常被访问的处于活跃状态的页面会被放到activre链表上，并不经常使用的页面则会放到inactive聊表上。页面会在两个双向链表中移动。页面可能从active链表移动到inactive链表，反之也有可能。但是移动并不是每次页面访问都会发生(要通过自旋锁来保证对链表并发访问操作不会出错，为了降低锁竞争，LInux提供了一种特殊的缓存，LRU缓存，用于批量的向LRU链表中快速的添加页面。有了 LRU 缓存之后，新页不会被马上添加到相应的链表上去，而是先被放到一个缓冲区中去，当该缓冲区缓存了足够多的页面之后，缓冲区中的页面才会被一次性地全部添加到相应的 LRU 链表中去)，页面的移动发生的间隔有可能比较长。对于最近最少使用的页面会被逐个放到inactive链表的尾部。进行页面回收时，Linux操作系统会从inactive链表的尾部开始回收。

而第一次读取文件后，文件内容都是Inactive的，只有再次读取这些内容后，才会把它放到active链表上。处于Inactive链表上的pagecache在内存紧张的时候，是会首先被回收掉。有很多情况下，文件内容往往只被读取一次，它们占用的pagecache需要首先被回收掉；对于业务数据，往往都会读取几次，那么他们就会被放到active链表上，以此来达到保护的目的。

在内存紧张的情况下，会进行内存回收，回收会把Inactive list的部分page给回收掉。为了维护inactive和active的平衡，就需要把active list的部分page给demote到inactive list，demote的原则也是LRU。

疑问：active list和inactive list的比例是多少？，线上环境看，这里两个的比例还是比较大，超过1:2

不是file-backed pages，即为匿名页（anonymous page），如堆、栈和数据段等，不是以文件形式存在，因此无法和磁盘文件交换，但可以通过磁盘上划分额外的swap分区或使用swap文件进行交换。

1）水位（watermark）控制

min：如果剩余内存减少到触及这个水位，可认为内存严重不足，当前进程就会被阻塞，kernel会直接在这个进程的进程上下文做内存回收（direct reclaim）。

low：当剩余内存慢慢减少，触及到这个水位，就会触发kswapd线程进行内存回收。（后台回收）

high：进行内存回收时，内存慢慢增加，触及到这个水位时，就停止回收。

由于每个ZONE是分别管理各自的内存的，因此每个ZONE都有这个三个水位。

水位计算：/proc/sys/vm/min_free_kbytes 是一个用户可配置的值，默认值是min_free_kbytes = 4 * sqrt(lowmem_kbytes)。然后根据min算出来low和high水位的值：low=5/4min，high=6/4min。（计算不是这里的重点，如果有需要见参考资料7）

1）swapness

回收的时候，会回收file-backed page和 anonymous page ，但是谁回收的多一些，可以通过/proc/sys/vm/swapness来控制谁回收多一些。swapness的值越大，越倾向于回收匿名页。值越小，越倾向于税后file-backed的页面。回收方法都是LRU算法。

Page cache毕竟是为了提高性能占用的物理内存，随着越来越多的磁盘数据被缓存到内存中，Page Cache也变得越来越大，如果一些重要的任务需要被Page cache占用的内存，内核将回收page cache以此来支持。

1）空间层面

当系统的“dirty”的内存大于某个阈值，该阈值是在总共的“可用内存”（包括free pages 和reclaimable pages）中的占比。

参数“dirty_background_ratio”(默认值10%)，或者是绝对字节数“dirty_background_bytes”（默认值为0，表示生效）。两个参数只要谁先达到即可执行，此时就会交给专门负责writeback的background线程去处理。

参数“dirty_ratio”(默认值30%)和“dirty_bates”（默认值为0，表示生效），当“dirty”的内存达到这个比例或数量，进程则会停下write操作（被阻塞），先把“dirty”进行writeback。

2）时间层面

周期性的扫描，扫描间隔用参数：dirty_writeback_interval表示，以毫秒为单位。发现存在最近一次更新时间超过某个阈值（参数：dirty_expire_interval，单位毫秒）的pages。如果每个page都维护最近更新时间，开销会很大且扫描会很耗时，因此具体实现不会以page为粒度，而是按inode中记录的dirtying-time来计算。

3）用户主动发起。

调用sync()/msync()/fsync()。

参数设置可以在：/proc/sys/vm下。

其中dirty_writeback_interval实际的参数为：dirty_writeback_centisecs（默认值为500，单位为1/100秒，也就是5秒）

dirty_expire_interval实际的参数为：dirty_expire_centisecs（默认值为3000，单位为1/100秒，也就是30秒）

2.4内核，用一个叫bdflush的线程专门负责writeback操作。因为磁盘I/O操作很慢，而线程操作系统有多个块设备，如果bdflush在其中一个块设备上等待I/O操作的完成，可能会需要很长的时间，此时单线程模式的bdfoush就会成为影响性能的瓶颈。而且bdflush没有周期扫描功能。

在2.6内核中，bdflush和kupdated一起被pdflush（page dirty flush）取代了。pdflush是一组线程，根据块设备的I/O负载情况，数量从最少2个到最多8个不等。如果1秒内没有空闲的pdflush线程，则会创建一个；如果pdflush线程的空闲时间超过1秒，则会被销毁。一个块设备可能有多个可以传输数据的队列，为了避免在队列上的拥塞（congestion），pdflush线程会动态的选择系统中相对空闲的队列。

在2.6.32版本上，直接一个块设备对应一个thread（算法效果不明显），这种内核线程被称为flusher threads。

无论是内核周期性的扫描，还是用户手动触发，flusher threads的write back都是间隔一段时间才进行的。如果这段时间内系统掉电了，那么还没有来得及write back的数据修改就面临丢失的风险，算是page cache机制存在的一个缺点。

free命令中，存在buff/cache的内容，如下。但是不太好区分。

通过man free查看指标含义，可以看到buffer和cache的区别。

通过man proc，可以得到proc文件系统的详细文档，其中就包括了/proc/meminfo的信息

通过这个文档，可以得到：

实际上，写文件时会用到Cache缓存数据（虽然文档上，Cache值提到是文件的读缓存），写磁盘则会用到Bufffer来缓存数据。

读文件时，数据会缓存到Cache中。而读磁盘时数据会缓存到Buffer中。

综上：

0）Linux中的内存回收[一]

1） Linux中的Page Cache [二]

2）Linux内核中的页面回收算法

3）Linux内存回收机制

4）Linux 内核源码分析-Page Cache 刷脏源码分析

5）Page Cache与Page回写

6）极客时间 《LInux内核技术实战课》

7）内存管理参数min_free_kbytes 分析

网站栏目：linux刷脏页命令 linux如何刷新磁盘空间
URL分享：http://myzitong.com/article/dophjce.html