磁盘IO的概念

在数据库优化和存储规划过程中，总会提到IO的一些重要概念，在这里就详细记录一下，对这个概念的熟悉程度也决定了对数据库与存储优化的理解程度，以下这些概念并非权威文档，权威程度肯定就不能说了。

读/写IO，最为常见说法，读IO，就是发指令，从磁盘读取某段扇区的内容。指令一般是通知磁盘开始扇区位置，然后给出需要从这个初始扇区往后读取的连续扇区个数，同时给出动作是读，还是写。磁盘收到这条指令，就会按照指令的要求，读或者写数据。控制器发出的这种指令＋数据，就是一次IO，读或者写。

大/小块IO，指控制器的指令中给出的连续读取扇区数目的多少，如果数目很大，比如128，64等等，就应该算是大块IO，如果很小，比如1， 4，8等等，就应该算是小块IO，大块和小块之间，没有明确的界限。

连续/随机IO，连续和随机，是指本次IO给出的初始扇区地址，和上一次IO的结束扇区地址，是不是完全连续的，或者相隔不多的，如果是，则本次IO应该算是一个连续IO，如果相差太大，则算一次随机IO。连续IO，因为本次初始扇区和上次结束扇区相隔很近，则磁头几乎不用换道或换道时间极短；如果相差太大，则磁头需要很长的换道时间，如果随机IO很多，导致磁头不停换道，效率大大降底。 

顺序/并发IO，这个的意思是，磁盘控制器每一次对磁盘组发出的指令套（指完成一个事物所需要的指令或者数据），是一条还是多条。如果是一条，则控制器缓存中的IO队列，只能一个一个的来，此时是顺序IO；如果控制器可以同时对磁盘组中的多块磁盘，同时发出指令套，则每次就可以执行多个IO，此时就是并发IO模式。并发IO模式提高了效率和速度。

IO并发几率。单盘，IO并发几率为0，因为一块磁盘同时只可以进行一次IO。对于raid0，2块盘情况下，条带深度比较大的时候（条带太小不能并发IO，下面会讲到），并发2个IO的几率为1/2。其他情况请自行运算。 

IOPS。一个IO所用的时间＝寻道时间＋数据传输时间。 IOPS＝IO并发系数/（寻道时间＋数据传输时间），由于寻道时间相对传输时间，大几个数量级，所以影响IOPS的关键因素，就是降底寻道时间，而在连续IO的情况下，寻道时间很短，仅在换磁道时候需要寻道。在这个前提下，传输时间越少，IOPS就越高。

每秒IO吞吐量。显然，每秒IO吞吐量＝IOPS乘以平均IO SIZE。 Io size越大，IOPS越高，每秒IO吞吐量就越高。设磁头每秒读写数据速度为V，V为定值。则IOPS＝IO并发系数/（寻道时间＋IO SIZE/V），代入，得每秒IO吞吐量＝IO并发系数乘IO SIZE乘V/（V乘寻道时间＋IO SIZE）。我们可以看出影响每秒IO吞吐量的最大因素，就是IO SIZE和寻道时间，IO SIZE越大，寻道时间越小，吞吐量越高。相比能显著影响IOPS的因素，只有一个，就是寻道时间。

提升磁盘IO性能的几个技巧

目前磁盘都是机械方式运作的，主要体现在磁盘读写前寻找磁道的过程。磁盘自带的读写缓存大小，对于磁盘读写速度至关重要。读写速度快的磁盘，通常都带有较大的读写缓存。磁盘的寻道过程是机械方式，决定了其随机读写速度将明显低于顺序读写。在我们做系统设计和实现时，需要考虑到磁盘的这一特性。

　　FastDFS是一个开源的高效分布式文件系统，它最初的实现，文件是按hash方式随机分布到多个目录中的，后来增加了顺序存放的做法。通过对比测试，发现文件按目录顺序存储，写文件IO效率明显高于按目录随机存储。

　　目前磁盘顺序读取的速度并不差，比如普通硬盘的IO可以达到每秒40~60MB，好一些的硬盘可以达到每秒100MB左右。在多进程或多线程并发读取磁盘的情况下，随着并发数的增加，磁盘IO效率将大大下降。主要是因为每次读写，磁道可能存在较大的偏移，磁道寻址时间加大，导致磁盘IO性能急剧下降。对于这种场景，优化方案是尽可能减少并发读写的进程数或线程数。可以用锁的机制，也可以采用专门的磁盘IO线程来对磁盘进行读写。FastDFS 2.x版本，磁盘读写就采用了专门的线程来完成。

　　为了充分发挥多块磁盘的效率，不建议使用传统的RAID方式。比较好的做法是每块磁盘单独mount，通过程序来控制对多块磁盘进行并发读写。采用单盘mount，文件的备份和冗余可以通过多台机器实现。

　　文件数多了之后，比如达到上千万个文件，当随机访问众多文件时，文件系统的性能会急剧下降。业界流行的做法是将多个小文件合并存储到一个大文件中的方式来降低文件数。FastDFS 3.0支持将多个小文件合并存储到一个较大文件中，目前开发进展比较顺利，预计5月份可以发布3.0版本。

　　提升磁盘IO的另外一个技巧，一次尽可能多写入或多读取。也就是说，将程序的读写buffer设置得尽可能大一些。例如日志或者redo log的写入，不是每次调用都直接写磁盘，而是先缓存到内存中，等buffer满了再写入磁盘，也可以定时写入磁盘。

　　操作系统和C库函数通常会对写入的文件内容做缓存，以减少实际写文件的次数。直接调用系统函数fsync或C函数fflush将使系统的缓存机制失效，此时将强制把内容刷到磁盘上。除非必需，否则不要执行强制刷盘操作。

　　注：如果没有特别说明，文中说的磁盘指的是硬盘。