Kafka-数据持久化_kafka持久化

Kafka很大程度上依赖文件系统来存储和缓存消息。有一普遍的认识：磁盘很慢—这让人们怀疑使用磁盘作为持久化的性能。实际上，磁盘是快还是慢完全取决于我们是如何使用它。
就目前来说，一个 6块 7200rpm SATA RAID-5磁盘线性（顺序）写入的性能能达到600MB/sec，而任意位置写（寻址再写）的性能只有100k/sec。这些线性读写是所有使用模式中最可预测的，并且由操作系统进行了大量优化。现在的操作系统提供了预读取和后写入的技术。实际上你会发现，顺序的磁盘读写比任意的内存读写更快。

基于JVM内存有以下缺点：

• 对象的内存开销非常高，通常会让存储数据的大小加倍（或更多）
• 随着堆内数据的增加，GC的速度越来越慢，而且可能导致错误

基于操作系统的文件系统来设计有以下好处：

• 可以通过操作系统的pagecache来有效利用主内存空间，由于数据紧凑，可以cache大量数据，并且没有gc的压力

• 即使服务重启，缓存中的数据也是热的（不需要预热）。而基于进程的缓存，需要程序进行预热，而且会消耗很长的时间。

• 大大简化了代码。因为在缓存和文件系统之间保持一致性的所有逻辑都在OS中。以上建议和设计使得代码实现起来十分简单，不需要尽力想办法去维护内存中的数据，数据会立即写入磁盘。

  这种以页面缓存（pagecache）为中心的设计风格在一篇关于Varnish设计的文章中有详细描述。
  总的来说，Kafka不会保持尽可能多的内容在内存空间，而是尽可能把