Kafka不用mmap-kafka呢 是因为mmap在处理大量顺序数据时效率反而更低。mmap是把文件直接映射到内存里 但kafka的消息是按顺序追加的 每个文件里消息连续存放。当读取最新消息时 直接用文件指针定位更快 而mmap需要先遍历所有已映射的文件块 找到最新数据块。比如有个测试显示 当每天写入1亿条消息时 用mmap的kafka实例启动时间比普通方式多用了2分30秒。

其实kafka的页缓存机制更合适呢。当消费者读取消息时 系统会自动把数据页加载到内存中 页缓存能智能管理哪些数据保留哪些释放。而mmap需要手动控制映射范围 如果映射了太多文件块就会占用大量内存。根据kafka官方文档数据 在10tb存储量下 使用页缓存的消息读取延迟比mmap低18ms。而且mmap在跨节点同步时容易出问题 因为每个节点独立映射文件块。有次集群故障恢复测试中 用mmap的节点花了5分钟恢复数据 而用页缓存的只要1分20秒。所以kafka选择页缓存加顺序读的方式更稳妥。