使用 mmap 函数实现高效日志写入

一、前言

在性能敏感的场景中,传统的文件读写操作可能成为瓶颈。本文将通过 mmap 的高效内存映射特性,介绍如何构建一个高性能的日志系统,并详细拆解实现过程。


二. 为什么选择 mmap

问题背景

在日志写入场景中,频繁的 I/O 调用可能带来以下问题:

  • 性能瓶颈:传统文件写入需要在用户态和内核态频繁切换,效率较低。
  • 资源浪费:频繁打开、关闭文件或调整文件大小可能导致系统资源耗尽。

mmap 的优势

  • 高效性:将文件映射到虚拟内存后,可以像操作普通内存一样访问文件内容,避免频繁 I/O 调用。
  • 双向同步:内存和文件之间的内容修改会自动同步,省去了额外的写回操作。
  • 固定大小:适用于需要固定大小日志文件的场景,控制存储空间使用。

适用场景包括:

  • 高性能日志系统。
  • 共享内存实现多进程间通信。
  • 高速文件读写操作。

三. mmap 的核心概念

mmap 是 Linux 提供的系统调用,功能是将文件或设备映射到进程的虚拟地址空间中,核心作用包括:

  • 虚拟地址到文件的映射:进程可以直接通过内存地址访问文件内容。
  • 支持双向数据同步:修改虚拟地址空间中的数据会反映到文件中,反之亦然。

函数原型

void* mmap(void* addr, size_t length, int prot, int flags, int fd, off_t offset);
参数 含义
addr 指定映射的起始地址,通常传 nullptr 让系统选择。
length 映射的内存大小,必须为页大小的整数倍。
prot 映射内存的访问权限,如 PROT_READ 、 PROT_WRITE
flags 映射类型,如 MAP_SHARED:映射的内存区域与文件共享,修改映射区域的内容会影响文件。
fd 文件描述符,指定映射到内存的文件。
offset 是映射开始位置在文件中的偏移。指定从文件开头偏移的字节数,表示映射区域在文件中的起始位置。该偏移必须是页面大小的整数倍,因为内存映射操作通常按页面(通常是4KB)对齐。

返回值为映射内存的起始地址,失败时返回 MAP_FAILED


四. 日志系统的设计与实现逻辑

设计目标

  • 固定大小日志文件:日志文件大小固定为 1MB,避免无限增长占用存储空间。
  • 高效日志写入:利用 mmap 减少 I/O 调用,提升性能。
  • 简单易用:提供写入和读取日志内容的基础功能。

实现步骤

以下是实现的核心步骤:


image.png

Step 1:打开文件

int fd = open("logfile.txt", O_RDWR | O_CREAT | O_TRUNC, 0666);
  • 功能:打开或创建一个名为 logfile.txt 的日志文件。
  • 参数解析
    • O_RDWR:以读写模式打开文件。
    • O_CREAT:如果文件不存在,则创建。
    • O_TRUNC:如果文件已存在,清空文件内容。
  • 权限0666 表示所有用户可读写。

Step 2:调整文件大小

if (ftruncate(fd, LOG_SIZE) == -1) {
    perror("Error truncating file");
    close(fd);
    return -1;
}
  • 功能:将文件大小调整为 LOG_SIZE(1MB)。
  • 作用:为 mmap 分配固定大小的映射范围。
  • 注意:文件大小不足时会填充空字节,超出时会截断。

Step 3:映射文件到内存

char* mapped = (char*)mmap(nullptr, LOG_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
if (mapped == MAP_FAILED) {
    perror("Error mapping file");
    close(fd);
    return -1;
}
  • 功能:将文件映射到虚拟内存地址。
  • 关键参数
    • PROT_READ | PROT_WRITE:支持读写权限。
    • MAP_SHARED:允许进程间共享映射。
    • fd0:指定映射的文件和偏移。
    • 返回值:成功返回映射地址,失败返回 MAP_FAILED

Step 4:写入日志内容

void write_log(char* mapped, const char* log_msg, size_t offset) {
    if (offset < LOG_SIZE) {
        strcpy(mapped + offset, log_msg);
    } else {
        std::cerr << "Offset exceeds log size!" << std::endl;
    }
}
  • 功能:将日志内容写入映射的内存区域。
  • 参数
    • mapped是指向已映射到内存的文件内容的指针。
    • log_msg是要写入日志的字符串。
    • offset是要写入日志的起始位置。
  • 逻辑
    这个strcpy是字符串复制函数,用于将log_msg(源字符串)复制到mapped + offset(目标位置)。
    由于内存映射是通过mmap将文件内容加载到内存中,mapped是指向文件内容的指针。通过mapped + offset来指定在内存中的哪个位置开始写入数据。
    需要确保offset不超过映射的大小(LOG_SIZE),否则可能会导致越界写入,造成不可预知的错误。

步骤 5:读取日志内容

void read_log(char* mapped) {
    std::cout << "Log content: " << std::endl;
    std::cout << mapped << std::endl;
}
  • 功能:从映射内存中读取日志内容。
  • 逻辑:直接访问映射的内存,读取日志内容并打印。

步骤 6:取消映射与资源释放

if (munmap(mapped, LOG_SIZE) == -1) {
    perror("Error unmapping file");
}
close(fd);
  • 功能:释放映射的内存区域和文件资源。
    • munmap 取消映射,进程在映射空间对共享内容的改变并不直接写回到磁盘文件中。
    • close 关闭文件描述符,释放系统资源。

4. 完整代码示例

以下是完整实现:

#include <jni.h>
#include <string>
#include <sys/mman.h>
#include <fcntl.h>
#include <unistd.h>
#include <cstring>
#include <iostream>
#include <android/log.h>

// Android日志宏
#define LOG_TAG "NativeLog"
#define LOGI(...) __android_log_print(ANDROID_LOG_INFO, LOG_TAG, __VA_ARGS__)

const size_t LOG_SIZE = 1024 * 1024; // 1MB

// 获取当前日志文件的偏移量
size_t get_current_offset(const char* mapped) {
    size_t offset = 0;
    while (offset < LOG_SIZE && mapped[offset] != '\0') {
        ++offset;
    }
    return offset;
}

void write_log(char* mapped, const char* log_msg, size_t offset) {
    size_t log_len = strlen(log_msg);
    if (offset + log_len < LOG_SIZE) {
        strcpy(mapped + offset, log_msg);
    } else {
        LOGI("Not enough space to append log!");
    }
}

void read_log(char* mapped) {
    LOGI("Log content: %s", mapped);
}

extern "C"
JNIEXPORT void JNICALL
Java_com_example_mmapsamples_MainActivity_writeLog(JNIEnv *env, jobject thiz, jstring msg) {
    // 获取应用的私有文件路径
    const char* filename = "/data/data/com.xgimi.mmapsamples/files/logfile.txt";

    // 打开日志文件
    int fd = open(filename, O_RDWR | O_CREAT, 0666);
    if (fd == -1) {
        perror("Error opening file");
        return;
    }

    // 扩展文件大小
    if (ftruncate(fd, LOG_SIZE) == -1) {
        perror("Error truncating file");
        close(fd);
        return;
    }

    // 映射文件到内存
    char* mapped = (char*)mmap(nullptr, LOG_SIZE, PROT_READ | PROT_WRITE, MAP_SHARED, fd, 0);
    if (mapped == MAP_FAILED) {
        perror("Error mapping file");
        close(fd);
        return;
    }

    // 获取偏移量并写入日志
    const char* log_msg = env->GetStringUTFChars(msg, nullptr);
    size_t offset = get_current_offset(mapped);
    write_log(mapped, log_msg, offset);
    env->ReleaseStringUTFChars(msg, log_msg);

     // 解除映射
    if (munmap(mapped, LOG_SIZE) == -1) {
        perror("Error unmapping file");
    }

    // 关闭文件
    close(fd);

五. 总结与扩展

  • 总结:通过 mmap,可以高效地实现文件读写操作,特别适用于固定大小的日志存储场景。
  • 扩展
    • mmap 的应用场景不限于日志,还可用于共享内存、多线程通信等。
    • 可结合环形缓冲区设计,实现循环日志存储,进一步优化日志系统。

六.参考

内存映射的一些理论概述,可参考如下文章:
https://blog.csdn.net/luo_boke/article/details/109311432?utm_source=chatgpt.com

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容