如何设计一个日志系统

提高本地日志文件的读取效率

如何统计读取时间

mach_absolute_time()函数

mach_absolute_time是一个CPU/总线依赖函数,返回一个基于系统启动后的时钟”嘀嗒”数

CGFloat timeCalculate (void(^block)(void)){
    mach_timebase_info_data_t info;
    if (mach_timebase_info(&info) != KERN_SUCCESS) return -1.0;
    
    uint64_t start = mach_absolute_time();
    if (block) {
        block();
    }
    uint64_t end = mach_absolute_time();
    uint64_t delta = end - start;
    uint64_t nanos = delta * info.numer / info.denom;
    return (CGFloat)nanos/NSEC_PER_SEC;
}

读取文件方式

  • 写文件在本地沙盒
    优点:不易丢失
    缺点:频繁调用系统内核API,读取速度慢,IO消耗大,耗电增大

平常我们读取磁盘上的一个文件,上层API调用到最后会使用系统方法read()读取数据,内核把磁盘数据读入内核缓冲区,用户再从内核缓冲区读取数据复制到用户内存空间,这里有一次内存拷贝的时间消耗,并且读取后整个文件数据就已经存在于用户内存中,占用了进程的内存空间

  • 将文件写在内存缓存里,合适时候再写入沙盒
    优点:读取速度快
    缺点:容易丢失(app进程被杀掉)
  • MMAP(内核地址空间映射到用户进程)
    mmap 省掉了内核空间与用户进程空间的拷贝,数据直接写在内核空间中,内核按照一定的策略(LRU,时钟工作集,老化)把脏页面写回磁盘中。即使用户进程crash,被kill 也不会丢数据。
    优点:写入速度几乎和内存访问速度一样,不会丢数据。
使用mmap还能保证日志的完整性,因为如下这些情况下回自动回写磁盘:
  • 内存不足
  • 进程 crash
  • 调用 msync 或者 munmap
  • 不设置 MAP_NOSYNC 情况下 30s-60s(仅限FreeBSD)
MMAP VS 从硬盘读取文件到内存
  • 从硬盘读取文件到内存:需要先将数据拷贝到CPU高速缓冲区,再从高速缓冲区读取到进程的内存物理地址空间
  • MMAP:省去将数据拷贝到CPU高速缓冲区,直接将文件内容的一部分或全部映射到进程的内存物理地址空间。mmap并不分配物理地址空间,它只是占有进程的虚拟地址空间,当发现pageFault,将磁盘数据直接映射到物理内存

Q

  • 为什么使用了memcpy,不使用msync和munmap
  • 为什么使用memcpy,会自动把内容同步到磁盘
  • 什么是内核空间,脏页面是什么,数据直接写到内核空间里,内核空间会不会暴涨

参考

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 看完了微信团队对Xlog的整体介绍,迫不及待开始了研究,理论部分我是完全参考微信终端跨平台组件 mars 系列(一...
    星期五__阅读 13,231评论 2 17
  • 日志收集框架的作用 相信大家在开发应用的时候,总会遇到bug,这个时候,如果bug是在我们本地开发的过程中发现的,...
    Mashell熙阅读 13,228评论 0 9
  • 前言 最近在做一个新零售的收银app,对于app稳定性要求比较高,但是难免会出现一些难以复现的问题,针对这些问题,...
    Jesse505阅读 6,923评论 0 3
  • 日志系统设计需要考虑的问题: 1.需要保证日志系统收集到的数据的有效性和完整性,在app崩溃时日志不丢失。 2.保...
    5f4688e0d226阅读 6,190评论 0 2
  • 场景 程序频繁的输出一些log,要记录,需要的时候要上报到后台分析。 方式1:写文件,写数据库优点:不容易丢数据。...
    ck2016阅读 11,198评论 2 7