博客
关于我
关于使用FileMapping和直接操作File+缓存的IO性能对比
阅读量:401 次
发布时间:2019-03-04

本文共 703 字,大约阅读时间需要 2 分钟。

优化后的内容

作者在阅读Windows核心编程17章时,对于文件大规模读写操作的优化方法进行了深入思考。虽然使用FileMapping可以直接将文件映射到进程地址空间,通过操作系统管理换页和缓存操作,但这种方式在处理大文件IO时并不够理想。笔者认为直接将缓存交给操作系统处理可能不是最优的选择,特别是在大文件读写场景下。

基于此,笔者对原书中的示例代码进行了改写和对比。改写后的代码不仅支持原有的逻辑,还增加了对多线程和非文件映射的支持。具体来说,新增了对分配粒度(blocksize)的预先定义功能,默认为64KB,同时支持直接操作文件和缓存而非文件映射的方式。

测试一:文件映射下的多线程性能测试

  • 单线程测试

    • 分配粒度为64KB、512KB和4MB,分别对接近3GB的文件进行操作。
    • 测试结果显示,64KB粒度下性能较好,完成任务所需时间最短。
  • 多线程测试

    • 使用1、2和4个线程,分配粒度为512KB进行测试。
    • 结果表明,随着线程数的增加,性能显著提升。4线程下的完成时间最短。
  • 非文件映射测试

    • 使用1、2和4个线程,分配粒度为512KB进行测试。
    • 性能表现与文件映射下基本一致,但由于直接操作文件和缓存,资源管理更为灵活。
  • 测试二:真实环境下的性能测试

    由于无法完全关闭所有可能导致IO干扰的进程(如QQ、Chrome浏览器),实际测试结果受到了一定影响。建议在理想环境下进行更精确的性能对比。


    通过以上测试可以看出,优化后的代码在文件读写性能上表现优异。多线程处理能够有效提升性能,尤其是在IO带宽充足的情况下。对于大文件操作,合理选择分配粒度(如64KB)和线程数(如4线程),能够达到最佳性能。

    转载地址:http://dmbg.baihongyu.com/

    你可能感兴趣的文章
    pytorch中让数组显示更多的数字 torch.set_printoptions参数详解 numpy也是这个函数
    查看>>
    pringBoot Controller接收参数的几种常用方式
    查看>>
    printf()函数
    查看>>
    PyTorch中的自定义权重初始化
    查看>>
    printf格式字符串和输出列表个数及类型不匹配案例
    查看>>
    printf的格式控制字符串
    查看>>
    PrintStream概述
    查看>>
    Prismix:Prisma 架构混合器,为复杂项目而生
    查看>>
    pritunl服务安装及配置
    查看>>
    Private Destructor
    查看>>
    private和protected能同时修饰成员变量吗_天天用注解你了解注解是怎么实现的吗?...
    查看>>
    privoxy Invalid header received from client.
    查看>>
    Privoxy代码下载
    查看>>
    Probabilistic-Programming-and-Bayesian-Methods-for-Hackers
    查看>>
    pytorch中的求和函数sum(axis=x)解释
    查看>>
    Problem F: 质心算法
    查看>>
    Problem N HDU 2612 Find a way (两次BFS求最值)
    查看>>
    Process /usr/libexec/gdu-notification-daemon was killed by signal 6 (SIGABRT)
    查看>>
    process.env.VUE_APP_BASE_API 获取不到
    查看>>
    Process.run() 和 Process.start() 之间的区别
    查看>>