博客
关于我
关于使用FileMapping和直接操作File+缓存的IO性能对比
阅读量:401 次
发布时间:2019-03-04

本文共 703 字,大约阅读时间需要 2 分钟。

优化后的内容

作者在阅读Windows核心编程17章时,对于文件大规模读写操作的优化方法进行了深入思考。虽然使用FileMapping可以直接将文件映射到进程地址空间,通过操作系统管理换页和缓存操作,但这种方式在处理大文件IO时并不够理想。笔者认为直接将缓存交给操作系统处理可能不是最优的选择,特别是在大文件读写场景下。

基于此,笔者对原书中的示例代码进行了改写和对比。改写后的代码不仅支持原有的逻辑,还增加了对多线程和非文件映射的支持。具体来说,新增了对分配粒度(blocksize)的预先定义功能,默认为64KB,同时支持直接操作文件和缓存而非文件映射的方式。

测试一:文件映射下的多线程性能测试

  • 单线程测试

    • 分配粒度为64KB、512KB和4MB,分别对接近3GB的文件进行操作。
    • 测试结果显示,64KB粒度下性能较好,完成任务所需时间最短。
  • 多线程测试

    • 使用1、2和4个线程,分配粒度为512KB进行测试。
    • 结果表明,随着线程数的增加,性能显著提升。4线程下的完成时间最短。
  • 非文件映射测试

    • 使用1、2和4个线程,分配粒度为512KB进行测试。
    • 性能表现与文件映射下基本一致,但由于直接操作文件和缓存,资源管理更为灵活。
  • 测试二:真实环境下的性能测试

    由于无法完全关闭所有可能导致IO干扰的进程(如QQ、Chrome浏览器),实际测试结果受到了一定影响。建议在理想环境下进行更精确的性能对比。


    通过以上测试可以看出,优化后的代码在文件读写性能上表现优异。多线程处理能够有效提升性能,尤其是在IO带宽充足的情况下。对于大文件操作,合理选择分配粒度(如64KB)和线程数(如4线程),能够达到最佳性能。

    转载地址:http://dmbg.baihongyu.com/

    你可能感兴趣的文章
    Python+pytest接口自动化之cookie绕过登录(保持登录状态)
    查看>>
    python+pytest接口自动化:接口测试
    查看>>
    Python+requests+unittest执行接口自动化测试详情
    查看>>
    Python+requests+unittest执行接口自动化测试详情
    查看>>
    python+requests+unittest执行自动化接口测试!
    查看>>
    Python+Requests编码识别Bug
    查看>>
    python函数编写_[零基础学python]传说中的函数编写条规
    查看>>
    Python+selenium —— UI自动化之鼠标操作
    查看>>
    python函数注释,参数后面加冒号:,函数后面的箭头→是什么?
    查看>>
    Python+Selenium+Threading进行兼容性测试
    查看>>
    Python+selenium+unittest的GUI自动化框架实现
    查看>>
    python函数拟合不规则曲线_Python计算&绘图——曲线拟合问题(转)
    查看>>
    python函数定义的基本格式_零基础学python-2.19 定义函数、调用函数与默认参数
    查看>>
    Python+Selenium之数据驱动测试的实现
    查看>>
    python函数定义与使用+返回值简解
    查看>>
    Python+Selenium登录
    查看>>
    Python日期时间模块
    查看>>
    Python函数合集:足足68个内置函数请收好!
    查看>>
    Python+Selenium自动化测试项目实战
    查看>>
    Python+Selenium自动化测试项目实战【建议收藏】
    查看>>