博客
关于我
关于使用FileMapping和直接操作File+缓存的IO性能对比
阅读量:401 次
发布时间:2019-03-04

本文共 703 字,大约阅读时间需要 2 分钟。

优化后的内容

作者在阅读Windows核心编程17章时,对于文件大规模读写操作的优化方法进行了深入思考。虽然使用FileMapping可以直接将文件映射到进程地址空间,通过操作系统管理换页和缓存操作,但这种方式在处理大文件IO时并不够理想。笔者认为直接将缓存交给操作系统处理可能不是最优的选择,特别是在大文件读写场景下。

基于此,笔者对原书中的示例代码进行了改写和对比。改写后的代码不仅支持原有的逻辑,还增加了对多线程和非文件映射的支持。具体来说,新增了对分配粒度(blocksize)的预先定义功能,默认为64KB,同时支持直接操作文件和缓存而非文件映射的方式。

测试一:文件映射下的多线程性能测试

  • 单线程测试

    • 分配粒度为64KB、512KB和4MB,分别对接近3GB的文件进行操作。
    • 测试结果显示,64KB粒度下性能较好,完成任务所需时间最短。
  • 多线程测试

    • 使用1、2和4个线程,分配粒度为512KB进行测试。
    • 结果表明,随着线程数的增加,性能显著提升。4线程下的完成时间最短。
  • 非文件映射测试

    • 使用1、2和4个线程,分配粒度为512KB进行测试。
    • 性能表现与文件映射下基本一致,但由于直接操作文件和缓存,资源管理更为灵活。
  • 测试二:真实环境下的性能测试

    由于无法完全关闭所有可能导致IO干扰的进程(如QQ、Chrome浏览器),实际测试结果受到了一定影响。建议在理想环境下进行更精确的性能对比。


    通过以上测试可以看出,优化后的代码在文件读写性能上表现优异。多线程处理能够有效提升性能,尤其是在IO带宽充足的情况下。对于大文件操作,合理选择分配粒度(如64KB)和线程数(如4线程),能够达到最佳性能。

    转载地址:http://dmbg.baihongyu.com/

    你可能感兴趣的文章
    Oracle创建用户、角色、授权、建表
    查看>>
    Oracle创建用户与授予表空间与权限
    查看>>
    oracle创建表(并且实现ID自增)
    查看>>
    oracle删除重复数据保留第一条记录
    查看>>
    oracle判断空值的函数nvl2,【PL/SQL】 NVL,NVL2,COALESCE 三种空值判断函数
    查看>>
    Oracle发布VirtualBox 7.1稳定版!支持ARM、优化了UI、支持Wayland等
    查看>>
    oracle启动三步
    查看>>
    oracle启动关闭服务,启动关闭oracle服务.bat
    查看>>
    Oracle命令行创建数据库
    查看>>
    Oracle和SQL server的数据类型比较
    查看>>
    oracle和sybase的一些区别
    查看>>
    oracle在日本遇到的技术问题
    查看>>
    Oracle在线重定义
    查看>>
    oracle基础 管理索引
    查看>>
    oracle复习(一)
    查看>>
    ORACLE多表关联UPDATE 语句
    查看>>
    Oracle多表查询与数据更新
    查看>>
    oracle如何修改单个用户密码永不过期
    查看>>
    oracle字符集
    查看>>
    oracle存储参数(storage子句)含义及设置技巧
    查看>>