python校验MD5加速方法
本次对比的文件大小为246GB
比较: 用64进程/64线程/cpp实现的md5sum命令对比
结果如下:
64进程: 113s 前两段
64线程: 根本算不完.. 中间这段, 最后强制取消了
MD5sum命令: 最后一段, 快得飞起
结论: py算md5得用多进程, 因为GIL锁限制了
本博客所有文章除特别声明外，均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 Juice's Blog！
相关推荐
2025-08-09
python通过S3上传文件
基于 boto3 封装的 S3 操作类, 支持文件/目录上传删除与遍历
2023-05-02
vscode搭建python和conda运行和调试环境
本文介绍windows下vscode搭建python环境的过程, 以及激活conda环境
2024-12-28
Ubuntu安装pip2和pip3
解决 Ubuntu 下 pip2 与 pip3 共存安装的问题
2025-09-10
Python通过SQLAlchemy操作sqlite3
使用 SQLAlchemy ORM 定义表结构并封装 sqlite3 的增删改查工具类
2025-07-08
python进程任务管理器
用线程池加信号量实现一个可状态调度且安全清理子进程的 python 任务管理器
2025-06-06
python unittest入门
python unittest 的核心组件介绍以及自定义测试套件执行顺序的示例
