ONNX模型部署利器ONNXRUNTIME框架

新闻资讯 2023-06-22 10:54 89 0

点击上方蓝字关注我们

微信公众号：OpenCV学堂
关注获取更多计算机视觉与深度学习知识

ONNXRUNTIME介绍

ONNX格式模型部署兼容性最强的框架 ONNXRUNTIME，基本上不会有算子不支持跟不兼容的情况出现，只要能导出ONNX格式模型，它基本上都能成功加载，成功推理。虽然在CPU速度不及OpenVINO、GPU上速度不及TensorRT，但是胜在兼容性强，支持不同硬件上推理部署包括：ARM、CPU、GPU、AMD等，

可以通过设置不同的推理后台支持，包括：

支持语言也非常丰富，不止于Python跟C++语言，支持列表如下：

支持的操作系统包括Windows、Android、乌班图、iOS等。

Python版本安装与测试

Python版本安装特别容易,一条命令行搞定

CPU版本

pip install onnxruntime

GPU版本

pip install onnxruntime-gpu

通过下面的API函数可以查询当前支持推理Provider，代码如下：

运行结果如下：

C++版本安装与测试

首先需要下载安装包，以 microsoft.ml.onnxruntime.gpu.1.13.1为例。首先需要配置包含目录

D:\microsoft.ml.onnxruntime.gpu.1.13.1\build\native\include

然后配置库目录：

D:\microsoft.ml.onnxruntime.gpu.1.13.1\runtimes\win-x64\native

最后配置链接器，我的是支持CUDA版本，配置如下：

onnxruntime_providers_shared.libonnxruntime_providers_cuda.libonnxruntime.lib

最后把DLL文件copy到编译生成的可执行文件同一个目录下，直接运行即可。C++推理，简单说分为四步，首先引入包含文件支持，再初始化推理会话对象Session，预处理图像，然后执行推理，最后完成后处理即可。

以ResNet18模型为例，导出ONNX格式，基于ONNXRUNTIME推理效果如下：

学习YOLOv8最新版从训练到部署

扫码观看视频教程

扫码查看OpenCV+OpenVIO+Pytorch系统化学习路线图

文章引用微信公众号"OpenCV学堂",如有侵权,请联系管理员删除!

新中原六合彩,澳门六合彩,新澳彩,香港六合彩三合一信用盘源码

CVPR 2023 | 三维场景生成：无需任何神经网络训练，从单个样例生成多样结果

博客评论

还没有人评论，赶紧抢个沙发~

发表评论

说明：请文明发言，共建和谐网络，您的个人信息不会被公开显示。

分类

菠菜源码（292）

棋牌源码（167）

网站源码（124）

网站模板（13）

新闻资讯（7945）