深度学习模型部署主流框架三剑客介绍

新闻资讯   2023-07-19 15:48   62   0  

点击上方蓝字关注我们

微信公众号:OpenCV开发者联盟

关注获取更多计算机视觉与深度学习知识

深度学习工程化步骤

深度学习工程落地分为两个主要阶段,分别是数据准备、模型训练、模型部署三个主要阶段。

深度学习主流部署框架

深度学习开发者至少应该掌握一种深度学习模型部署框架,当前深度学习模型部署主要有OpenVINO、TensorRT、ONNXRUNTIME 这三个当前主流的框架。

OpenVINO来自英特尔公司,当前最新版本是OpenVINO2023.1


TensorRT来自英伟达公司,当前最新版本是TensorRT8.6

ONNXRUNTIME来自微软,当前最新版本是1.15.x

如何选择

英特尔CPU/GPU上模型加速与推理最佳选择是OpenVINO

英伟达GPU上模型加速与推理最佳选择TensorRT

兼容不同硬件厂家平台模型算子支持度高,兼容性强最佳选择是ONNXRUNTIME

如何学习

OpenCV学堂已经推出OpenVINO、TensorRT、ONNXRUNTIME深度学习部署系统化学习路线图。“工欲善其事,必先利其器”,掌握三种主流的深度学习模型部署框架,实现模型在CPU、GPU等不同平台硬件上加速推理最佳性能。解锁深度学习部署技能,现在扫码查看课程目录:


深度学习模型部署路线图视频课程





文章引用微信公众号"OpenCV学堂",如有侵权,请联系管理员删除!

博客评论
还没有人评论,赶紧抢个沙发~
发表评论
说明:请文明发言,共建和谐网络,您的个人信息不会被公开显示。