当前位置:网站首页>ONNXRuntime【推理框架,用户可以非常便利的用其运行一个onnx模型】
ONNXRuntime【推理框架,用户可以非常便利的用其运行一个onnx模型】
2022-07-27 12:53:00 【u013250861】
ONNXRuntime是微软推出的一款推理框架,用户可以非常便利的用其运行一个onnx模型。ONNXRuntime支持多种运行后端包括CPU,GPU,TensorRT,DML等。可以说ONNXRuntime是对ONNX模型最原生的支持。
虽然大家用ONNX时更多的是作为一个中间表示,从pytorch转到onnx后直接喂到TensorRT或MNN等各种后端框架了= =,但这并不能否认ONNXRuntime是一款非常优秀的推理框架(微软出品,必属精品)。
而且由于其自身只包含推理功能(1.2版本,最新的ONNXRuntime甚至已经可以训练,可见微软在其上面的野心还是有的),对比主流框架源码看起来没有那么复杂难懂,通过阅读其源码可以非常清晰的理解深度学习框架的一些核心功能原理(op注册,内存管理,运行逻辑等)。
接下来的一系列文章尝试对ONNXRuntime的源码进行阅读学习,对理解深度学习框架的工作原理还是很有帮助的。
边栏推荐
- [C Advanced] pointer array vs array pointer
- 【每日一题】1206. 设计跳表
- Arrays and functions of knowledge in every corner of C language
- Write a program, accept a string consisting of letters, numbers and spaces, and a character, and then output the number of characters in the input string. Case insensitive.
- 附加:【URLEncoder.encode(待编码字符串, “编码方式“);】(是什么?;我们向cookie中设置值的时候,为什么要使用这个去编码?)(待完善……)
- Egg swagger doc graphic verification code solution
- V-on basic instruction
- Selenium eight elements positioning and relative locator
- 基于frp实现内网穿透——借助公网服务器实现ssh远程连接内网服务器
- Browser kernel module composition
猜你喜欢

Install redis and graphical client under MacOS

使用putty设置基于 SSH 密钥的身份验证

eBPF/Ftrace

Oppo self-developed large-scale knowledge map and its application in digital intelligence engineering

附加:【URLEncoder.encode(待编码字符串, “编码方式“);】(是什么?;我们向cookie中设置值的时候,为什么要使用这个去编码?)(待完善……)

leetcode——83,24; Machine learning - neural networks

Conditions and procedures of futures account opening

How to fix the slip ring

Fiddler bag capturing Tool + night God simulator

Verilog的系统任务----$fopen、$fclose和$fdisplay, $fwrite,$fstrobe,$fmonitor
随机推荐
Deliver temperature with science and technology, vivo appears at the digital China Construction Summit
利用eBPF探测Rootkit漏洞
LeetCode报错及其解决方案
MFC FTP创建多级文件夹、上传文件到FTP指定目录
汇量科技app出海好地:火了十几年,美国凭什么还是出海首选淘金地
Fixed positioning
Dichotomy queries values in an array
Construction and application of industrial knowledge atlas (3): commodity knowledge fusion
eBPF/Ftrace
Write a program, accept a string consisting of letters, numbers and spaces, and a character, and then output the number of characters in the input string. Case insensitive.
7.26模拟赛总结
v-show
MySQL high availability practical solution MHA
Figure 8 shows you how to configure SNMP
MySQL startup options and configuration files
字节跳动 AI Lab 总监李航:语言模型的过去、现在和未来
[basic knowledge] ~ IC design process and EDA tools used in each stage
Vertical and horizontal shooting range - the mystery of the picture
evutil_ make_ internal_ pipe_: pipe: Too many open files
Install the wireless network card driver