深度学习过程中笔记（待完善）

---

---

一、框架：

ncnn

为手机端极致优化的高性能神经网络前向计算框架。基于 ncnn，开发者能够将深度学习算法轻松移植到手机端高效执行，开发出人工智能 APP。ncnn已经是一个完整的库。

• .param：存放模型结构
• .bin：存放类似卷积这些op的权重文件

nanodet

pytorch

tensorflow

mindspore

二、卷积神经网络

https://blog.csdn.net/qq_34759239/article/details/79034849

LeNet

LeNet主要用来进行手写字符的识别与分类，准确率达到了98%

AlexNet

VggNet

ResNet

三、其他概念

benchmark
手机端97FPS的Anchor-Free目标检测模型NanoDet
webassembly
Keras.layers各种层介绍

文件格式：

onnx:
（Open Neural Network Exchange）
是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch、MXNet）可以采用相同格式存储模型数据并交互。 ONNX的规范及代码主要由微软，亚马逊，Facebook和IBM等公司共同开发，以开放源代码的方式托管在Github上。 目前官方支持加载ONNX模型并进行推理的深度学习框架有： Caffe2, PyTorch, MXNet，ML.NET，TensorRT 和 Microsoft CNTK，并且 TensorFlow 也非官方的支持ONNX。
pnnx:
(PyTorch Neural Network Exchange)
PyTorch 模型部署的新的方式，可以避开 onnx 中间商，导出比较干净的高层 OP。

ckpt:
TensorFlow的模型文件。是二进制文件，存储了weights,biases,gradients等变量
pth :
pytorch的模型文件。
NCHW 与NHWC
图像数据通道格式

• NCHW： “channels_first” 是nvidia cudnn库原生支持的数据模式；在GPU中，使用NCHW格式计算卷积，比NHWC要快2.5倍左右（0:54 vs 2:14）
• NHWC：“channels_last”，是CPU指令比较适合的方式，SSE 或 AVX优化，沿着最后一维，即C维计算，会更快。