基于脉冲神经网络的物体检测

资源下载地址：https://download.csdn.net/download/sheziqiong/85909649
资源下载地址：https://download.csdn.net/download/sheziqiong/85909649
1 引言

1.1 研究背景

目标检测是一种应用特定计算机算法在图像中找到所需目标的技术。近年来，随着 计算机硬件的不断发展，目标检测的各种算法也迎来了巨大的突破，越来越多地应用于 交通检测、智能支付、医疗影像等各个方面。在计算机视觉中，目标检测是要比图像分 类更复杂的一个问题，它不仅要清楚目标的类型，还需做到目标的定位。所以，物体检 测的难度更大，挑战性更强，相应的深度学习模型也会更加复杂。
目标检测有许多算法，卷积神经网络（Convolutional Neural Networks, CNN）是其代 表算法之一。它是一个前馈神经网络，具有卷积计算和深度结构。目前，基于卷积神经网 络的目标检测算法大致可分为两种模式，即 two­stage 模式和 one­stage 模式，two­stage 模 式的检测过程分为两个步骤：首先由算法生成若干个候选框，再通过 CNN 对候选框进行 分类；one­stage 模式则是端到端的学习，直接对对目标的置信概率和位置进行回归，相 对来说精度有所损失，但速度较 two­stage 模式的算法更快。[1]
基于 two­stage 的算法有：

• R­CNN: 通过选择性搜索（selective search）来确定候选框，之后统一将候选框压缩 到大小；然后运用 CNN 对候选框进行特征提取；最后使用多个支持向量机（SVM） 分类器分类输出向量，采用边界回归生成目标区域[2]。

• Fast R­CNN：仍然使用选择性搜索来确定候选框，但将整张图片输入到 CNN，在卷 积特征层上使用感兴趣区域（Region of interest pooling，ROI pooling）操作，并从特 征图中提取一个特定长度的特征向量；然后将特征向量输入到全连接层，用 softmax 对其进行分类；最后对属于同一特征的候选框进行分类并回归其位置[3]。

•Faster R­CNN：使用 RPN (Region Proposal Network) 而不是选择性搜索，大大减少 了提取候选框的时间。将 RPN 和 Fast R­CNN 相结合，首先提取整张图片的特征； 再将特征结果输入到 RPN；然后使用 ROI 池化层固定候选框的大小；最后对属于 某一特征的候选框回归和调整[4]。
基于 one­stage 的算法有：

• YOLO v1 和许多后续的改进算法：YOLO 系列算法是目前一种先进的目标检测算 法。因为整个检测框架是一个整体，所以可以端到端地对算法的性能进行优化。

• SSD 系列算法：采用多尺度特征图用于检测.，设置先验框，采用卷积进行检测。

脉冲神经网络（Spiking Neural Network, SNN），起源于脑科学，由于其丰富的时空 领域的神经动力学特性、多样的编码机制和超低的功耗被誉为第三代神经网络。在此之 前，神经网络经历了几个发展阶段：第一个阶段是感知机阶段，其可以模拟人类感知能 力并由美国神经学家 Frank Rosenblatt 在 BM704 机上完成了仿真。第二个阶段是基于联 结主义的多层人工神经网络 (Artificial Neural Network, ANN)，其兴起于二十世纪 80 年代 中期。20 世纪 80 年代末，分布式表达与反向传播算法被提出。在 2006 年以后，深度卷 积网络占有重要地位，引领了近十几年人工智能的发展[5]。
ANN 各个深度学习领域（如计算机视觉和自然语言处理）取得了巨大的成功，但 ANN 在生物学上是不精确的，不能较准确地模仿生物大脑神经元的运作机制，缺乏一定 的生物可解释性。为了使神经网络更加接近于人脑，SNN 随之诞生。但与 ANN 在各方 面的广泛应用不同，SNN 领域仍有许多问题有待解决，其研究仍然处于快速发展的早期 阶段。

1.2 研究意义

SNN 作为第三代人工神经网络，基于神经动力学的事件驱动机制，使得其擅长高效 处理复杂、稀疏的时空信息。并且 SNN 在硬件电路上具有超低能耗实现的优势。2019 年 清华大学研制的 ANN/SNN 异构融合天机芯登上 Nature 封面，指出计算机科学导向的深 度学习和神经科学导向的脉冲神经网络的交叉融合将是人工通用智能的发展方向[6]。
本设计论文研究的意义在于探索脉冲神经网络在目标检测上的应用，目前主流的脉 冲神经网络训练算法有直接 BP 训练、STDP 无监督训练和训练好的 ANN 的转化，虽然 训练算法众多，但是 SNN 仍然没有一套成熟的训练算法。比如在较大较深的网络训练中， 面临着脉冲信号的编码问题、训练开销大等问题[5]。并且在实现目标检测上，需要更为 复杂的网络结构，目前公开的检测方法也只有 Kim et al. (2020) 等人在经典的 YOLO 模型 上进行转化的 spiking­yolo。为此，基于不同的网络结构实现 SNN，以方便实现在硬件上 的低功耗，并与已有结果进行对比，是有一定意义的。

1.3 论文组织与结构

本文的研究内容是：在总结和分析国内外 ANN 进行转化的 SNN 的理论基础上，利 用现有的 ANN 目标检测模型，分析转化过程中存在的损失，以及各种转化手段的实现 方式；同时对转化模型和前人做的工作做对比，分析不同模型对 SNN 转化的影响，并在 pytorch 框架下对模型进行设计与实现。

本文以问题提出引申到理论支持，再到算法研究及具体的解决方案设计为思路进行 组织，共分为以下六章：
第一章为本章：首先阐述脉冲神经网络与目标检测研究的背景和意义，然后提出了 本文研究的主要内容为设计转换模型并与前人工作做对比分析不同模型对 SNN 转换的 影响，最后给出了论文的结构与框架。
第二章系统介绍了脉冲神经网络：发展趋势、优缺点、学习方法等。重点对从 ANN
到 SNN 转换的方法进行了阐述
第三章给出了目标检测中常用的人工神经网络模型 (Artificial Neural Network,ANN)， 以 one­stage 代表算法 SSD 为例，对模型的结构、损失函数等方面进行阐述。
第四章介绍模型的设计思路与方法
第五章结合实验，分别进行 ssd,spiking­ssd 的对比；yolo,spiking­yolo 的对比。给出实 验结果，进行分析。
第六章总结分析，从多个角度对转换模型现有结果进行分析，并给出了产生这种结 果的可能原因。

目录
1 引言 2
1.1 研究背景 2
1.2 研究意义 3
1.3 论文组织与结构 3
2 脉冲神经网络 5
2.1 学习算法 5
2.2 ANN 转化的 SNN 6
2.3 ANN 操作的脉冲实现 8
偏差归一化 8
除异常值归一化 8
3 ANN 模型结构 10
3.1 SSD 10
3.2 YOLO 13
4 SNN 模型结构 16
4.1 spiking­ssd 16
4.2 spiking­yolo 18
5 实验结果 22
5.1 数据集介绍 22
5.2 实验指标介绍 22
5.3 实验结果对比 22
6 总结讨论 25
6.1 数据对结果的影响 25
6.2 影响模型结果的几个因素 25
参考文献 26


















资源下载地址：https://download.csdn.net/download/sheziqiong/85909649
资源下载地址：https://download.csdn.net/download/sheziqiong/85909649