《MATLAB 神经网络43个案例分析》：第29章 极限学习机在回归拟合及分类问题中的应用研究——对比实验

1. 前言

《MATLAB 神经网络43个案例分析》是MATLAB技术论坛（www.matlabsky.com）策划，由王小川老师主导，2013年北京航空航天大学出版社出版的关于MATLAB为工具的一本MATLAB实例教学书籍，是在《MATLAB神经网络30个案例分析》的基础上修改、补充而成的，秉承着“理论讲解—案例分析—应用扩展”这一特色，帮助读者更加直观、生动地学习神经网络。

《MATLAB神经网络43个案例分析》共有43章，内容涵盖常见的神经网络（BP、RBF、SOM、Hopfield、Elman、LVQ、Kohonen、GRNN、NARX等）以及相关智能算法（SVM、决策树、随机森林、极限学习机等）。同时，部分章节也涉及了常见的优化算法（遗传算法、蚁群算法等）与神经网络的结合问题。此外，《MATLAB神经网络43个案例分析》还介绍了MATLAB R2012b中神经网络工具箱的新增功能与特性，如神经网络并行计算、定制神经网络、神经网络高效编程等。

近年来随着人工智能研究的兴起，神经网络这个相关方向也迎来了又一阵研究热潮，由于其在信号处理领域中的不俗表现，神经网络方法也在不断深入应用到语音和图像方向的各种应用当中，本文结合书中案例，对其进行仿真实现，也算是进行一次重新学习，希望可以温故知新，加强并提升自己对神经网络这一方法在各领域中应用的理解与实践。自己正好在多抓鱼上入手了这本书，下面开始进行仿真示例，主要以介绍各章节中源码应用示例为主，本文主要基于MATLAB2015b(32位)平台仿真实现，这是本书第二十九章极限学习机在回归拟合及分类问题中的应用研究实例，话不多说，开始！

2. MATLAB 仿真示例一

打开MATLAB，点击“主页”，点击“打开”，找到示例文件

选中main.m，点击“打开”

main.m源码如下：

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%功能：极限学习机在分类问题中的应用研究
%环境：Win7，Matlab2015b
%Modi: C.S
%时间：2022-06-20
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%% 极限学习机在分类问题中的应用研究

%% 清空环境变量
clear all
clc
warning off
tic
%% 导入数据
load data.mat
% 随机产生训练集/测试集
a = randperm(569);
Train = data(a(1:500),:);
Test = data(a(501:end),:);
% 训练数据
P_train = Train(:,3:end)';
T_train = Train(:,2)';
% 测试数据
P_test = Test(:,3:end)';
T_test = Test(:,2)';

tic

%% ELM创建/训练
[IW,B,LW,TF,TYPE] = elmtrain(P_train,T_train,100,'sig',1);

%% ELM仿真测试
T_sim_1 = elmpredict(P_train,IW,B,LW,TF,TYPE);
T_sim_2 = elmpredict(P_test,IW,B,LW,TF,TYPE);

toc

%% 结果对比
result_1 = [T_train' T_sim_1'];
result_2 = [T_test' T_sim_2'];
% 训练集正确率
k1 = length(find(T_train == T_sim_1));
n1 = length(T_train);
Accuracy_1 = k1 / n1 * 100;
disp(['训练集正确率Accuracy = ' num2str(Accuracy_1) '%(' num2str(k1) '/' num2str(n1) ')'])
% 测试集正确率
k2 = length(find(T_test == T_sim_2));
n2 = length(T_test);
Accuracy_2 = k2 / n2 * 100;
disp(['测试集正确率Accuracy = ' num2str(Accuracy_2) '%(' num2str(k2) '/' num2str(n2) ')'])

%% 显示
count_B = length(find(T_train == 1));
count_M = length(find(T_train == 2));
rate_B = count_B / 500;
rate_M = count_M / 500;
total_B = length(find(data(:,2) == 1));
total_M = length(find(data(:,2) == 2));
number_B = length(find(T_test == 1));
number_M = length(find(T_test == 2));
number_B_sim = length(find(T_sim_2 == 1 & T_test == 1));
number_M_sim = length(find(T_sim_2 == 2 & T_test == 2));
disp(['病例总数：' num2str(569)...
      ' 良性：' num2str(total_B)...
      ' 恶性：' num2str(total_M)]);
disp(['训练集病例总数：' num2str(500)...
      ' 良性：' num2str(count_B)...
      ' 恶性：' num2str(count_M)]);
disp(['测试集病例总数：' num2str(69)...
      ' 良性：' num2str(number_B)...
      ' 恶性：' num2str(number_M)]);
disp(['良性乳腺肿瘤确诊：' num2str(number_B_sim)...
      ' 误诊：' num2str(number_B - number_B_sim)...
      ' 确诊率p1=' num2str(number_B_sim/number_B*100) '%']);
disp(['恶性乳腺肿瘤确诊：' num2str(number_M_sim)...
      ' 误诊：' num2str(number_M - number_M_sim)...
      ' 确诊率p2=' num2str(number_M_sim/number_M*100) '%']);
  
  
R = [];
for i = 50:50:500
    %% ELM创建/训练
    [IW,B,LW,TF,TYPE] = elmtrain(P_train,T_train,i,'sig',1);
    
    %% ELM仿真测试
    T_sim_1 = elmpredict(P_train,IW,B,LW,TF,TYPE);
    T_sim_2 = elmpredict(P_test,IW,B,LW,TF,TYPE);
    
    %% 结果对比
    result_1 = [T_train' T_sim_1'];
    result_2 = [T_test' T_sim_2'];
    % 训练集正确率
    k1 = length(find(T_train == T_sim_1));
    n1 = length(T_train);
    Accuracy_1 = k1 / n1 * 100;
%     disp(['训练集正确率Accuracy = ' num2str(Accuracy_1) '%(' num2str(k1) '/' num2str(n1) ')'])
    % 测试集正确率
    k2 = length(find(T_test == T_sim_2));
    n2 = length(T_test);
    Accuracy_2 = k2 / n2 * 100;
%     disp(['测试集正确率Accuracy = ' num2str(Accuracy_2) '%(' num2str(k2) '/' num2str(n2) ')'])
    R = [R;Accuracy_1 Accuracy_2];
end
  
figure
plot(50:50:500,R(:,2),'b:o')
xlabel('隐含层神经元个数')
ylabel('测试集预测正确率（%）')
title('隐含层神经元个数对ELM性能的影响')
toc

添加完毕，点击“运行”，开始仿真，输出仿真结果如下：

时间已过 0.138923 秒。
训练集正确率Accuracy = 87%(435/500)
测试集正确率Accuracy = 88.4058%(61/69)
病例总数：569  良性：357  恶性：212
训练集病例总数：500  良性：314  恶性：186
测试集病例总数：69  良性：43  恶性：26
良性乳腺肿瘤确诊：40  误诊：3  确诊率p1=93.0233%
恶性乳腺肿瘤确诊：21  误诊：5  确诊率p2=80.7692%
时间已过 0.704174 秒。

3. MATLAB 仿真示例二

打开MATLAB，点击“主页”，点击“打开”，找到示例文件

选中main.m，点击“打开”

main.m源码如下：

%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%功能：极限学习机在回归拟合问题中的应用研究
%环境：Win7，Matlab2015b
%Modi: C.S
%时间：2022-06-20
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%

%% 极限学习机在回归拟合问题中的应用研究

%% 清空环境变量
clear all
clc
tic
%% 导入数据
load data
% 随机生成训练集、测试集
k = randperm(size(input,1));
% 训练集——1900个样本
P_train=input(k(1:1900),:)';
T_train=output(k(1:1900));
% 测试集——100个样本
P_test=input(k(1901:2000),:)';
T_test=output(k(1901:2000));

%% 归一化
% 训练集
[Pn_train,inputps] = mapminmax(P_train,-1,1);
Pn_test = mapminmax('apply',P_test,inputps);
% 测试集
[Tn_train,outputps] = mapminmax(T_train,-1,1);
Tn_test = mapminmax('apply',T_test,outputps);

tic
%% ELM创建/训练
[IW,B,LW,TF,TYPE] = elmtrain(Pn_train,Tn_train,20,'sig',0);

%% ELM仿真测试
Tn_sim = elmpredict(Pn_test,IW,B,LW,TF,TYPE);
% 反归一化
T_sim = mapminmax('reverse',Tn_sim,outputps);

toc
%% 结果对比
result = [T_test' T_sim'];
% 均方误差
E = mse(T_sim - T_test)
% 决定系数
N = length(T_test);
R2 = (N*sum(T_sim.*T_test)-sum(T_sim)*sum(T_test))^2/((N*sum((T_sim).^2)-(sum(T_sim))^2)*(N*sum((T_test).^2)-(sum(T_test))^2))

%% 绘图
figure
plot(1:length(T_test),T_test,'r*')
hold on
plot(1:length(T_sim),T_sim,'b:o')
xlabel('测试集样本编号')
ylabel('测试集输出')
title('ELM测试集输出')
legend('期望输出','预测输出')

figure
plot(1:length(T_test),T_test-T_sim,'r-*')
xlabel('测试集样本编号')
ylabel('绝对误差')
title('ELM测试集预测误差')
toc

添加完毕，点击“运行”，开始仿真，输出仿真结果如下：

时间已过 0.026963 秒。

E =

    0.0012


R2 =

    1.0000

时间已过 0.960279 秒。

4. 小结

极限学习机（Extreme Learning Machine, ELM）或“超限学习机”是一类基于前馈神经网络（Feedforward Neuron Network, FNN）构建的机器学习系统或方法，适用于监督学习和非监督学习问题 。ELM在研究中被视为一类特殊的FNN，或对FNN及其反向传播算法的改进，其特点是隐含层节点的权重为随机或人为给定的，且不需要更新，学习过程仅计算输出权重。传统的ELM具有单隐含层，在与其它浅层学习系统，例如单层感知机（single layer perceptron）和支持向量机（Support Vector Machine, SVM）相比较时，被认为在学习速率和泛化能力方面可能具有优势。ELM的一些改进版本通过引入自编码器构筑或堆叠隐含层获得了深度结构，能够进行表征学习 。ELM的应用包括计算机视觉和生物信息学，也被应用于一些地球科学、环境科学中的回归问题 。
对本章内容感兴趣或者想充分学习了解的，建议去研习书中第二十九章节的内容。后期会对其中一些知识点在自己理解的基础上进行补充，欢迎大家一起学习交流。