Station B Big utilise mon monde pour faire un réseau neuronal convolutif, Le Cun Forward! Le foie a explosé pendant 6 mois, et un million de fois.

Hiroshi. De Temple d'avo
Bit quantique | Numéro public QbitAI

Non - computer Major、Réseau neuronal Xiaobai,Foie brisé pendant six mois——

In《Mon monde》Pour construire un réseau neuronal convolutif,Qu'est - ce que c'est?？

‍‍

Récemment,[email protected] travail de Chen Zhao aotou a vraiment pris feu.

Ce qu'il a fait avec ses amis s'appelle“Le premier réseau neuronal de rutile pur au monde”,Neurones、Couche de convolution、Couche de connexion complète、Activer la fonction、Multiplicateur、Entrée、Produits……Tout est prêt、C'est magnifique.,Et ça peut vraimentRéalisation de la reconnaissance des chiffres manuscrits,Le taux de précision atteint80%.

Cette vague,Comme le disent les internautes：

C'est le résultat extraordinaire de la force et de la patience.

Pour l'instant, Cette vidéo a été diffusée sur un million de ,Sur l'Extranet, Ça a même causé LeCunAttention： Non seulement ils ont transmis leur travail ,Je l'ai rendu.“Very meta”Évaluation.

Ça prend du temps6Mois, Construire un réseau neuronal convolutif avec de la pierre rouge

La pierre rouge est une ressource minérale qui transmet des signaux dans mon monde , Peut être utilisé pour fabriquer des circuits en pierre rouge , Pour finir aussi petit qu'une porte automatique 、Commutateur de lumière、 Machines simples pour l'alimentation stroboscopique , Jusqu'à l'ascenseur 、 Ferme automatique 、 Machine à bouclier 、 Des outils sophistiqués pour les petites plateformes de jeux et même les ordinateurs .

L'architecture de ce réseau neuronal que les auteurs ont construit cette fois ,Basé surLeCunÀ1998 Structure Convolutive classique proposée en LeNet-5, Il est utilisé pour la reconnaissance manuscrite des chiffres .

Par rapport aux calculs classiques de précision totale （ Multiplicateurs et Adders ）, Après une réflexion et une estimation , Il a été décidé d'utiliser un calcul aléatoire pour réaliser ce réseau neuronal , Cela simplifie la conception et la mise en page .

Après tout, pour multiplier avec un calcul aléatoire , Il suffit d'une porte et d'une porte pour représenter un seul pôle , Un même ou même peut être bipolaire .

Parce que la Rétropropagation dans mon monde est peu probable , Le poids du réseau est d'abord Pytorch Bien entraîné , Et emménager directement .

Pour générer des poids composés de chaînes aléatoires ,Utilisation par les auteurs“ Les objets lancés sont aléatoires ” Ce principe crée un générateur de nombres aléatoires .

En général, Ils ont utilisé une compression LeNet-5, Utilisez d'abord une fenêtre pondérée （Noyau de convolution） Numériser l'image étape par étape et extraire les caractéristiques de la course , Ces traits sont ensuite introduits dans un réseau neuronal profond （Couche de connexion complète）Effectuer une identification classifiée.

Plus précisément,：

D'abord par le dispositif d'entrée ： Une plaque de pression à impulsion unique et 15×15 Écran de coordonnées , Générer un signal de coordonnées , Et dessiner l'écriture sur l'écran .

Puis les chiffres manuscrits sont entrés dans le rouleau , La partie couverte du noyau de convolution accumulé , Et exporter les résultats au niveau suivant .

Parmi eux：

（1）Dans le rouleau, L'auteur n'a pas utilisé de calculs aléatoires , Au lieu de cela, j'utilise des signaux analogiques de mon monde pour l'addition ;

（2） Afin de s'assurer que les données d'entrée peuvent être cartographiées non linéairement dans un espace de caractéristiques de haute dimension, puis classifiées linéairement , La sortie passe par la fonction active ReLU;

（3） Comme la convolution ne peut pas se déplacer librement , Donc en empilant directement , Connectez - vous à l'entrée du tableau d'écriture par fil dur .

Par la suite,Est une couche de connexion complète. Chaque couche est composée de plusieurs réseaux neuronaux , Chaque neurone connecte plusieurs entrées ,Et produit une sortie. Les neurones additionnent chaque entrée pondérée , Ensuite, vous apportez une sortie de fonction active .

La couche de connexion complète utilise des calculs aléatoires ,

La fonction d'activation est non linéaire tanh.

Les circuits neuronaux réels sont les suivants ：

La sortie de la dernière couche utilise un compteur analogique ,Pour les statistiques5HzEn chaîne“1”Nombre de, La capacité est 1024.

Final,Section des produits,La hauteur du compteur4 Les bits sont connectés au tableau de comptage , Le circuit choisit ensuite la valeur maximale et affiche les résultats sur le panneau .

Aperçu de la structure：

Aperçu de l'architecture du réseau：

Présentation de l'auteur, Le réseau neuronal est MNIST Environ implémenté sur l'ensemble de données 80%Précision,Comme comparaison, La précision du réseau de précision complet avec le même poids est 88%.

En plus, Son temps de reconnaissance théorique unique est d'environ 5Minutes,Mais je ne pensais pasMinecraft La capacité de calcul de ——Dans les essais réels,Peut - être.40Plus d'une minute.

L'auteur en déduit que ,Minecraft Les réseaux neuronaux stochastiques computationnels ne sont pas nécessairement meilleurs que les réseaux de précision totale en termes de coût - temps . Mais jusqu'à présent personne n'a fait un réseau de précision complète .

“ La charge de travail et la difficulté sont énormes ”

Dans la section commentaires de ce travail , .Les louanges de l'eau ont été ajoutées et adorées （- Oui.V Les pépins sont pétillantes ）——

Après avoir vu le grand chef - d'œuvre , Certains internautes ont même commencé à douter de soi et up Les seigneurs ne jouent pas à un jeu .（Tête de chien manuelle）

Il a également été noté que, Quelle que soit la fonction qui en résulte, c'est l'équivalent de l'apprentissage automatique “hello world”, Mais réapparaître avec l'élément Redstone fourni dans le jeu ,On peut dire que oui.“ La charge de travail et la difficulté sont énormes ”.

Parce que“ Cela exige que l'auteur mette en oeuvre la mise en oeuvre sous - jacente de l'algorithme ou le principe d'exécution matérielle （SimilairecudaProgrammation）Avoir une compréhension profonde, Vous pouvez également utiliser des mécanismes de jeu pour optimiser le processus d'exécution et compléter l'informatique parallèle ”.

Bien que l'identification finale soit plus lente ,Mais...“ Il n'y a pas grand - chose à discuter de l'efficacité ici ”.

Les implications, Ça a de la valeur en soi ,“ On ne peut pas prendre cpu L'efficacité de reconnaissance de deux Threads imbriqués par d'innombrables simulateurs de couche est comparée à l'efficacité de reconnaissance de carte graphique ”.

Enfin,D'autres soupirent：C'est bon, Maintenant, le réseau neuronal Red Stone a ,Disque dur、CPU、 Le moniteur est déjà là , Le superordinateur Redstone n'est pas loin ？

“ Peut - être qu'on pourrait être là MCJoue.MCC'est～”

À propos de l'auteur

Ce réseau neuronal de convolution de rutile a 5Auteur (s),[email protected] Chen a été le principal contributeur , Responsable de la conception générale du circuit 、 Construction et mise en service .

Lui et un autre auteur @ Un mauvais apprentissage （[email protected]）Tous.Hong Kong University of Science and TechnologyÉtudiants, Maintenant, étudiez séparément Docteur en physique théorique et en génie électronique .

Autres3 Parmi les collaborateurs , Il y a un lycéen qui vient d'avoir son diplôme （@NKID00）,Les deux autres.（@[email protected] Petite pieuvre qui aime la pierre rouge ） Ne pas révéler son identité .

@ Chen occupe la tête de 2014 Le contact a commencé en 《Mon monde》 Ce jeu est , J'ai fait un moniteur qui encodait des caractères chinois et un 8BitwiseCPU.

Quand on lui demande pourquoi un étudiant en informatique veut construire un réseau neuronal ,Il nous l'a dit., En fait, j'ai participé à un concours d'information , En raison de l'exposition antérieure à des calculs aléatoires （stochastic computing）, J'ai d'abord voulu montrer les avantages de l'informatique stochastique pour des tâches spécifiques, alors j'ai commencé ce projet .

Enfin, pour construire un réseau neuronal complet ,Il a regardé.50+ Pages de la littérature anglaise ,C'est écrit.1000Code multiligne.

Le plus dur à dire / La partie la plus longue ,Il a répondu：- Oui. Mise en service complète de la couche de connexion , Parce que la vitesse de fonctionnement est lente et qu'il est difficile de trouver le problème en utilisant des calculs aléatoires .

Pour l'avenir,upLe Seigneur veut dire, Il envisage de construire un SoutienRISC-V La pierre rouge de l'ensemble d'instructions CPU.

J'ai vérifié, On dirait que personne ne l'a encore fait ,Il faut s'y attendre.～

BVidéo de station：
https://www.bilibili.com/video/BV1yv4y1u7ZX?vd_source=6eb6d925760348954531a2288dcd74be

Introduction aux principes：
https://www.bilibili.com/video/BV1wF411F7PU/?spm_id_from=333.788&vd_source=6eb6d925760348954531a2288dcd74be

— Terminé. —

「Bit quantique·Point de vue」Inscription en direct

Qu'est - ce que“Prise de décision intelligente”？ Quelles sont les technologies clés pour une prise de décision intelligente ？ Et comment il va créer “ Smart grab ”？

7Mois7Jeudi,Participation en direct,Pour répondre à vos questions～

Suivez - moi ici,Souviens - toi de l'étoile.～