Nous avons fait une plateforme intelligente de règlement de détail

 DatawhalePartager 

Auteur：Yan Xin,DatawhaleMembres

Actuellement, dans le secteur du commerce de détail,,Il y a des coûts humains énormes,Par exemple, Guide d'achat、Nettoyage、Règlement, etc.,Et parmi eux,,En particulier, il faut beaucoup de main - d'oeuvre et de temps pour identifier les marchandises et les régler.,Et dans ce processus,,Les clients doivent faire la queue pour ça..Le coût de la main - d'oeuvre dans le commerce de détail est élevé.、Très faible efficacité de travail,Deuxièmement, l'expérience d'achat des clients a également diminué..

Avec le développement de la technologie de la vision par ordinateur,Et l'anthropomorphisme、Concept de fonctionnement du supermarché automatique,La nécessité d'utiliser la technologie de reconnaissance d'image et la technologie de détection d'objets pour réaliser la reconnaissance automatique des produits et le règlement automatique est apparue.,Système de fermeture automatique（Automatic checkout, ACO）.Le système de fermeture automatique basé sur la vision de l'ordinateur peut efficacement réduire les coûts d'exploitation de l'industrie du commerce de détail,Améliorer l'efficacité de la facturation des clients,Afin d'améliorer encore l'expérience et le bonheur des utilisateurs dans le processus d'achat.

AILa reconnaissance d'image est au cœur du Règlement.La précision de la reconnaissance d'image détermineAIFaisabilité du Règlement.Pour l'instant,AILe règlement est confronté aux problèmes suivants:：

1. Emballage similaire des marchandises ： Les produits de la même catégorie ont des goûts et des prix différents , Emballage extérieur similaire pour différentes catégories de marchandises , Tous ont des exigences élevées en matière de précision de reconnaissance d'image ;
2. De nombreux facteurs d'interférence ： Les marchandises similaires sont susceptibles de se déformer en raison de problèmes d'angle lors de l'identification. 、Repliement、 Brouillage, etc. , Influence sur les résultats de l'identification ;
3.Mise à jour rapide des catégories： Les itérations de mise à jour des produits de détail sont généralement effectuées au niveau horaire , Chaque fois qu'un nouveau produit est ajouté, un seul modèle doit être recyclé. , Le coût de la formation au modèle et le coût du temps sont énormes ;
4. Exigences élevées en matière de performance du système ： Les deux tâches de détection et d'identification doivent être abordées simultanément. , La précision et la vitesse doivent être pesées lors de la sélection du modèle et de l'optimisation. .

Chanvre de guêpe de sac ColugoMumDédié à Petits et moyens magasins de détail hors ligne OffreBasé sur la vision Intelligent Retail Settlement Scheme for ,Et dansGithub Synchrone Open Source for Community and Intellectual Community .

https://github.com/ColugoMumhttps://git.openi.org.cn/ColugoMum

Sur la base des points de douleur ci - dessus ,ColugoMum L'équipe utilise des rames volantes PaddleClas[1]Proposé par l'équipePP-ShiTu[2]Système de reconnaissance d'image.Basé surPP-ShiTu Le système d'identification des produits mis en œuvre est multi - catégories de produits dans le scénario de vente au détail. 、Petit échantillon、 Des similitudes élevées et des mises à jour fréquentes fournissent de nouvelles idées , Non seulement il peut identifier avec précision plusieurs catégories de marchandises , Peut également répondre à la poursuite ultime de l'efficacité prédictive . La fonction la plus pratique est ：Lorsqu'il est effectivement utilisé en ligne, Nouvelles catégories de produits à identifier rencontrées ,Pas besoin de réapprendre le modèle,Il suffit d'ajouter cette catégorie de caractéristiques d'image à la Bibliothèque de recherche, Permet d'identifier de nouveaux produits ！

PP-ShiTu Il s'agit d'un système de reconnaissance d'image léger et universel , Principalement détecté par le corps principal 、 Trois modules d'apprentissage des caractéristiques et de recherche vectorielle . Le système est sélectionné et ajusté à partir du réseau de base 、Sélection de la fonction de perte、Amélioration des données、 Stratégie de transformation du taux d'apprentissage 、 Sélection des paramètres de régularisation 、 Utilisation du modèle de pré - formation et quantification de l'adaptation du modèle 8Aspects, Adopter plusieurs stratégies , Optimiser les modèles de chaque module ,Et passer10w+ Données de catégorie pour la formation , Et finalement obtenir CPU Temps de prévision supérieur seulement 0.2s Système général de reconnaissance d'images Multi - scènes basé sur .

En termes simples,PP-ShiTu L'utilisation de ：

1. Modèle de détection par l'intermédiaire de l'hôte , Reconnaître les objets dans l'image un par un ;
2. Extraire les caractéristiques de chaque région candidate ;
3. Récupérer les vecteurs extraits dans la Bibliothèque de recherche ,Compléter la correspondance,Renvoie les résultats de l'identification.

Compte tenu de la poursuite extrême de la précision et de la vitesse prévue dans les scénarios de vente au détail réels ,ColugoMum L'équipe a sélectionné dans la section détection du corps PicoDetLe modèle en tant qu'algorithme de détection principal, Léger sélectionné PPLCNet_x2_5_ssld Modèle utilisé comme extraction de caractéristiques , Enfin, utilisez le module de recherche vectorielle FaissDansHNSW32 Comme algorithme de recherche , Réaliser un équilibre extrême entre la vitesse et la précision .

Sur cette base,ColugoMumL'équipe est basée surRP2K L'ensemble de données a atteint son maximum **96.91%**Précision des prévisions.

RP2KEnsemble de données[3]Inclus dans50(En milliers de dollars des États - Unis)+ Photos des étagères de vente au détail ,Catégorie de marchandises supérieure à2,000Espèce, Il s'agit de l'ensemble de données qui contient le plus grand nombre de catégories de produits dans l'ensemble de données actuel sur le commerce de détail. .Un ensemble de données différent de celui qui est généralement axé sur les nouveaux produits,RP2KPlus de5010 000 images des étagères de vente au détail,Catégorie de marchandises supérieure à2000Espèce,Cet ensemble de données est le nombre actuel de catégories de produits dans l'ensemble de données sur le commerce de détail.TOP1, En même temps, toutes les images proviennent de l'acquisition manuelle dans la scène réelle. ,Pour chaque article, La galerie fournit des annotations très détaillées .

En outre,ColugoMum A également recueilli et organisé l'industrie SKU Niveau de l'ensemble de données d'image du produit , Et j'ai hâte de travailler avec les développeurs , Open source peut avoir une influence dans l'industrie 、 Ensemble de données correspondant aux besoins réels de l'application du scénario .

https://github.com/ColugoMum/Dataset

Et,ColugoMum L'équipe open source est basée sur RP2K Modèle de formation de haute précision et modèle de prévision de l'ensemble de données . Les développeurs peuvent affiner le modèle de formation fourni en fonction de leurs propres données , L'expérience de prévision peut également être réalisée directement à l'aide du modèle de prévision fourni. .En même temps,ColugoMum Est également activé sur la base RP2K La campagne de classement , Bienvenue aux développeurs .

https://github.com/ColugoMum/Exprements

Déploiement utilisant un cadre de déploiement axé sur le Service des pales Paddle Serving[4]Déploiement,Répondre aux attentes des utilisateurs en matière de volume、Haute sécurité des données、Faible latence de la demande,InCPUSeulement0.2 Secondes pour obtenir un effet prédictif , Équilibrer la vitesse et la précision des prévisions .

Pour que les développeurs comprennent mieux PP-ShiTu、 Mieux utiliser ses avantages dans le domaine de la reconnaissance d'images ,ColugoMum L'équipe a ouvert le cours de reconnaissance intelligente des produits de détail basé sur la reconnaissance d'image , Les développeurs peuvent utiliser cette base PP-ShiTu Service d'amarrage rapide .

https://github.com/ColugoMum/Goods_Recognition

Basé sur la technologie de base ci - dessus ,Pour l'instantColugoMumL'équipe utilisePP-ShiTuTechnique, Open Source Cloud Edge one 、 Identification des marchandises en fonction des besoins réels de l'application du scénario Smart_container. Il peut localiser avec précision les produits achetés par les clients , Et intellectualisé 、 Règlement automatisé des prix .

https://github.com/ColugoMum/Smart_container

Lorsque le client place les articles qu'il a achetés dans la zone désignée ,Smart_container Capacité de localiser et d'identifier chaque produit avec précision , Et peut retourner une liste complète des achats et le prix total réel des marchandises à payer par le client . Et quand il y a de nouveaux produits dans le système, , Il suffit de mettre à jour la Bibliothèque de recherche ,Pas besoin de réapprendre le modèle.Smart_container écraser le Bureau de règlement du matériel 、 Plate - forme de gestion des applets 、Plate - forme de visualisation des mégadonnées, Réaliser l'unification Multi - terminaux ,Gestion intelligente.

Équipe centrale de développement

Yan Xin, Troisième année en automatisation à l'Université de technologie de Chine orientale , Recherche sur le contrôle collaboratif et la prise de décisions Multi - robots , Le principal intérêt est la vision par ordinateur. 、Apprentissage intensif、Déploiement du raisonnement.Technologue en développement de pales volantes、DatawhaleMembres、Huawei Cloud enjoyment expert、 First Host of National University Students Innovation and Entrepreneurship Project , A remporté la treizième session “Challenge Cup” Shanghai Copper Award of University Students Entrepreneurship Program Competition 、 The 10th East China University of Technology “ Coupe Endeavour ” Prix d'or du concours du Programme d'entrepreneuriat des étudiants universitaires 、 Deux droits d'auteur sur le logiciel 、 Un document de conférence internationale .

Shen Chen, Troisième année en génie de l'information à l'Université de technologie de Chine orientale ,A obtenu CRAIC Deuxième prix du concours chinois de robotique et d'intelligence artificielle à Shanghai 、 Shanghai Second Prize of Computer Applied Competence Design Competition of Shanghai University Students , The 10th East China University of Technology “ Coupe Endeavour ” Prix d'or du concours du Programme d'entrepreneuriat des étudiants universitaires , Participer à de nombreux grands projets open source exceptionnels , Deux droits d'auteur sur les logiciels ,A étéIEEE Publication d & apos; un document à l & apos; occasion d & apos; une conférence internationale , Un autre brevet de modèle d'utilité est en cours d'examen . Ancien Vice - Ministre de l'Organisation du Comité de la Ligue des jeunes de l'Institut d'information , Obtenir une excellente bourse d'études et un titre avancé d'étudiant exceptionnel .

Du Xudong, Troisième année en génie de l'information à l'Université de technologie de Chine orientale ,MaîtriseC/C++/Python/Jave/Matlab/verilogEt plusieurs langues de programmation, Shanghai Second Prize of Computer Applied Competence Design Competition of Shanghai University Students , Participer à de nombreux grands projets open source exceptionnels , Deux droits d'auteur sur les logiciels , Un brevet de modèle d'utilité est accepté . Ancien Vice - Ministre de la gestion communautaire de l'Institut d'information , Obtenir une bourse d'excellence .

Ici, Nous avons participé ColugoMum Les étudiants du projet R & D expriment leur gratitude ： Huang Xiaoyue 、Wang Xin、 Zhao Qian 、 Zhou Tianyi 、 Shen jiachuan et al. ,VersColugoMum Aide DatawhaleOrganisation、 Communauté des rames volantes EtQizhi CommunityMerci beaucoup! Nous accueillons d'autres développeurs pour participer à l'ensemble de données d'identification des produits de détail 、 Les listes d'identification des marchandises et Smart Container Activités de co - construction open source pour ,Co - PromotionAI Construction d'un écosystème ouvert , Promouvoir la numérisation du commerce de détail physique en Chine 、 Transformation et développement de la direction intelligente .

L'avenir,ColugoMum L'équipe continue de briser les frontières du produit et de la technologie , S'appuyer sur la communauté open source , Open source pour plus et mieux 、 Projets open source qui permettent réellement la vente au détail physique , Promouvoir le commerce de détail de l'entité à l'intelligence 、Transformation numérique,RéalisationColugoMum“Réduction des coûts et gains d & apos; efficacité、 Commerce de détail habilitant ”La Mission de.

Références ：

1.https://github.com/PaddlePaddle/PaddleClas  

2.S. Wei et al., "PP-ShiTu: A Practical Lightweight Image Recognition System," arXiv preprint arXiv:2111.00775, 2021. 

3.J. Peng, C. Xiao, and Y. Li, "RP2K: A large-scale retail product dataset for fine-grained image classification," arXiv preprint arXiv:2006.12634, 2020. 

4.https://github.com/PaddlePaddle/Serving

Partage Open Source,- Oui.Trois compagnies↓