Séparation et combinaison de la construction du système qualité

Préface

Jia pengbo est ingénieur en développement d'essais pour Sound net,Responsable du réseau sonore SDK Mise à l'essai et mise en place d'outils d'essai pertinents.J'ai été dans une société financière,J'ai vu le stock,J'ai calculé la Commission,Il y a une distribution de contenu、Commerce électronique、Expérience des tests liés aux petits jeux.

Cet article est basé sur le「Conférence sur l'entrepreneuriat pour les développeurs de réseaux audio• Troisième phase 丨 comment garantir la qualité des produits au début de l'entreprise」Partage du contenu lors de l'événement collation secondaire.Attention au numéro public「Développeur de réseau audio」,Mots clés de réponse「JT0611」Télécharger les activités liées à PPT Information.

01 Contexte de la construction du système qualité

Tout d'abord,,Fig. 1 C'est clair.,Créer à partir des exigences,Évaluation、Établissement、Distribution de la demande,Jusqu'au dernier test,Le flux de travail requis est très long,Nous devons construire et suivre le flux de travail,Afin de mieux assurer le fonctionnement de l'entreprise.Deuxièmement,,L'enregistrement des données est utilisé pour la Réinitialisation、Amélioration et gains d'efficacité.Parce que la construction du système qualité couvre tous les aspects,Cela comprend également l'atterrissage de certains documents,Au fur et à mesure que la distribution et les tâches de test augmentent,Une grande variété de versions et de données d'essai s'accumuleront en conséquence,L'analyse des données est effectuée au cours de ce processus,Obtenir des données et analyser les répliques、Amélioration,Pour faciliter la construction d'un système de qualité.

Enfin,Le système qualité est construit pour obtenir des produits de haute qualité.Auto - test du développement、Avancement de la phase d'essai、 Alignement des critères d'exigence 、 Élaborer des spécifications d'essai 、Jira Visualisation et suivi de l'information , Et d'autres aspects du suivi . Tous les services que nous faisons sont pour la mise en ligne de la version , Fournir une haute qualité aux utilisateurs 、 Produits et services très fiables .

■Fig. 1

Fig. 2 Une présentation complète des systèmes de qualité avant et maintenant , Degré de qualité 、Questions en ligne、 Boucle fermée pour les questions d'essai 、 Amélioration du processus 、 Ajout de cas d'utilisation et coordination manuelle case Et automatisation case .Adoption“Avant”Graphique, Il est difficile de tirer des conclusions pertinentes , Seule la mise en place d'un système d'analyse continue , Pour obtenir des conclusions ou des indicateurs appropriés à améliorer .Fig. 2 C'est clair.“Avant”Comment faire, Quels sont les résultats que l'on peut obtenir en mettant en place un système , Et les mesures à prendre pour mettre en œuvre le système . Ces initiatives sont multiples , Il ne suffit pas d'atterrir , Certains peuvent avoir besoin d'un alignement et d'une Réinitialisation continus .

■Fig. 2

02 Méthodologie

1、Petit pas, cours.

Les petits pas sont utilisés pour la mise en ligne rapide , Parfois, les besoins peuvent être très urgents , Il suffit de comprendre le but , Une fois que vous vous êtes connecté au gestionnaire de développement ou de produit, vous êtes sur le point de commencer à travailler , Les cas d'essai peuvent ne pas être maintenus et mis à jour à temps . Et parce que c'est une phase de croissance rapide , Il faudra peut - être aussi passer en parallèle .

Ce qu'on appelle le parallélisme, c'est comme ça 3 Comme indiqué, Plusieurs personnes ont N Besoins,Voilà. N Les besoins sont suivis par différentes personnes , Mais ces exigences sont nouvelles , Il suffit de l'ajouter et de le mettre en ligne rapidement . Cette période a été marquée par , Les exigences sont nouvelles , Testez seulement la partie dont vous êtes responsable , Les autres besoins n'ont rien à voir avec eux - mêmes , Pas besoin de revenir , Un supplément direct en ligne .Il est important de noter que, Parce que l'accent est mis uniquement sur la mise en ligne rapide , Il suffit donc d'assurer une certaine qualité , Le contrôle des détails n'est pas en place .

■Fig. 3

2、 Stable dans la demande “Victoire!”De haute qualité

Attention à la qualité lorsque l'entreprise est en période de paix , Plusieurs considérations sont nécessaires . Une exigence peut être divisée en N Sous - besoins , Ces sous - exigences sont testées par différentes personnes .En plus, La nécessité d'une interaction constante tout au long du processus d'essai , Livraison par différents points d'essai et couverture de différents contenus d'essai , L'ensemble du processus d'essai peut être long , Parce qu'une validation Multi - facettes est nécessaire , Y compris les tests manuels 、Essais automatisés、Essais de performance、 Tests de laboratoire, etc , Déterminer s'il y a un retour en arrière ou un problème de qualité dans cette version à l'aide des résultats d'essais complets . Si l'ensemble est en bon état ,Vous pouvez le publier..

Cette stabilité exige “Victoire!” Plus applicable aux entreprises de haute qualité ,Comme une banque, Parce qu'il a un contrôle strict sur l'argent. , Donc sa durée est très longue , Une grande attention est accordée aux problèmes de qualité dans le processus d'essai , Différentes personnes doivent se croiser et effectuer des tâches d'essai connexes en échangeant du contenu d'essai et des cas d'essai. , Est caractéristique de cette période .

3、 Documentation du processus de spécification

À ce moment - là, la compagnie est toujours en paix , Au fur et à mesure que vous traversez de petits pas rapides et de longues itérations des exigences d'essai , A accumulé une grande variété d'expériences , Ces expériences doivent se traduire par une amélioration des processus et des fonctions , Comment trouver plus de problèmes est un test de la capacité de tri des exigences et d'enregistrement des données ,Voir la figure pour plus de détails. 4 Comme indiqué：

■Fig.4

Conception des cas d'essai à partir des exigences , Les cas d'essai peuvent comprendre: Xmind Et Excel, Développement suivant review Questions connexes case, À ce stade, il peut être nécessaire de se tenir du point de vue de la conception du Code et de l'utilisation du produit et QA Amélioration de l'angle de case, Modifié pour répondre aux exigences de mise en ligne .Bien sûr., Divers problèmes peuvent survenir lors de la mise en ligne , Ces questions doivent couvrir la fonction 、Performance, Et exige un processus itératif continu （ Que ce soit l'environnement d'essai , Ou l'environnement de pré - publication 、Environnement en ligne, etc）,Toutes les fonctions sont normales, Aucun problème de repli n'est survenu . La principale caractéristique de cette phase est qu'elle doit être suivie du début à la fin de la demande. 、 Résumé et résumé .En même temps, Les documents doivent être triés et les spécifications doivent être notées. , Éviter les documents en double, etc. .

■Fig. 5

Fig. 5 La version actuelle est enregistrée bug Nombre et proportion , De différentes équipes bug Le nombre reflète dans une certaine mesure le temps qu'il a fallu pour résoudre le problème. , Aide à résumer les progrès des tests , Et garder le contrôle highlight Mission, Cela permet de mettre la fonctionnalité en ligne comme prévu .Fig. 6 Le temps de résolution du problème et la variance de la boîte de résolution du problème sont enregistrés . En fait, toutes les données documentées par l'équipe de documentation visent à faire progresser le processus d'essai. , Garantie de mise en ligne en temps opportun ou en temps réel .

■Fig. 6

4、 Flux d'outils fleuris

Divers outils d'essai ont été mis en place. , Les outils d'essai correspondants peuvent être utilisés pour améliorer l'efficacité en fonction des différentes entreprises. , Livraison en temps opportun des tâches d'essai .Fig. 7 Huit catégories d'outils d'essai sont présentées , C'est une simple liste. , Les outils d'essai disponibles sur le marché vont bien au - delà .

■Fig. 7

5、 Flux de développement de l'excellence

À ce stade, l'entreprise est peut - être en pleine maturité , Le flux actuel d'outils ne supporte plus complètement les tâches d'essai , Nécessité de développer des flux d'outils pour les entreprises ,Par exemple, STF（Smartphone Test Farm）Et Tencent Bugly, Sont des développements secondaires pour s'adapter à votre entreprise .Bien sûr., Il y a aussi beaucoup de flux d'outils ,Y compris: sonic、httprunner Attendez., Ils couvrent tous les aspects , Y compris les performances d'automatisation des interfaces 、Essais de performance, etc., Ceux - ci peuvent être adaptés à l'entreprise pour le développement secondaire . Les principales caractéristiques de cette période sont , Exigences élevées en matière de code , Nécessité de bien comprendre les affaires , Et répondre aux besoins de l'entreprise grâce à la capacité de codage .

Fig. 8 Le développement secondaire des outils actuels et les pratiques connexes de notre entreprise sont présentés. , J'en parlerai brièvement plus tard. .

■Fig. 8

03 Atterrissage et pratique

1、SDK Traitement en boucle fermée efficace et en temps réel des données de crash

Notre société teste principalement SDK, Par rapport à App Peut - être quelques différences , Sa pratique d'atterrissage est principalement SDK Traitement en boucle fermée efficace et en temps réel des données de crash . Il y en a sur le marché. ,Par exemple, Bugly,Mais nous avons découvert Bugly En cours de traitement SDK Il y a quelques lacunes dans le processus d'escalade de l'écrasement ,Par exemple, SDK Il s'est effondré ,Mais Bugly Pas de surveillance . Nous avons donc apporté quelques améliorations , Le processus global est illustré à la figure 9 Comme indiqué,La nôtre. SDK C'est pour le service à la clientèle , Encastré dans le client App Moyenne, Toute sa boucle fermée est , Le programme fonctionne normalement pour surveiller si cela se produit crash, Et en surveillant crash État trouvé capture consciente du démon ,Ensuite, générer dmp Fichier et soumission au collecteur de crash , Pour analyser les systèmes connexes , Certaines informations pertinentes seront stockées , Enfin, l'information est consolidée et envoyée aux utilisateurs .

■Fig. 9

Fig. 10 Ça montre SDK Traitement en boucle fermée efficace et en temps réel des données de crash , Extraire d'abord les informations clés de la pile , Et puis, en fonction de la valeur de hachage , Si la même version Hash La valeur existe, Est associé à JIRA. Cette partie de la logique de traitement consiste à fournir les journaux d'écrasement aux développeurs concernés pour traitement en temps opportun après leur acquisition. .

■Fig. 10

Fig. 11 Montre comment collecter les journaux et les obtenir en résolvant la compilation du système crash Après,In JIRA Afficher et assigner . Obtenez d'abord des informations sur l'écrasement ,Et le signaler à JIRA Avec quelques messages clés , Informez également les développeurs concernés , Pour le réparer .En termes simples,SDK Le traitement en boucle fermée efficace en temps réel des données d'écrasement SDK Intégration App Après, Déterminer si c'est notre SDK C'est arrivé. crash, Parce que certains pourraient être des clients App En soicrash, Nous jugerons cette partie ,Si SDK De crash Il est ensuite analysé par le système compilé et soumis à JIRA, Ce processus est soumis au développeur concerné pour traitement , Compléter tout le lien .

■Fig. 11

2、 Branchement du circuit

Cette section décrit principalement les essais de branchement et de débranchement des écouteurs ,Parce que notre SDK Il peut être nécessaire de brancher et de débrancher continuellement les écouteurs pendant les essais. .Fig. 12 Est une simplification du diagramme de circuit , En termes simples, c'est sur le circuit du tableau principal , Souder le fil dans le casque avec le fil dans le diagramme de circuit .

Le circuit original est compliqué. , Les étudiants qui ont étudié les circuits intégrés devraient savoir , Il y a toutes sortes de noeuds , Tester ces points , Principe du schéma de circuit combiné , La fonction de branchement et de débranchement des écouteurs peut être obtenue par le circuit de commande du programme . Nous avons passé beaucoup de temps à essayer de brancher et de débrancher les écouteurs. , Une estimation prudente d'une personne 3 Tous les jours online C'est là que tout peut être fait case. Mais après avoir terminé ce diagramme, , Il ne faut qu'une heure pour tout faire. case. Sur le diagramme de circuit, Nous afficherons les données pertinentes （ Y compris l'analyse des données de la page web , Et l'adaptation des indicateurs de performance, etc ）Intégration, équivalent à la production d'écouteurs .

■Fig. 12

3、HENGEPlate - forme d'essai

Fig. 13 Est basé sur STF Plate - forme Cloud pour le développement secondaire , Son lien principal est d'obtenir dynamiquement le paquet d'essai pour obtenir ses informations , Ensuite, il est envoyé dynamiquement à la machine virtuelle Cloud pour le test , Les résultats des tests pertinents sont ensuite soumis au testeur concerné , Faciliter l'accès aux rapports d'essai afin de tirer des conclusions d'essai . La figure montre principalement ce que nous avons testé App Après le processus de distribution, l'emballage fonctionne , Voir le rapport une fois l'exécution terminée , Cela inclut bien sûr crash Journaux et fonctions connexes .

■Fig. 13

4、Moonlight

Nos produits Moonlight Open Source（https://github.com/AgoraIO-Community/MoonLight）C'est,C'est un SDK, Pour automatiser la collecte de données sur le rendement , Les élèves intéressés peuvent consulter les codes pertinents . Certains tests de performance ont montré que , Il est très précis avec une consommation de ressources plus faible CPU、memory Attendez les informations du système .

04 Schéma du système

Pourquoi faire un système de qualité , Différentes stratégies qui pourraient être adoptées dans cinq autres périodes , Et tous les gadgets qui peuvent émerger dans le processus de stratégie sont des produits de haute qualité qui nous servent , C'est le dernier indicateur . Toutes les tâches d'essai , Y compris la construction d'un système de qualité pour maintenir le développement actuel des entreprises . Donc quelle que soit la stratégie utilisée , Qu'il s'agisse d'une tarte aux documents 、 Flux d'outils ,Ou un développement secondaire, Tous les noeuds ou événements de tâche , Sont au service de leur propre système d'affaires .

Fig. 14 Montre un système de qualité , Y compris la phase de demande 、Phase de développement、 Code intégré 、Phase d'essai、Avant la mise en ligne、Livraison、Suivi de la qualité,C'est de 0 À 1 Jalons, Parce que vous pouvez voir les principes d'accès au Code canonique dans le processus d'élaboration de la gestion des exigences 、 Divers indices d'essai testés 、 Différents alignements avant la mise en ligne 、 Résumé du rapport après livraison , Surveillance de l'ensemble des données jusqu'à ce qu'elles soient finalement en ligne , Un schéma de base du système qualité a été réalisé .

■Fig. 14

06 Séance de questions - réponses

1、 Comment vérifier la couverture ？

Les contrôles de couverture sont effectués à l'aide d'outils bullseye,Cet outil est disponible en CI Un Cov Documentation,Fonctionnement case De Cov La couverture du Code développé pour le module correspondant dans le fichier change , Enfin, tous les modules peuvent être appariés et comparés selon les normes après leur fonctionnement. .

2、 Dans une start - up CI/CD À quel stade? ？

L'esprit d'entreprise peut être mis à l'essai ,Nous sommes principalement responsables CI Pour sortir du sac ,Parce que SDK Après avoir compilé le paquet , Génère directement la corrélation zip Paquet et déclenche la compilation App, Ce sont nos outils de test . Parce que le réseau sonore fait principalement SDK Tests, Alors on va mettre notre SDK Essais intégrés dans l'auto - développement App Pour les tâches d'essai . Bien sûr, notre société les a divisés en deux. , Le Département du développement UT, Il y a une vérification de code pertinente après la soumission du Code ,Si UT Mais il ne peut pas être soumis , C'est la partie développement ; La partie d'essai est principalement utilisée pour: Outils hors du sac ,Parce que notre société SDK Particularités des tests , La plupart des travailleurs sur le marché n'ont pas besoin d'être intégrés sdk Tous développés par leurs propres fonctions app, Généralement divisé en deux parties . Après le Code de soumission développé , Quelqu'un pourrait le faire. test case, Il peut y avoir un environnement de test de sauvegarde avant l'environnement de test , Il y aura des tâches d'essai connexes dans cet environnement . Mettre les tests pertinents test case Cours!, Atteindre un certain taux de réussite , Avant de soumettre avec succès , Effectuer le prochain test .Bien sûr., Pour voir si vous avez l'énergie de maintenir deux environnements , Parce que cet environnement est avant le test de code , Et les exigences seront un peu plus élevées . Si le Code développé UT C'est parti., Puis il est publié dans l'environnement d'essai pour l'exécution test case,case Il peut y avoir deux , L'une est la nouvelle fonctionnalité , C'est trop , Parce qu'il n'y a rien de nouveau . L'autre est l'ancienne fonctionnalité existante , Il faudra peut - être tag Pour déterminer si le cas d'essai doit être couvert , Si c'est une ancienne fonction , Vous pouvez déterminer si vous voulez rappeler en définissant le taux général , Il est donc nécessaire de procéder à des ajustements en fonction des différents types d'entreprises. .

3、 Comment mesurer les performances de bout en bout ？ Vous avez des outils ？ Et si les données du point d'enfouissement sont inexactes ？

Il existe de nombreux outils de test de performance de bout en bout ,test home On dirait que quelqu'un a partagé des outils Android. ,Tout le monde peut y aller.. Cet outil est Open Source , Après l'installation, lancez les App Heure, Il présente les données pertinentes . L'autre est l'outil open source qui tidevice,C'est par Python Appelé Apple De API Pour obtenir des données.Si oui iOS Ou Mac Ça marche moonlight,Windows Il existe également des outils de performance qui peuvent être directement surveillés . Si vous voulez essayer le développement secondaire ,iOS J'ai été privé api, Android est adb Appelez. Apple Official et instrument,iOS Et Mac Tout est passé. instrument Pour obtenir de nouvelles données .

En ce qui concerne la question de l'imprécision des points d'enfouissement , En fait, le point d'enfouissement est plus une tâche de développement , Parce que le développement est l'écriture de journaux de tâches connexes dans le Code , Je pense que c'est le développement pour enterrer ces points , Et puis il y a une série de ses chaînes d'appels . Notre tâche est de comprendre les exigences du développement , Et obtenir ces données pour vérifier si son point d'enfouissement est correct .

Aperçu de l'événement

7 Mois 16 Dimanche après - midi,Conférence sur l'entrepreneuriat pour les développeurs de réseaux audio • No 4 En attendant「 Comment les équipes entrepreneuriales peuvent - elles assurer la sécurité et la conformité des entreprises de produits? ？」Le titre, Lettre d'invitation 、Groupe des nomades、 Les experts techniques de trois excellentes entreprises de baishanyun apportent un excellent partage .

Le cœur bat l'action, Numérisez le Code QR pour vous inscrire ！