【 protobuf 】 quelques puits causés par la mise à niveau de protobuf

---

Il y a quelque temps, l'entreprise s'est appuyée sur un projet github.com/golang/protobuf La version de v1.3.3 Mise à jour vers v1.4.2,Cet article documente certains des problèmes rencontrés lors de la mise à niveau.

Google C'est exact. Go De protobuf Le rez - de - chaussée de la Bibliothèque a été considérablement amélioré,La nouvelle version du chemin du paquet a été transférée à google.golang.org/protobuf.
En même temps,Ces améliorations ont également été apportées à github.com/golang/protobuf：De v1.4 Depuis la version,github.com/golang/protobuf Il sera là. google.golang.org/protobuf Basé sur,Mais la compatibilité des interfaces sera garantie,Cela indique également la dépendance actuelle github.com/golang/protobuf Les projets de,Sans modification du Code supérieur.

Et pourtant,Nouvelle édition de protobuf-gen-go Utilisé google.golang.org/protobuf/protoreflect,Compilé message La structure est complètement différente de ce qu'elle était avant,Cela a causé des problèmes dans notre travail de mise à niveau.

1. Dans le Code XXX_Unmarshal Appel direct de

Ancienne version protoc-gen-go Ça va exposer un XXX_Unmarshal Interface,Utilisé dans proto.Unmarshal Appelé à, Certains collègues ont donc choisi d'appeler directement message.XXX_Unmarshal Méthodes.Nouvelle édition de proto Adoption ProtoReflect Exposition à l'interface message Information interne,Compiler pb.go Il n'y a plus de temps XXX_Unmarshal Méthodes, Il en résulte une erreur de temps de compilation message.XXX_Unmarshal undefined.

La solution est simple：Utilisez plutôt proto.Unmarshal C'est tout..

2. Erreur d'essai due à un changement de structure à l'intérieur de la structure

Pour le même message, La structure de l'ancienne version compilée est la suivante :

type HealthCheckResponse struct {
    
    Status               HealthCheckResponse_ServingStatus `protobuf:"varint,1,opt,name=status,proto3,enum=liulishuo.common.health.v1.HealthCheckResponse_ServingStatus" json:"status,omitempty"`
    XXX_NoUnkeyedLiteral struct{
    }                          `json:"-"`
    XXX_unrecognized     []byte                            `json:"-"`
    XXX_sizecache        int32                             `json:"-"`
}

Et la nouvelle version est construite comme suit ：

type HealthCheckResponse struct {
    
    state         protoimpl.MessageState
    sizeCache     protoimpl.SizeCache
    unknownFields protoimpl.UnknownFields

    Status HealthCheckResponse_ServingStatus `protobuf:"varint,1,opt,name=status,proto3,enum=liulishuo.common.health.v1.HealthCheckResponse_ServingStatus" json:"status,omitempty"`
}

Je vois., Trois champs non exportés ont été ajoutés à la nouvelle version , Et ces trois champs ont causé des problèmes avec notre Code de test .

1. cmp.Equal Heure panic
   Nous avons utilisé github.com/google/go-cmp/cmp.Equal C'est ça. proto Comparaison des structures , Et les champs non exportés dans la structure font cmp.Equal Et cmp.Diff panic:

panic: cannot handle unexported field at {
    *pkg.SomeRequest}.state:
    ".../services_go_proto".SomeRequest
consider using a custom Comparer; if you control the implementation of type, you can also consider using an Exporter, AllowUnexported, or cmpopts.IgnoreUnexported [recovered]

go-cmp La façon recommandée est d'utiliser IgnoreUnexported, Mais de cette façon, vous devez passer tous les types que vous voulez ignorer , Pour les message Très hostile..
Après une recherche,Découverte protocmp.Transform Peut mettre tous les protobuf message Convertir en personnalisé map[string]interface{} Comparer,Pour que nous puissions utiliser Transform() Pour résoudre le problème：

import "google.golang.org/protobuf/testing/protocmp"

// ...
opt := protocomp.Trnasform()
if !cmp.Equal(exp, got, opt) {
    
    t.Error(exp, got, opt)
}

2. assert Coincé et plein de mémoire
   Comparé à la question ci - dessus , Les questions suivantes sont encore plus étranges ：Utiliser github.com/stretchr/testify/assert.Equal Comparer certains proto message Ça va se coincer., Pendant ce temps, l'utilisation de la mémoire augmente .

Essayez d'utiliser pprof Échantillonnage,C'est sorti. CPU Et la longueur de la carte d'échantillonnage du tas ：

Je vois. spew.Dump Il y a une récursion infinie , Cela a entraîné une saisie du programme et une allocation continue de mémoire .

Je l'ai trouvé. testify De issue, Plusieurs solutions de contournement sont proposées dans les commentaires pertinents , Mais ce problème n'a pas encore été résolu .

Il existe deux solutions recommandées par les particuliers ：

1. Utiliser marshalTextString() Oui. message Convertir en proto text,Puis comparez;
2. Utiliser cmp.Equal,Union protocmp.Transform.

3. lint Erreur signalée copylocks

Traitement du test de traitement du Code d'entreprise terminé , Après le traitement du Code d'essai et lint À traiter.

Après la mise à niveau de notre projet ,go vet Le journal copylocks Erreur：assignment copies lock value to got: .../message_go_protos.Message contains google.golang.org/protobuf/internal/impl.MessageState contains sync.Mutex

La solution est aussi plus simple ：Tout proto message Passer au pointeur à la place .