Analyse de REF nerf

Analyse simple Ref-NeRF

NeRF C'est le réseau de rendu 3d le plus populaire,Le présent document est rédigé comme suit: RefNeRF C'est une opportunité., Essayez de montrer le lien étroit entre les normales et le rendu dans une surface 3D.

---

• Contexte de la recherche

  • Méthode de rendu
  • NeRFLa question de
• Nouvelle approche

  • La pensée principale
  • A quel point les normales sont importantes？
  • Structure du réseau
• Résultats

  • AvecNeRFComparaison des méthodes
  • Éditeur de scène

Contexte de la recherche

Méthode de rendu

Nous avons simplifié le processus de rendu à ： En filmant un objet , Trouvez la couleur d'un point sur la photo de l'objet

Snipaste_2022-07-03_18-27-41.png

Les méthodes traditionnelles exigent d'abord l'obtention d'un modèle tridimensionnel de l'objet , Et construire des scènes 3D , Les valeurs de couleur sont ensuite calculées pour chaque zone .

Nous pouvons rendre en modélisant les patchs , Vous pouvez également rendre en utilisant la méthode d'intégration de volume .

Snipaste_2022-07-03_18-28-02.png

Snipaste_2022-07-03_18-28-10.png

Voici deux choses fondamentales à considérer , L'un est un objet , L'autre est l'observateur ,

• Le modèle de l'objet est physique , Elle ne change pas avec la perspective de l'observation ;
• L'observateur observe le modèle d'objet sous différents angles , Il peut être réduit à un angle .

Et NeRF L'approche consiste à saisir ces deux points clés , Résumer le processus de rendu d'un objet 3D en une fonction , La différence par rapport aux méthodes traditionnelles est , Il ne repose plus sur la modélisation explicite d'objets 3D .

Neural Radiance Fields & Multi-layer perception Neural Radiance Fields (NeRF) is a popular view synthesis technique that represents a scene as a continuous volumetric function, parameterized by multi-layer perception (MLP) that provide the volume density and view dependent emitted radiance at each location.

Du point de vue du réseau neuronal , La procédure de rendu est la suivante

Parmi eux,Paramètres représentatifs du modèle, Représente l'emplacement du rendu , Représente l'angle d'observation . Le processus d'entraînement en réseau consiste à photographier le même objet sous plusieurs angles , Pour optimiser les paramètres ,

Donc,, On peut supposer que les informations de surface d'un objet sont codées dans les paramètres du réseau . Et le rendu du nouvel angle peut être calculé à partir de cet ensemble de paramètres .

NeRFLa question de

They often fail to accurately capture and reproduce the appearance of glossy surfaces

Snipaste_2022-07-03_18-28-17.png

C'est - à - dire: NeRF Mauvaise finition des surfaces lisses .Pourquoi?,Parce que NeRF Le traitement des textures de surface dépend de l'interpolation

Snipaste_2022-07-03_18-28-25.png

Pourquoi tu dis ça?？ Parce que la fonction originale est une fonction continue

Donc,, Sans mécanisme spécial ,Quand Lorsque le gradient ,Produits Ça doit être progressif . Au niveau macro “Interpolation”Effets de. Reflété dans les résultats de rendu , C'est que la couleur de la texture n'a pas de limite claire , Ça a l'air très flou .

Nouvelle approche

La pensée principale

Une nouvelle méthode pour apprendre la structure tridimensionnelle de la surface d'un objet , Ne dépend plus de l'algorithme d'interpolation lors du rendu des couleurs

Snipaste_2022-07-03_18-28-35.png

Le coeur de la structure tridimensionnelle dont il est question ici est la direction des normales locales .

A quel point les normales sont importantes？

Pour illustrer ce problème , .Si un objet est rendu de façon conventionnelle , En plus de sa structure de surface 3D et de sa couleur de carte de texture , Il faut aussi sa surface normale

Snipaste_2022-07-03_18-28-41.png

Si vous changez sa direction normale , Vous obtiendrez un rendu complètement différent

Snipaste_2022-07-03_18-28-51.png

La cause de ce phénomène peut être expliquée par la figure suivante , Compte tenu de l'éclairage ambiant , La couleur d'un point d'un objet peut être réduite à deux facteurs

Parmi eux, Représente la diffusion du matériau （diffuse）Couleur, Cette couleur dépend de la nature de l'objet lui - même , Représente la couleur apportée par la lumière ambiante .

Snipaste_2022-07-03_18-28-25.png

Parce que la lumière ambiante est réfléchie par un objet , Il est donc inévitablement soumis à l'effet combiné de l'angle d'éclairage et de la normale de surface .

Ref-NeRF L'algorithme est en train d'apprendre les paramètres du modèle , Apprendre la structure de couplage de ces normales et de la lumière incidente en ajoutant des contraintes .

Structure du réseau

Snipaste_2022-07-03_18-28-59.png

À l'origine NeRF Dans la méthode,

• Entrée Position représentative;
• Entrée Représente l'angle d'observation ;
• Produits Représente la densité du matériau ;
• Produits Représente la valeur de couleur;
• Variables intermédiaires Représente le vecteur goulot d'étranglement ,C'est un peu comme ça. ResNet La transmission de la couche de saut .

Et Ref-NeRF Les variables intermédiaires ajoutées par la méthode sont: ,

• ： La couleur produite par la lumière et la couleur elle - même ;
• ： Poids de la couleur de la lumière ;
• ： Rugosité locale de la surface ;
• ： Normal local .

Pourquoi tant de choses ont été introduites en dehors de la normale ？C'est très compréhensible..

• ： Contrôle la valeur et l'échelle de la lumière extérieure par rapport à sa propre couleur ;
• ： Après avoir considéré les normales de surface , Valeur de couleur locale “C'est énorme.” La terre est affectée par la normale ,Mais en réalité, Comme la surface de l'objet n'est pas absolument lisse , Il en résulte une grande différence entre les résultats réels et les résultats théoriques .Dans ce réseau,Plus la surface est rugueuse, Plus la douceur est forte , Le lissage se fait en ajustant vMF Mise en œuvre distribuée .

We introduce a technique,which we call an Integrated Directional Encoding (IDE), that enables the directional MLP to efficiently represent the function of outgoing radiance for materials with any continuously-valued roughness

Snipaste_2022-07-03_18-29-06.png

Résultats

AvecNeRFComparaison des méthodes

Snipaste_2022-07-03_18-29-17.png

Snipaste_2022-07-03_18-29-24.png

Visible,Ref La méthode permet d'estimer avec précision les structures normales de surface des structures sphériques et cylindriques , Et quelles informations sont causées par la lumière ambiante . Cela donne à ce modèle la connaissance et l'apprentissage “Réflexion spéculaire”Capacité de.

Éditeur de scène

Enfin, Parce que le modèle a appris l'information de surface de l'objet , J'ai appris l'information sur la lumière ambiante , Il est donc possible de modifier ces deux facteurs , Pour faire des objets 3D et des scènes “Édition”.

Snipaste_2022-07-03_18-29-30.png

We can edit the diffuse color of the car without affecting the specular reflections of its glossy paint

Snipaste_2022-07-03_18-29-38.png

We can plausibly modify the roughness of the car and material balls by manipulating the κ values used in the IDE