[Sparse to Dense] Sparse to Dense: Depth Prediction from Sparse Depth samples and a Single Image

ICRA-2018

---

---

1 Background and Motivation

Perception de la profondeur et estimation de la profondeur robotics, autonomous driving, augmented reality (AR) and 3D mapping Important dans l'application d'ingénierie égale ！

Cependant, les méthodes actuelles d'estimation de la profondeur ont plus ou moins ses limites au moment de l'atterrissage. ：

1）3D LiDARs are cost-prohibitive
2）Structured-light-based depth sensors (e.g. Kinect) are sunlight-sensitive and power-consuming
3）stereo cameras require a large baseline and careful calibration for accurate triangulation, and usually fails at featureless regions

Caméra monoculaire en raison de sa petite taille ,Faible coût,Économies d'énergie, Caractéristiques omniprésentes dans l'électronique grand public , La méthode d'estimation de la profondeur monoculaire est également devenue un point d'intérêt pour les chercheurs. ！

Et pourtant,the accuracy and reliability of such methods is still far from being practical（ Malgré une nette amélioration au fil des ans, ）

L'auteur est rgb Basé sur l'image ,Coopération sparse depth measurements, Pour estimer la profondeur ,a few sparse depth samples drastically improves depth reconstruction performance

2 Related Work

• RGB-based depth prediction
  • hand-crafted features
  • probabilistic graphical models
  • Non-parametric approaches
  • Semi-supervised learning
  • unsupervised learning
• Depth reconstruction from sparse samples
• Sensor fusion

3 Advantages / Contributions

rgb + sparse depth Prévision de la profondeur monoculaire

ps： Il n'y a pas d'innovation dans la structure du réseau ,sparse depth Ce multimodal est aussi une référence aux idées des autres （Bien sûr., La méthode d'échantillonnage est différente ）

4 Method

Structure globale

Ce qui est adopté est encoder Et decoder Forme

UpProj Le formulaire est le suivant:：

2）Depth Sampling

Selon Bernoulli probability Échantillonnage（eg：Lancer des pièces, Chaque résultat n'est pas pertinent ）,$p=\frac{m}{n}$

Le test Bernoulli(Bernoulli experiment)Est répété dans les mêmes conditions、Un essai aléatoire effectué indépendamment les uns des autres,Il se caractérise par le fait que cet essai randomisé n'a que deux résultats possibles.:Se produit ou ne se produit pas.Nous supposons que l'essai a été répété indépendammentnUne fois,Donc cette série d'essais aléatoires répétés et indépendants estnTest Bernoulli lourd,Ou Bernoulli.

$D\ast$ Carte complète de la profondeur ,dense depth map

$D$ sparse depth map

3）Data Augmentation

Scale / Rotation / Color Jitter / Color Normalization / Flips

scale Et rotation C'est comme si Nearest neighbor interpolation Pour éviter creating spurious sparse depth points

4）loss function

• l1
• l2：sensitive to outliers,over-smooth boundaries instead of sharp transitions
• berHu
  
  berHu Intégré l1 Et l2

Auteur”Les faits parlent.”Ce qui est adopté est l1

5 Experiments

5.1 Datasets

• NYU-Depth-v2

  464 different indoor scenes,249 Train + 215 test

  the small labeled test dataset with 654 images is used for evaluating the final performance

• KITTI Odometry Dataset

The KITTI dataset is more challenging for depth prediction, since the maximum distance is 100 meters as opposed to only 10 meters in the NYU-Depth-v2 dataset.

Indicateurs d'évaluation

RMSE: root mean squared error

REL: mean absolute relative error

${\delta }_i$:

Parmi eux

• card：is the cardinality of a set（ Peut être interprété simplement comme le comptage des éléments ）
• $\hat{y}$：prediction
• $y$：GT

Référence à d'autres indicateurs d'évaluation pertinents Indice d'estimation de la profondeur monoculaire ：SILog, SqRel, AbsRel, RMSE, RMSE（log）

5.2 RESULTS

1）Architecture Evaluation

DeConv3 Que DeConv2 D'accord.,

UpProj Que DeConv3 D'accord.（even larger receptive field of 4x4, the UpProj module outperforms the others）

2）Comparison with the State-of-the-Art

NYU-Depth-v2 Dataset

sd - Oui. sparse-depth Abréviation de, C'est - à - dire aucune entrée rgb

Voir les effets de la visualisation

KITTI Dataset

3）On Number of Depth Samples

sparse $10^1$ Cet ordre de grandeur correspond rgb Rivaliser,$10^2$ Saut,

Plus d'échantillons,Et rgb Peu importe. (performance gap between RGBd and sd shrinks as the sample size increases),Ha ha ha

This observation indicates that the information extracted from the sparse sample set dominates the prediction when the sample size is sufficiently large, and in this case the color cue becomes almost irrelevant. （Échantillonnage complet, Je t'envoie ce que je veux. , Ne dis rien. rgb Peu importe., Ça n'a rien à voir avec les réseaux neuronaux. ,Ha ha ha）

Regarde encore. KITTI Impact sur

Similitudes et différences mineures

4）Application: Dense Map from Visual Odometry Features

5）Application: LiDAR Super-Resolution

6 Conclusion（own） / Future work

• presentation

  https://www.bilibili.com/video/av66343637/

Voici quelques autres méthodes de prédiction de la profondeur monoculaire multimodale

• 《Multi-modal Auto-Encoders as Joint Estimators for Robotics Scene Understanding》

  Robotics: Science and Systems-2016
  

• 《Parse Geometry from a Line: Monocular Depth Estimation with Partial Laser Observation》

  ICRA-2017
  
  J'ai l'impression que le coût d'atterrissage est plus faible que celui de l'auteur.