The undeepvo's discuss from mistermap

Решение depth net вырождается в константу по глубине

train more than one sequence

How to train more than one sequence?
this train only 08 sequence what if I want to train more sequences (if this possible)
dataset = pykitti.odometry(MAIN_DIR, '08', frames=range(0, 340, 1))

lr sheduler

"The learning rate started from 0.001 and decreased by half for every 1/5 of total iterations"

Добавить возможность выбора через сколько итераций/эпох снижать, либо же что-то умное использовать из торча

clip до макс значения, а не до 100

https://numpy.org/doc/stable/reference/generated/numpy.clip.html

Взять метрики из monodepth и тестовый датасет и прогнать на нашей модели

Запустить нейронку с маленьким размером датасета

Использовать ground truth позиции в предсказании stereo

Test MonoDepth2

Запустить Monodepth2 и сравнить графики лосов

AssertionError: scalar should be 0D

Hello, Why am I getting four dimensional scalar data? How do you do that?

U-Net model is not correct

class LastUpBlock(nn.Module):
    def __init__(self, in_channels, out_channels):
        super().__init__()

        self.convs = nn.Sequential(
            nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.Conv2d(out_channels, out_channels, kernel_size=3, padding=1),
            nn.ReLU(),
        )

    def forward(self, x):
        out = self.convs(x)

        return out

should be

class LastUpBlock(nn.Module):
    def __init__(self, in_channels, out_channels):
        super().__init__()

        self.convs = nn.Sequential(
            nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1),
            nn.ReLU(),
            nn.Conv2d(out_channels, out_channels, kernel_size=1, padding=0),
        )

    def forward(self, x):
        out = self.convs(x)

        return out

Нормализовать входные изображения

Посчитать Mean и std

Изменять размер изображения пропорционально

Закидывать синтезированные изображения в артифакты

Улучшить вывод в tensorboard и mlflow

Вывести left и right глубину и картинки
Вывусти все лоссы в tensorboard и в mlflow
Graph
Вывести траекторию tensorboard
Артифакты в mlflow
Добавить вывод гипер параметров

Поправить проблему - mlflow already run

import mlflow
mlflow.end_run()

Сделать supervised depth regression

regularization coeffis

DisparityConsistencyLoss:  lambda = 0.85
PoseLoss: lambda_pose= ; lambda_rotation= ;
SpatialPhotometricConsistencyLoss: lambda = ;

TemporalPhotometricConsistencyLoss: lambda =0.85;

Для использования метрики SSIM необходимо денормализововать изображения

Possible post processing for better results

monodepth1

Выдаёт темное изображение на выходе depth net

Depth net выдаёт одинаковое максимальное расстояние
Также плохо учиться spatial photometric consistancy loss

AttributeError: module 'kornia.losses' has no attribute 'SSIM'

it show the below error when I tried

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-32-840e18527b00> in <module>()
     26 criterion = UnsupervisedCriterion(dataset_manager.get_cameras_calibration("cuda:0"),
     27                                   lambda_position, lambda_rotation, lambda_s,
---> 28                                   lambda_disparity, lambda_registration)
     29 handler = TrainingProcessHandler(mlflow_tags={"name": "MishaNotebook"}, 
     30                                  mlflow_parameters=mlflow_parameters)

2 frames
/content/undeepvo/criterion/spatial_photometric_consistency_loss.py in __init__(self, lambda_s, left_camera_matrix, right_camera_matrix, transform_from_left_to_right, window_size, reduction, max_val)
     17 
     18         self.l1_loss = torch.nn.L1Loss()
---> 19         self.SSIM_loss = kornia.losses.SSIM(window_size=self.window_size, reduction=self.reduction,
     20                                             max_val=self.max_val)
     21 

AttributeError: module 'kornia.losses' has no attribute 'SSIM'

monodepth2 data crop? data resize?

ConnectionError: HTTPConnectionPool(host='329801-ilinvalery.tmweb.ru', port=5001): Max retries exceeded with url: /api/2.0/mlflow/experiments/get-by-name?experiment_name=undeepvo (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7f8650e619e8>: Failed to establish a new connection: [Errno -2] Name or service not known',))

how to solve this issue

mistermap / undeepvo Goto Github PK

undeepvo's Issues

Recommend Projects

Recommend Topics

Recommend Org