Preludium 13 MS

Grant NCN Preludium

Preludium 13 MS

scientific project

Wykorzystanie danych głębi do korekcji perspektywy w deskryptorach RGB

Start: March 2018
Finish: March 2021
Principal Investigator: Maciej Stefańczyk,

List of selected publications:

M. Stefańczyk and T. Bocheński
Mixing deep learning with classical vision for object recognition
Journal of WSCG, vol. 28, no. 1–2, pp. 147–154, 2020
[ BIB | DOI | abstract ]
```
@article{stefanczyk2020mixing,
  author = {Stefańczyk, Maciej and Bocheński, Tomasz},
  title = {Mixing deep learning with classical vision for object recognition},
  journal = {Journal of WSCG},
  volume = {28},
  number = {1-2},
  pages = {147-154},
  year = {2020},
  projects = {PreludiumMS},
  doi = {10.24132/JWSCG.2020.28.18}
}
```
Nowadays, when one needs a system for image recognition, it is mostly a matter of finding pre-trained CNN and, sometimes, adding additional training based on transferred knowledge. Accurate 6-DOF object localization in the image is a more laborious task and requires more complex training data to be available. On the other hand, if we know the model of the object, it is straightforward to acquire its pose from the image (RGB or RGB-D). In this paper, we try to show the advantages of mixing deep learning object recognition/detection with classical 6-DOF pose estimation algorithms, with a focus on applications in service robotics.

M. Stefańczyk, D. Seredyński, and M. Węgierek

Handcrafted features for CNN – is it worth it?

in Polskie Porozumienie na Rzecz Rozwoju Sztucznej Inteligencji PP-RAI’2019 Conference Proceedings, 2019, pp. 146–149

[ BIB | URL ]

@inproceedings{stefanczyk:2019-pprai-twiki,
  author = {Stefańczyk, Maciej and Seredyński, Dawid and Węgierek, Maciej},
  booktitle = {{Polskie Porozumienie na Rzecz Rozwoju Sztucznej Inteligencji PP-RAI'2019 Conference Proceedings}},
  title = {Handcrafted features for CNN -- is it worth it?},
  year = {2019},
  pages = {146-149},
  projects = {PreludiumMS},
  twiki = {article},
  url = {http://gitlab-stud.elka.pw.edu.pl/robotyka/rpmpg_pubs/-/raw/main/2019/stefanczyk_pprai.pdf}
}

M. Stefańczyk
Improving RGB descriptors using depth cues
in Computer Vision and Graphics, 2018, vol. 11114, pp. 251–262
[ BIB | DOI | abstract | URL ]
```
@inproceedings{stefanczyk2018improving-twiki,
  author = {Stefańczyk, Maciej},
  booktitle = {Computer Vision and Graphics},
  title = {Improving {RGB} descriptors using depth cues},
  year = {2018},
  volume = {11114},
  series = {Lecture Notes in Computer Science},
  pages = {251--262},
  publisher = {Springer International Publishing},
  doi = {10.1007/978-3-030-00692-1_22},
  url = {http://gitlab-stud.elka.pw.edu.pl/robotyka/rpmpg_pubs/-/raw/main/2018/stefanczyk2018improving.pdf},
  affiliation = {Institute of Control and Computation Engineering, Warsaw University of Technology, Nowowiejska 15/19, 00-665 Warsaw, Poland},
  twiki = {article},
  projects = {PreludiumMS}
}
```
Geometrical distortions are tackled in different way in multiple keypoint detection and feature extraction algorithms. However, those are implemented as an integral part of the solution, making it impossible to use the same distortion removal method in other solutions. To the best of authors knowledge, there are no universal methods of distortion removal, that can be used as an intermediate step, between keypoint detection and feature extraction. Creating that kind of algorithm, instead of development of yet another ‘robust descriptor’, will enable seamless integration in existing applications, and, possibly, will increase object recognition success rate, independent of the selected keypoint detector/descriptor pair.
M. Stefańczyk
Wykorzystanie informacji o głębi w celu poprawy jakości deskryptorów RGB
in XV Krajowa Konferencja Robotyki – Postępy robotyki, 2018, vol. 1, p. xx
[ BIB | abstract | URL ]
```
@inproceedings{stefanczyk18wykorzystanie-twiki,
  author = {Stefańczyk, Maciej},
  booktitle = {XV Krajowa Konferencja Robotyki -- Postępy robotyki},
  title = {{Wykorzystanie informacji o głębi w celu poprawy jakości deskryptorów RGB}},
  year = {2018},
  pages = {xx},
  volume = {1},
  conference = {kkr15},
  projects = {PreludiumMS},
  lang = {pl},
  twiki = {inbook},
  url = {http://gitlab-stud.elka.pw.edu.pl/robotyka/rpmpg_pubs/-/raw/main/2018/stefanczyk2018wykorzystanie.pdf}
}
```
Problem zniekształceń geometrycznych obrazu jest rozwiązywany mniej lub bardziej skutecznie w istniejących detektorach i deskryptorach punktów kluczowych. Rozwiązania te są jednak zaszyte jako integralna część algorytmów, często uniemożliwiając ich wykorzystanie w innych zastosowaniach. Analiza literatury i dotychczasowych rozwiązań pozwala stwierdzić, że nie stworzono do tej pory rozwiązania, które mogłoby być uniwersalne i stosowane jako krok pośredni korekcji, pomiędzy detekcją punktów kluczowych a obliczeniem ich deskryptorów. Stworzenie tego typu algorytmu, w przeciwieństwie do kolejnego, ,,jeszcze lepszego” deskryptora, pozwoli na łatwą integrację w istniejących zastosowaniach, niezależnie od wybranego zestawu detektor/deskryptor.