1
Rozpoznawanie konfiguracji dłoni w oparciu o modele 3D
Promotor: prof. Bogdan Kwolek
Temat
Temat
przygotowanie (udoskanalenie) modelu 3D dłoni
wyrenderowanie modelu w kilkunastu pozach
wykorzystaniu wyrenderowanych zdjeć do uczenia sieci
Rozpoznawanie dłoni
Wstęp
Zastosowanie
Zastosowanie
Obecne zbiory danych
Zbiory danych
https://youtu.be/Na4NDqmG3eQ
W praktyce...
2D czy 3D ?
Metody
Cel
Cel
Przygotowanie zbioru danych do rozpoznawania gestów dłoni - w szczególności JSL (Japanese Sign Language).
Obecnie dostępne bazy z gestami JSL są niewystarczające do efektywnego ich rozpoznawania za pomocą sieci neuronowych.
Jak pokazują artykuły naukowe, za pomocą małych zbiorów danych nie da się efektywnie nauczyć głębokich sieci neuronowych (CNN).
Tak aby dane można było zaimportować w zewnętrznych programach.
Japanese Sign Language
Japanese Sign Language
JSL - najpopularniejszy język migowy w Japonii
Typy:
- Yubimoji (Finger Spelling) - 1 znak : 1 dźwięk, używany głównie dla nietypowych / zapożyczonych wyrazów
- Kuusho (Air Writing) - używany do opisu Kanji (znaków)
- Kouwa (Mouthing) - czytanie z ruchu warg, mniej popularny
Hiragana - jeden z dwóch zapisów japońskiego alfabetu sylabicznego kana. Używa się jej do zapisu fonetycznego.
Obecnie w użytku jest 46 znaków.
ta be ru
Model 3D
Zadaniem jest więc:
- przygotowanie (udoskonalenie) modelu 3D dłoni
tak aby poprawić rozpoznawanie gestów
- wygenerowanie danych w kilkunastu pozach
Realizacja
Dziękuję za uwagę
Multiple usage
Actual models
My Solution
Hand gesture recognition
Japanese Sign Language
eat
taberu