Всем привет!
Мы выпустили новую статью — HandReader: набор архитектур для распознавания дактиля (англ. fingerspelling) 🚀 Это последовательный показа дактилем (букв из жестовой азбуки), который применяется в основном для слов, являющихся именами собственными.
В работе мы предлагаем универсальные решения для трёх модальностей:
- на основе RGB-кадров,
- на основе ключевых точек,
- и на их сочетании (multi-modal).

Все три варианта архитектур достигают SOTA-результатов на датасетах ChicagoFSWild и ChicagoFSWild+.
А ещё, поскольку до сих пор не существовало открытых данных по русскому дактилю, мы собрали и выкладываем первый в мире датасет — Znaki, содержаший более 1593 размеченных фраз и более 37 тыс. HD+ видео, который был собран глухими и слабослышащими людьми.

Почитать здесь:
📝 HandReader и Znaki — лучшая архитектура и самый большой набор данных для распознавания русского дактиля
📖 HandReader: Advanced Techniques for Efficient Fingerspelling Recognition