Однажды зайдя на sotabench (который почему-то лежит уже несколько дней), я решил глянуть на COCO и обнаружил статейку, которая прошла мимо меня: GCNet, 2019 год.
Что же в ней такого прикольного? Ну, во-первых, она быстрее MaskRCNN. Во-вторых, она ещё и имеет больше mAP (хотя и незначительно). В-третьих, раз уж это сотабэнч, результаты подтверждённые и есть код.
Авторы выделили паттерн для non-local блоков (первая картинка), он состоит из скип-коннекшена с веткой, состоящей из двух блоков: контекст-моделлинга и трансформации. На такую структуру хорошо ложатся NL-, SNL-, SE- и GC-блоки (на самом деле и ResNeSt, и ResNeXt блоки тоже, но если чуть-чуть ещё обобщить и сказать, что подобных путей может быть больше одного). Все мы знаем Squeeze and Excitation блок, но что же это за NL-, SNL- и GC-? Первый (non-local) идёт из NLNet (вторая картинка), последние два (simplified, non-local и global contex) предложили в этой статье. Упрощённый non-local на самом деле просто вместо двух свёрток keys и queries имеет одну (картинка три слева). А блок GC по сути добавляет в трансформацию, добавляет LayerNorm и ещё одну 1x1 свёртку (картинка три справа).
И всё, эта штука докидывает. Создаётся ощущение, что если проделать те же трюки с ResNeSt-блоком, то станет ещё круче, но надо пробовать.
#кратко #detection #Миша
Что же в ней такого прикольного? Ну, во-первых, она быстрее MaskRCNN. Во-вторых, она ещё и имеет больше mAP (хотя и незначительно). В-третьих, раз уж это сотабэнч, результаты подтверждённые и есть код.
Авторы выделили паттерн для non-local блоков (первая картинка), он состоит из скип-коннекшена с веткой, состоящей из двух блоков: контекст-моделлинга и трансформации. На такую структуру хорошо ложатся NL-, SNL-, SE- и GC-блоки (на самом деле и ResNeSt, и ResNeXt блоки тоже, но если чуть-чуть ещё обобщить и сказать, что подобных путей может быть больше одного). Все мы знаем Squeeze and Excitation блок, но что же это за NL-, SNL- и GC-? Первый (non-local) идёт из NLNet (вторая картинка), последние два (simplified, non-local и global contex) предложили в этой статье. Упрощённый non-local на самом деле просто вместо двух свёрток keys и queries имеет одну (картинка три слева). А блок GC по сути добавляет в трансформацию, добавляет LayerNorm и ещё одну 1x1 свёртку (картинка три справа).
И всё, эта штука докидывает. Создаётся ощущение, что если проделать те же трюки с ResNeSt-блоком, то станет ещё круче, но надо пробовать.
#кратко #detection #Миша