tgoop.com/jdata_blog/433
Last Update:
Привет, друзья! Немного не техническое (хотя, кто знает) сегодня. Так как меня приняли ревьюить NeuroIPS workshop, и я провожу ревью на воркшопе такого уровня впервые, мне стало важно структурировать информацию — чем хорошее ревью на научную статью отличается от плохого. Делюсь:
Рецензия на любую работу для меня — это про комбинацию двух составляющих:
— Фильтр.
— Фидбэк.
Фильтрация — это про "оценить работу, оценить усилия на эту работу, провалидировать результат работы и вынести вердикт".
Фидбэк — это про "рассказать, что хорошо, что плохо" и по возможности "как сделать лучше".
Это, с одной стороны, задает ревьюируемому направления для роста, а с другой — формирует сообщество — что является хорошей работой, а что — нет.
Я аггрегировала несколько guidelines и вынесла не совсем очевидные мысли.
Прежде всего, какой-то шаблон ревью — это никогда не проблема, так как у конференций бывают свои гайды про ревью. Но за пределами гайдов, я выделила для себя такие пункты:
1. Помощь. Мне понравилась мысль отсюда, что цель ревью — это помощь. Соответственно результат ревью должен помогать коллеге понять, почему он молодец или почему он не молодец.
2. TLDR. Для проверки своего понимания работы, полезно сделать свой TLDR работы. Потому что когда не понимаешь, то видишь ошибки там, где их нет.
3. Questions. Если в работе есть слабые или слепые места, которые при том не объяснены, то их стоит не только констатировать как факт, но и задавать в виде вопросов. При этом, мне нравится принцип actionable вопросов и замечаний (с возможностью исправить). Не «текст написан плохо», а «стоит уточнить различие с работой X» или «пояснить выбор параметра λ».
4. Хвали-ругай. Даже если статья слабая — указывать сильные стороны. Это показывает, что работа прочитана внимательно. Любая статья (да даже домашка на курсах/в магистратуре) — это как правило львиная работа. И если после неё только "дали по шапке", то можно живо отбить мотивацию делать что-то дальше.
Я — огромный хейтер плохих фидбеков, потому что обычно вкладываю в работу силы, душу, сон, почки и вот это всё. Так как я человек чувствительный, то оценка в две строки (особенно плохая) — это плевок.
В то же время я стараюсь помнить и другую сторону: у проверяющего может быть десяток статей, дедлайн поджимает, времени мало, оплата символическая. Всех можно понять.
Поэтому выбрала для себя такой подход: просто делать ревью максимально хорошо сама. И надеяться, что это станет нормой — и остальные тоже будут подтягиваться.
Надеюсь, этот пост и вам поможет при проверке чьей либо работы!
Хорошее умножает хорошее, и мне хочется в это верить :)