Скоро станет известно имя лауреата Нобелевской премии по экономике. Как вы думаете, кто получит награду?

• Джанет Карри (экономический анализ детского развития) - 6
👍👍👍 17%
• Парта Дасгупта (интеграция природы и её ресурсов в экономику) - 5
👍👍👍 14%
• Паоло Мауро (влияние коррупции на инвестиции и экономический рост) - 7
👍👍👍👍 20%
• Другой ученый (ваш вариант в комментариях) - 17
👍👍👍👍👍👍👍👍 49%
👥 35 человек уже проголосовало.

🏆 Дарон Аджемоглу, Саймон Джонсон и Джеймс А. Робинсон — за исследование того, как формируются институты и как они влияют на благосостояние.

​Большие языковые модели в наукометрии, или зачем нам SciBERT

Не все научные публикации одинаковы с точки зрения их влияния на социальную реальность. Нередко показатель цитируемости и импакт-фактор журнала дают нам некоторое представление о том, насколько серьезная работа перед нами, однако даже недавний пример с сетью взаимосвязей между первыми работами, которые цитируют статью Хопфилда о нейронных сетях, показывает, что одной только высокой цитируемости недостаточно: например, работы уже второго «поколения» цитирований получали в разы больше внимания, чем изначальный труд. Кроме того, не секрет, что в отдельных областях большее внимание привлекают обзоры по научным областям: обычно они цитируются довольно активно, поскольку обобщают информацию по какой-либо тематике, но в то же время не каждый обзор представляет из себя что-то большее, чем простое фиксирование текущего положения дел.

В сентябре Scientometrics опубликовали статью китайских исследователей, в которой описывается метод интеллектуального распознавания высококачественных научных работ на основе метасемантических сетей, задействующих deep learning и LLM-технологии. Раньше это было практически нереализуемой задачей: методы оценки научных статей ограничивались качественным (на основе рецензирования) и количественным (на основе библиометрических показателей) подходами. Недостатки этих методов хорошо изучены — в первом случае это проблемы с воспроизводимостью, неполнота знаний у рецензентов и возможный конфликт интересов, а во втором — временной лаг и разная чувствительность показателей, которая неизбежно влияет на финальную оценку.

Авторы предлагают новый подход к определению качества научной статьи как взвешенной суммы импакт-фактора журнала и средневзвешенной цитируемости статьи, где веса определяются методом информационной энтропии, а потом для «высококачественных» и «низкокачественных» работ строится упомянутая метасемантическая сеть на основе известной языковой модели SciBERT (одна из вариаций еще более широко известной модели BERT от Google). Таким образом, в перспективе это позволит измерять качество статей напрямую по их содержанию, без временного лага.

Кстати, еще одну вариацию BERT (SPS-BERT) уже другой исследовательский коллектив использовал для прогнозирования появления прорывных технологий. Согласно их результатам, этот метод позволяет предсказать индекс прорыва (о котором мы писали ранее) точнее, чем все прочие существующие методы. По крайней мере, на наборах данных DBLP и PubMed.

LLM вообще приобретают всё большую популярность в нашей среде. Тот же Scientometrics в сентябре опубликовал call for papers по теме «искусственный интеллект в наукометрии» (подача заявок до 28 февраля 2025 года).

Оставляя в стороне многократно обсуждаемые вопросы этичности использования инструментов ИИ в различных сферах, мы можем сказать, что перспективы их использования в сфере наукометрии скорее радуют. Языковые модели открывают широкий простор для совершенно новых исследований и выводов, а кроме того, предлагают принципиально иные подходы к оценке научных исследований.

#LLM #обзор #SciBERT

Международная неделя открытого доступа

Стартует Международная неделя открытого доступа 2024. Более ста мероприятий, объединенных идеей свободного распространения научных знаний, пройдут по всему миру с 21 по 24 октября в очном, онлайн и гибридном форматах. Мероприятие организовано Коалицией академических ресурсов и научных изданий (Scholarly Publishing and Academic Resources Coalition) и Консультативным комитетом Недели открытого доступа.

Ведущая тема этого года — «Сообщество выше коммерциализации» (Community over Commercialization) поддерживает основную идею Международной недели открытого доступа 2023 года. Серия встреч посвящена продвижению разноплановых подходов к открытой науке, отвечающих интересам как академического сообщества, так и широкой общественности. Развитие одной и той же темы второй год подряд подчеркивает острую необходимость плодотворной дискуссии и перехода от намерений к действиям.

В круг обсуждаемых в течение Недели тем входят:

• последствия контроля производства знаний крупными компаниями;

• издержки бизнес-моделей, усугубляющих неравенство;

• использование персональных данных коммерческими платформами;

• воспроизводимость исследований;

• краудсорсинговые данные и Wikimedia;

• внедрение инструментов искусственного интеллекта в науку;

• развитие инфраструктур открытого доступа (серверы препринтов, репозитории и открытые издательские платформы);

• авторское право.

Кстати, серию вебинаров «7 шагов к открытой науке» в рамках Международной недели открытого доступа проведут представители Государственной публичной научно-технической библиотеки Сибирского отделения Российской академии наук. Любой желающий может поучаствовать в обсуждениях и поделиться своим взглядом на преимущества и недостатки открытого доступа. 

#OAweek #Неделяоткрытогодоступа #OpenAccess

Оценка влияния внедрения ИИ в науку

Быстрое развитие искусственного интеллекта (ИИ) затрагивает практически все сферы. Неудивительно, что применение ИИ всё чаще встречается в науке, о чем свидетельствует неумолимо растущее (особенно с 2015 года) количество упоминаний терминов этой сферы в заголовках и аннотациях статей. На днях в Nature Human Behaviour вышла статья, авторы которой подвергли количественной оценке использование и потенциальные преимущества ИИ в научных исследованиях.

Исследователи из Северо-Западного университета (Northwestern University) сопоставили данные более 74 миллионов публикаций с 1960 по 2019 год из Microsoft Academic Graph, охватывающих 19 дисциплин и 292 области, с данными о чуть более 7 миллионах патентов, выданных в период с 1976 по 2019 год Ведомством по патентным и товарным знакам США (USPTO), что позволило проанализировать практическое применение ИИ в научных исследованиях. Также авторы проанализировали встречаемость терминов ИИ в заголовках и аннотациях статей.

Основные результаты работы сводятся к следующему:

• упоминание ИИ в статьях повышает их цитируемость как внутри своей области, так и за ее пределами;

• почти каждая дисциплина включает в себя некоторые области, которые видят потенциал в применении ИИ (см. рис.);

• междисциплинарное сотрудничество способствует стремительному развитию использования ИИ в науке;

• есть разрыв между применением ИИ и обучением ИИ (спрос превышает предложение);

• ИИ может усугубить существующее неравенство в науке (например, демографическое и гендерное).

Искусственный интеллект как открывает новые исследовательские пути, так и является источником неразрешимых проблем, например, этических. Цифровизация и внедрение инструментов ИИ в науку вынуждают трансформировать и переосмыслять традиционные академические форматы, ресурсы и практики.

Кстати, завтра, 23 октября в 16:00, Центр научной интеграции НИУ ВШЭ проведет вебинар с элементами тренинга «Ученый в эпоху перемен: ключевые навыки для построения академической карьеры», на котором среди прочего будет затронута тема влияния глобальных изменений последних 5 лет на деятельность ученого, а также будет поднят вопрос развития необходимых навыков для построения академической карьеры в нестабильное время.

Формат вебинара предполагает взаимодействие. В рамках тренинга будет возможность познакомиться с исследователями из научных и образовательных организаций, а также поделиться своим опытом развития в академической среде. Регистрация доступа по ссылке.

#Искусственныйинтеллект #Центрнаучнойинтеграции
#ИИ #MAG

Влияет ли Википедия на науку?

Википедия была запущена в 2001 году, и уже по состоянию на 2023 год включала в себя более 55 миллионов статей примерно на 300 языках с охватом 400 млн уникальных посетителей в месяц.

В академической сфере, как правило, не принято ссылаться на статьи из Википедии в публикуемых работах, так как в отличие от традиционных энциклопедий, материалы в которых тщательно проверены экспертами, информация, опубликованная в Википедии зависит от «мудрости толпы» (wisdom of the crowds). Несмотря на это некоторые исследователи утверждают, что свободная энциклопедия все же имеет заметное влияние на формирование научного ландшафта.

Например, результаты рандомизированного контролируемого испытания, проведенного несколько лет назад, показали, что исследователи предпочитают использовать в своих научных статьях выражения и цитаты, встречаемые на страницах Википедии, т.е. статья в Википедии может влиять на то, как ученые пишут о предмете в своих собственных исследованиях.

Хотя энциклопедии в целом не всегда активно цитируются в научных статьях, результаты анализа цитирований двух краудсорсинговых и двух экспертных энциклопедий (Wikipedia, Britannica, Baidu Baike и Scholarpedia) показали, что Википедия — наиболее цитируемая энциклопедия из представленных. Так, на свободную энциклопедию ссылались в 141 991 документе Scopus (с 2002 по 2020 г.), в то время как на Британскую энциклопедию (Britannica) — в 15 929 (с 2002 по 2020 г.), на Энциклопедию Байду (Baidu Baike) — в 2934 (с 2007 по 2020 г.) и на Scholarpedia — в 8399 (с 2007 по 2020 г.).

Несмотря на то, что Википедия многоязычна, её больше читают и цитируют на английском языке (95 % всех цитирований). Чаще всего ссылаются на Википедию в США (26 % от числа всех упоминаний), далее следуют Китай (12 %), Индия (11 %), Великобритания (6 %) и Германия (4 %).

Также в последнее время растет интерес к Википедии как к объекту исследования. Результаты недавнего анализа научных статей, индексируемых в WoS с 2001 г. по 2021 г., показывают, что количество упоминаний слов 'wikipedia' и 'wiki' в заголовках, аннотациях и ключевых словах статей растет примерно на 10 % в год. А исследования, посвященные Википедии, публикуют такие журналы, как PloS ONE, Journal of the Association for Information Science and Technology, Journal of the Association for Information Science and Technology, IEEE Access и Information Processing and Management.

Кроме того, публикация научной статьи в качестве источника на Википедии значительно повышает видимость исследования, из-за чего издатели (например, Wiley) начали открывать каталоги своих публикаций для проверенных редакторов, что способствует повышению уровня доверия к опубликованной в энциклопедии информации.

Традиционно также обратим внимание и на OpenAlex, целый топик которого посвящен кластеру работ, фокусирующихся на коллаборациях и динамике взаимодействия сообщества в контексте Wiki (более 27 тысяч публикаций с 188 тысячами цитирований). И это не считая работ с указанием аффилиации Wikimedia Foundation.

Википедия пусть и не всегда явно, но все же оказывает влияние на научное поле. Она способствует открытому распространению научного знания и её несомненный вклад заключается в уменьшении неравенства в получении свободного доступа к нему, что особенно существенно в контексте завершающейся Международной недели открытого доступа.

#Wikipedia #Википедия #OpenAlex #Цитирования

Дайджест: октябрь 2024

Представляем дайджест научных событий за последний месяц.

Новости AI

• В блоге LSE вышла заметка о незащищенности Google Scholar от растущего количества публикаций, созданных с помощью ИИ. Авторы призывают к использованию альтернатив: The Lens, Matilda и, конечно же, OpenAlex.

• Там же анонсировали и Prolific — платформу для поддержки исследовательских интервью, проводимых при помощи больших языковых моделей (LLM). Интересно будет оценить влияние инструмента на увеличение числа качественных исследований, ожидаем рост библиометрических исследований в этой области.

• Google представил невидимый «водяной знак» для текстов, сгенерированных ИИ. Надеемся, что подобные инициативы помогут быстрее выявлять автоматически сгенерированный текст и в научных публикациях.

Нобелевская неделя

• Подведены итоги Нобелевской недели 2024 года, о которой мы много писали. Особенное внимание привлекли Нобелевская премия по физике, присужденная за пионерские исследования искусственного интеллекта, а также Нобелевская премия по химии, врученная за разработку алгоритма машинного обучения для предсказания строения белков.

• В этому году Citation Laureates от Clarivate удалось предсказать 8 лауреатов Нобелевской премии.

Научные мероприятия

• Более 100 мероприятий, объединенных идеей открытого доступа и темой «Сообщество выше коммерциализации», прошли в рамках ежегодной недели Международного открытого доступа 2024.

• Программный комитет ежегодного собрания Общества научных публикаций (SSP) анонсировал тему встречи 2025 года: «Переосмысление будущего научных публикаций на стыке стоимости и ценностей». Прием заявок открыт до 4 ноября.

• Сегодня также состоится доклад о конфликте интересов между авторами статей и их редакторами. На массиве из полумиллиона публикаций исследователю удалось проследить, как конфликт интересов влияет на публикационные стратегии журналов. Успеть зарегистрироваться можно по ссылке

Издательская политика

• Silverchair приобрел у Clarivate набор продуктов под брендом ScholarOne, которые рассчитаны на помощь издателям в подготовке статей к публикации. Сделка подтверждает, что сейчас Clarivate ориентируется на сотрудничество с академическими и государственными учреждениям, а не издательствами.

• В Science вышла заметка о неоднозначной оценке усилий Plan S по обеспечению открытого доступа.

Научная этика

• В конце прошлого месяца в Web of Science заявили о приостановке индексации мегажурналов Cureus и Heliyon, из-за опасений насчет качества публикуемых статей.

• А совсем недавно WoS приостановил индексацию новых материалов из журнала eLife, ссылаясь на необычную практику журнала публиковать статьи вместе с отзывами рецензентов, при этом не принимая и не отклоняя их.

• Коллеги с Факультета экономических наук отмечают, что в Nature вышла заметка об инструменте Argos от компании Scitility, который определяет потенциально недобросовестные исследования. К началу октября Argos отметил более 40 000 публикаций как статьи «с высоким риском» и 180 000 — «со средним риском».

Рейтинги и базы

• Издание Times Higher Education опубликовало рейтинг World University Rankings 2025. В рейтинг вошло 2092 вуза из 115 стран, из которых 81 — российский, однако ни один из них не вошел в топ-100.

• CWTS Leiden опубликовал рейтинг университетов мира Leiden Ranking Open Edition 2024. По числу работ в топ 10% наиболее цитируемых первое место у МГУ, а второе — у Вышки.

• Глава RAEX высказался о необходимости создания рейтинга университетов стран БРИКС как альтернативы QS и THE. Кстати, такой пилотный рейтинг был опубликован в рамках проекта «Три миссии университета».

• Министр В. Фальков рассказал об инициативе по созданию единой наукометрической базы данных для стран БРИКС. Пока неясно, чем данная инициатива будет принципиально отличаться от схожих идей, активно продвигаемых в последнее время, и существующих открытых баз данных.

#дайджест #новости #базыданных #наукавроссии #редакторскаяполитика #искуственныйинтеллект

Оценка экономической ценности открытого доступа: взгляд пользователей

Общественное мнение относительно преимуществ и недостатков открытого доступа к исследовательским данным нередко балансирует между полярными точками зрения. С одной стороны, инвестиции в открытый доступ могут восприниматься как напрасные расходы, а сама дискуссия о его важности может смещать фокус с поддержки исследований на развитие инфраструктуры для распространения научного знания. С другой стороны, поддержка открытого доступа воспринимается многими как естественный способ ускорения научного прогресса, что в свою очередь влияет на реализацию различных проектов и повышает ценность таких инвестиций. Именно поэтому в последнее время интерес к оценке открытого доступа расширяется не только с точки зрения наукометрического анализа, но и с позиции измерения экономического эффекта отдачи.

Исследователи из Оксфордского центра биомедицинских исследований и Национальной научной библиотекой Китая, в недавно опубликованной в Research Evaluation работе выяснили, как сами потребители открытого доступа (обычные пользователи, не издательства и компании) оценивают его экономическую пользу.

Опираясь на метод условной оценки (Contingent Valuation Method), ученые проанализировали пользовательские стратегии взаимодействия с бесплатной платформой открытых данных Национального центра данных фундаментальной науки (NBSDC, Китай).

Результаты опроса (всего 322 участника) помогли прояснить пользовательскую вовлеченность в среду БД на разных уровнях (цели и частота посещений, значимость площадки). Все опрашиваемые так или иначе были вовлечены в академическую сферу и занимались исследованиями и/или преподаванием, большинство (74 %) было связано с научно-исследовательскими учреждениями, остальные — с университетами.

В общей сложности 85 % респондентов указали, что экономическая выгода, создаваемая для них платформой, является «значимой» или «очень значимой», 12 % оценили её как «нейтральную», а 1 % как «низкую».

Перейдя к измерениям экономической «стоимости» платформы открытого доступа, исследователи определили, что основные возможные источники ее ценообразования (т.е. то, за что пользователь может потенциально заплатить) — это:

•просмотры (чтение статей, посещение сайта);

•запросы доступа;

•загрузки;

•периодическая подписка (ежемесячная и ежегодная).

Пользователям было предложено оценить эти критерии как со стороны предоставляемой личной экономической выгоды, так и со стороны готовности за эту выгоду платить.

Согласно результатам, наиболее ценным для пользователей оказались просмотры (33 %), затем загрузка данных (16 %) и запросы к ним (13 %). Кроме того, предпочтение было отдано годовой подписке (25 %), а не ежемесячной (14 %). Однако когда речь зашла о реальной готовности платить за использование данных, на первое место вышли загрузки (27 %), а не просмотры (15 %) и запросы (11 %), а вот отношение к годовой (36 %) и ежемесячной (11 %) подпискам приблизительно соответствовало первоначальной оценке ценности подобного вида доступа.

На основе ответов авторы определили стоимость за просмотр, загрузку, запрос и подписку на данные. Исходя из общего количества просмотров на площадке (по состоянию на 2023 год — 33 млн), стоимость NBSDC составила около 165 млн юаней (более 23 млн долларов), а готовность пользователей платить — порядка 66 млн юаней (9 млн долларов).

Таким образом, пользовательское желание платить оказалось приблизительно в 2,5 раза ниже, чем пользовательская оценка значимости открытого доступа. Тем не менее полученный результат, по мнению авторов, является важным аргументом в пользу дальнейшего развития открытого доступа и непосредственно влияет на реализацию стратегий научной политики. Открытый доступ обладает не только неосязаемой научной, но и существенной экономической ценностью, что может послужить дальнейшим стимулом для его поддержки и развития во многих странах, включая Россию.

#OpenAccess #Открытыеданные #обзор #экономическаяоценкаданных

Фестиваль науки «Республика ученых»

В доцифровую эпоху переписка заменяла ученым дискуссионную площадку, на которой они делились открытиями, критиковали идеи друг друга и обсуждали новые интеллектуальные течения. Культура научных журналов еще не была развита, поэтому письма (наряду с книгами) были основным источником информации.

Применив метод со-цитирования к письмам, Паоло Россини (Paolo Rossini), постдок Роттердамского университета Эразма, проанализировал сеть связей между крупнейшими учеными XVII века. Результаты опубликованы в Digital Scholarship in the Humanities.

Автор проанализировал переписки крупнейших исследователей, хранящиеся на ePistolarium.
Коллекция базы данных насчитывает более 20 000 писем ученых, которые родились или жили в Республике Соединённых провинций в XVII веке, т.е. в период расцвета и заката Республики ученых.

Используя подход известный как «разграничение полей» (field delineation) в картировании науки Паоло Россини определил группу наиболее часто упоминаемых ученых (30 авторов) и проанализировал их письма (3409 источников с 1623 по 1697 гг.).

Ученые были разделены на две группы: крупнейшие отправители и наиболее часто упоминаемые лица. Согласно результатам, 7 из 10 крупнейших отправителей — математики. Предположительно, это связано с тем, что в тот период математика охватывала несколько дисциплин (квадривиум). Наиболее упоминаемые лица — Рене Декарт (304 упоминания) и Блез Паскаль (228). Самый плодовитый автор в корпусе — Христиан Гюйгенс (1083 письма), для сравнения: за ним следует Декарт, которому принадлежат 280 писем.

Автор разделил анализируемый период на три этапа, что позволило провести продольный анализ интеллектуального ландшафта.

В первом рассматриваемом периоде (1623 – 1644) прослеживаются 3 сообщества:

• «соперники» Декарта;

• «сторонники» Декарта;

• представители гелиоцентрической астрономии.

Т.е. научный дискурс в тот период находился под влиянием Декарта (подъем картезианства) и идей гелиоцентризма. Примечательно, что картезианство приводит к разделению сети, в то время как гелиоцентризм действует как объединяющая сила, предотвращающая ее фрагментацию.

Во втором периоде (1645 – 1665) образовалось 4 сообщества:

• «соперники» и «сторонники» Декарта;

• ученые Лондонского королевского общества;

• две отдельные группы астрономов, разделенные по принципу разрыва поколений.

Во второй половине XVII века картезианство потеряло свое значение. Дискуссии вокруг идей Декарта ограничились группой экспертов, в то время как широкое научное сообщество проявляло интерес к астрономии. Наконец, появление Лондонского королевского общества ознаменовало новый виток в интеллектуальной жизни, характеризующийся приверженностью принципам экспериментальной науки.

Третий период (1666 – 1687) характеризовался сменой ролей в сообществе (см. рис.). Так, Декарт и Галилей, когда-то занимавшие центральное место в отдельных сообществах, стали обладать равным влиянием в одной группе. Астрономы тоже объединились в одну группу, находящуюся под влиянием членства Кассини и Гевелия в престижных научных учреждениях. В то же время появление Французской академии наук и Лондонского королевского общества поляризовало научный дискурс.

Анализ со-цитирования в сочетании с лонгитюдным подходом позволяет получить представление об эволюции научного дискурса и проследить как ученые, которые когда-то определяли идентичность целых сообществ, оказываются «иконами прошлого», как темы дискуссий набирают и теряют популярность, и как важные события формируют интеллектуальный мир и влияют на него.

Кстати, завтра, 8 октября, в Вышке пройдет фестиваль науки «Республика ученых». Площадка мероприятия предоставит возможность пригласить студентов в свои проекты и найти соавторов для исследований. На встрече будут представители факультетов, научных подразделений и студенческих научных объединений. Участниками фестиваля будем и мы, так что ждем всех желающих познакомиться лично!

#Фестивальнауки #Республикаученых #социтирование

CoARA vs ISSI: подходы к оценке публикаций

Не так давно, в сентябре, мы уже касались дискуссии о подходе к оценке публикаций: какие факторы следует учитывать при определении ценности научной работы, можно ли полагаться только на объективные количественные критерии или следует каким-то образом принимать во внимание дальнейшее научное и социальное влияние исследование?

Сегодня мы решили чуть больше рассказать об инициативе CoARA и ее критике. CoARA, или Коалиция по развитию оценки исследований, была основана в 2022 г., а в июле того же года был опубликован программный документ: Соглашение о реформировании оценки научных исследований, которое предполагает признание широкого спектра практик, видов деятельности и профессиональных траекторий в научно-исследовательской среде, а также активно продвигает включение качественных контрольных показателей в оценку научной работы одновременно со снижением влияния зависимости от показателей, основанных на количественных метриках. На 15 октября 2024 г. соглашение подписали 796 учреждений, включая государственные и частные университеты, институты и другие организации, которые имеют отношение к научной оценке. После подписания и вступления в Коалицию организация может принять участие в одной или нескольких рабочих группах (всего их 13).

Однако в статье Джованни Абрамо, президента ISSI, инициатива критикуется достаточно подробно. Во-первых, Коалиция была сформирована без участия ISSI (Международного общества наукометрии и инфометрии). Возможно, у учредителей CoARA возникли сомнения в использования количественного подхода со стороны ISSI, однако специалисты по наукометрии хорошо знают, в каких обстоятельствах следует применять метрики, а в каких — использовать экспертную оценку. Основной проблемой являются не сами метрики, а их применение без экспертных навыков.

Впрочем, одна их рабочих групп Коалиции так и называется «Ответственные показатели и индикаторы». Абрамо справедливо отмечает, что «ответственного» отношения мало, чтобы правильно использовать наукометрические инструменты, но, в целом, подходы в этом плане у них похожие.

Во-вторых, CoARA рассматривает рецензирование как основной метод оценки, поэтому сосредотачивается на оценке качества результата. Наукометрические методы, напротив, измеряют последующее влияние (различные показатели, связанные с цитируемостью), которое, разумеется, ни один рецензент предсказать не может. Кроме того, следует учитывать издержки рецензирования. В 2020 году рецензенты по всему миру потратили на рецензирование более 100 миллионов часов (более 10 тысяч лет!), а оценочная стоимость времени составляет $1,5 млрд в США, $600 млн в Китае и $400 млн в Великобритании (Aczel et al.).

Один из самых важных вопросов и наиболее ключевых отличий между позициями CoARA и Абрамо заключается в том, кто должен выбирать методы и индикаторы оценки — эксперты или пользователи? Разработчики политики CoARA выступают за пользователя, однако Абрамо вполне обоснованно на стороне экспертов-профессионалов.

Итак, Абрамо предлагает сохранить в качестве центрального элемента научной оценки количественные методы, применяемые к индексируемым работам, подчеркивая при этом, что у них есть сильные и слабые стороны. В заключении он поднимает другой вопрос: почему так широко распространились сомнения по поводу использования текущих наукометрических показателей? Возможно, это связано с тем, что ключевые идеи наукометрического сообщества игнорируются либо трактуются неверно. И именно в этом ключе следует прилагать дальнейшие усилия.

#обзор #рецензирование #экспертныеоценки #CoARA #ISSI

​Dateno: первые опыты

Современная наука во многом построена на больших массивах данных, доступ к которым можно получить через репозитории, однако инструментов, позволяющих осуществлять поиск сразу по нескольким из них не так много. Так, Google Dataset Search выглядит подходящим инструментом, но исследователи, для которых предметом изучения являются сами данные, сталкиваются с ограничениями по автоматизации их получения.

Мы давно обратили внимание на проект Dateno (команда под руководством Ивана Бегтина), о котором упоминали в мартовском дайджесте. На сегодняшний день Dateno содержит информацию о 19 миллионах датасетов, но самое главное - имеет достаточно понятный и удобный API-интерфейс, с которым мы и решили, наконец, попробовать поработать.

Простая инструкция с примером очень хорошо описана в телеграм-канале И. Бегтина: пользователь регистрируется, получает токен, а дальше применение API возможно как напрямую из браузерной строки, так и через консольный инструмент, скрипт Python/R и т.д.

Зарегистрировавшись, мы сразу запросили данные о датасетах, в заголовке которых есть слово "scientometric*". Таких нашлось 92. Всего включено 35 параметров, в том числе данные о самих датасетах (название, ссылка, тематика, описание, формат и др.) и об источниках этих датасетов (название и тип каталога, название и тип его владельца, страна, язык и прочее).

Конкретно по нашей тематике данные размечены не полностью — например, лицензия указана всего для 10 датасетов из 92, тематика — для 16, а макрорегион — для 33. Подавляющее большинство наборов данных (56) принадлежит Европейскому Союзу, а вот в США их всего 17. Самые распространенные форматы .tsv и .txt (по 13). Датасетов в формате .json, к нашему удивлению, всего 2.

В целом, Dateno оказался действительно удобным инструментом, как с точки зрения технической доступности (открытый API есть у немногих репозиториев), так и с точки зрения покрытия данных. Предлагаем поделиться своим опытом использования Dateno в комментариях.

#dateno #датасеты #открытыеданные

​Оценка социального влияния книг

Наукометрия исторически сталкивается с трудностями при оценке и изучении гуманитарных дисциплин, так как наукометрические индикаторы и метрики были разработаны на основе коммуникативных практик в сфере естественных наук. В связи с этим в последнее время поднимается вопрос о включении индикаторов социального влияния в исследовательские оценки. Например, инициативу активно продвигают AESIS (Network for Advancing and Evaluating the Societal Impact of Science) и Research Excellence Framework, уже включающая такой индикатор в качестве одного из своих критериев оценки.

В социальных и гуманитарных науках (Social Sciences and Humanities) результаты исследований часто представлены в книгах, а не статьях. Привычный анализ цитирования больше подходит для статей, поэтому в качестве альтернативного метода оценки книг применяют libcitation (число библиотек, хранящих данную книгу, согласно национальному или международному сводному каталогу). Такой метод позволяет оценить «интуитивное представление о популярности», т.е. влияние, выходящее за рамки научного.

Недавно исследователи из Бельгии проанализировали книги, написанные учеными, изучающими социальные и гуманитарные науки. В своей работе они уделили основное внимание книжным фондам в публичных и научных библиотеках. Результаты работы опубликованы в Journal of the Association for Information Science and Technology (JASIST).

Для изучения локального влияния книг авторы собрали список ISBN из Фламандской академической библиографической базы данных по общественным и гуманитарным наукам (VABB). На момент сбора данных (2022 год) БД охватывала 240 301 публикаций (с 2000 по 2019 год), из которых 46 641 содержали ISBN. Эти данные впоследствии были сопоставлены с каталогами UniCat (каталог 90 научных библиотек) и Cultuurconnect (каталог 854 фламандских публичных библиотек).

Согласно результатам исследования, большинство книг из выборки хранятся в научных библиотеках (54,7%), а в публичных содержится меньшая часть (18,5%). Почти все книги представлены в печатном формате (94,7%). 51,9% всех книг представлены на английском языке, из них 46% включены в каталоги научных библиотек, а оставшиеся 5% относятся к публичным.

Из полученного массива авторы выделили книги, входящие в топ цитирований (top1percent), т.е. книги, обладающие высокой видимостью и широкой потенциальной аудиторией, и, следовательно, самыми высокими показателями фондов в публичных (69 книг) и научных (255 книг) библиотеках.

Литература в публичных библиотеках почти полностью представлена на нидерландском языке. Высоко оцененные в этом типе библиотек книги нацелены на широкую аудиторию (например, научно-популярная литература). Следует отметить, что только несколько книг набрали высокие баллы libcitation в обоих видах библиотек: словари и справочники, а также 3 книги, написанные популяризаторами науки.

Публичные библиотеки привлекают более разнообразную аудиторию, в отличие от научных библиотек, которые нацелены на представителей академической среды. Таким образом, книги из каталога публичной библиотеки с большей вероятностью окажут прямое социальное или культурное влияние, которое на данном этапе ускользает из поля зрения оценки из-за отсутствия устоявшихся метрик.

#библиотеки #цитирования #libcitation

О сетях вокруг нас. Интервью с Дарьей Мальцевой (ANR-Lab)

Сегодня у нас необычный формат поста в качестве эксперимента для нас самих и читателей. Мы взяли интервью у Дарьи Мальцевой, заведующей Международной лаборатории прикладного сетевого анализа НИУ ВШЭ, к материалам которой мы не раз обращались в последнее время.

В интервью «Выше квартилей» Дарья рассказала о том, какие направления деятельности для центра являются сегодня приоритетными и каковы траектории развития и планы на будущее. Мы обсудили принципиальные и технические нюансы использования сетевого анализа в науке и наукометрии, популярные приложения, пакеты и базы данных. Переходите по ссылке ниже, чтобы ознакомиться с фрагментами нашей беседы.

#интервью #сетевойанализ #ВШЭ

​Дайджест: ноябрь 2024

Представляем дайджест научных событий за последний месяц.

Научные статьи

• Лутц Борнманн, один из членов редколлегии Scientometrics, и Кристиан Лейбель, основываясь на недавних работах, посвященных индексу прорыва (disruptive index), в своем письме описывают скрытые степени свободы в расчете DI1 и других индикаторов.

• Марион Шмидт исследовала, почему некоторые отозванные статьи продолжают цитироваться. Вкратце: предполагается, что в некоторых ситуациях результаты, представленные в отозванных статьях, по-прежнему считаются частью развития конкретной темы исследования.

• Пол Доннер в Journal of Infometrics высказал замечания насчет модифицированного фракционного (долевого) учета.

• Вышла статья, в которой предлагается подробное описание возможной новой метрики — PWI (Prize Winner Index, или индекс лауреатов премий), основанной на числе Эрдёша.

• В Learned Publishing опубликовано исследование специальных выпусков и их роли в научном ландшафте. Отмечается, что публикации в специальном выпуске могут обеспечить более высокие показатели цитирования и возможность зарекомендовать себя в новой области.

Издательская политика

• arXiv сообщил, что в октябре 2024 года в репозиторий поступило в общей сложности 24 226 материалов, что побило предыдущий ежемесячный рекорд июля 2024 года (21 794). Таким образом, общее количество материалов, поданных на arXiv с августа 1991 года по конец октября 2024 года, достигло 2 597 322.

• Web of Science опубликовали список самых цитируемых исследователей 2024 года. В него вошли пятеро российских ученых: двое из Сколково и по одному из МГУ, ТюмГУ и Минздрава.

• Журнал Soft Computing издательства Springer отозвал 330 статей. Большинство отозванных статей были приняты к публикации приглашенными редакторами.

• Журнал eLife все же был исключен из базы данных Web of Science из-за необычной практики журнала публиковать статьи вместе с отзывами рецензентов, при этом не принимая и не отклоняя их. В Scholarly Kitchen обсуждается реакция DORA на эту историю. Вкратце, DORA считает позицию Clarivate устаревшей.

• В Web of Science теперь доступен поиск по идентификатору организации ROR.

Наука и университеты

• В Times Higher Education опубликована заметка о культуре «менеджериализма», которая мешает академической свободе и научному развитию во многих областях.

• В рамках IV Конгресса молодых ученых состоялся круглый стол по теме «Как научному изданию попасть в «Белый список»?» Представители вузов и научных организаций обсудили текущее состояние Белого списка и планы по его развитию.

Новости AI

• Роберт Харрингтон из Американского математического общества размышляет о конфликте между идеалами открытости и напряженным отношением к ИИ, в частности, LLM, которые могут «поглощать» работы, опубликованные под лицензией Creative Commons, без согласия авторов.

• Scholar PDF Reader внедрил AI outline, т.е. детализированное содержание статьи, которое включает маркеры для каждого ключевого раздела. Об этом пишет коллега из канала «Что-то на научном». Маркер позволяет сразу переключиться на нужный фрагмент статьи, минуя просмотр неактуальных для читателя разделов.

• Википедия запустила проект WikiProject AI Cleanup. Задача проекта — поиск и удаление из электронной энциклопедии ложной информации, сгенерированной ИИ.

#дайджест #ИИ #clarivate #белыйсписок

Публикуйся вновь и вновь: еще несколько слов о publish or perish по данным опросов

Научная политика может оказывать значительное влияние на индивидуальные стратегии публикации ученых. Давление академической культуры «публикуйся или умри» (publish or perish) вынуждает исследователей ориентироваться на формальные критерии оценки публикационной активности.

В Research Evaluation вышло исследование, в котором авторы изучили влияние (субъективно ощущаемого) внешнего давления на мотивацию к публикации и публикационные стратегии ученых. Авторы опирались на данные, собранные ZSoA по результатам онлайн-опроса ученых, работающих в вузах Германии, Австрии и Швейцарии. Выборка составила 11 100 исследователей, среди которых 22,19% — профессора, 39,42% — постдоки и 38,29% — ученые без научной степени.

К основным публикационным стратегиям авторы относят ориентацию исследователей на академическую репутацию, вероятность принятия статьи, скорость публикации, открытый доступ, международную или местную аудиторию.

Они также выделяют следующие общие тенденции в публикациях:

🔹публиковаться стали больше, что влияет на рост коллабораций и развитие недобросовестных практик, таких как «тактика салями» (salami slicing);
🔹сдвиг от монографий и глав в книгах в сторону статей;
🔹рост публикаций на английском языке;
🔹ориентация на импакт-фактор при выборе журнала.

Молодые ученые, не занимающие штатные должности, испытывают более сильное давление, связанное с необходимостью публиковаться, в то время как давление, связанное с получением финансирования, выше в старших возрастных группах и среди тех, кто занимает штатные должности.

Согласно исследованию ученые не придерживаются исключительно какой-либо одной стратегии. Однако репутация журнала, публикация открытого доступа и международная аудитория являются приоритетными критериями при выборе изданий.

Выяснилось также, что чем выше воспринимаемое давление, тем с большей вероятностью исследователи будут фокусироваться на репутации журнала, быстрой публикации и международной специализированной аудитории.

Старшие научные сотрудники реже ориентируются на скорость публикации, в отличие от молодых ученых, и более ориентированы на открытый доступ и местную читательскую аудиторию, а также репутацию журнала, а не импакт-фактор.

Очевидно, что опытные ученые также свободнее в выборе тем публикации, что отразилось в результатах опроса. Молодые исследователи ориентируются на скорость принятия статьи, в связи с чем преимущественно не рискуют публиковать новаторские исследования, которые могут быть не приняты к публикации или негативно отразиться на их карьере.

Основные результаты показывают, что большое количество исследователей придерживаются стратегий публикаций, которые могут оказаться невыигрышными в долгосрочной перспективе. Они сосредотачиваются на отчетах о публикационной активности и публикуются в журналах с высоким рейтингом, т.е. вовлечены в «publication game».

По мнению авторов, возникающий принцип выживания ученых, наиболее адаптированных к формальным критериям, может представлять риск для будущего науки в целом.

#научнаяполитика #обзор #publishorperish #публикационныестратегии

​«Вероятно, да»: неопределенность в русскоязычных статьях

Задумывались ли вы о когда-нибудь о том, есть ли баланс в отношении использования выражений неопределенности в академическом письме? «Возможно», «вероятно», «гипотетически» — такие слова, с одной стороны, могут свидетельствовать об осторожности и педантичности ученого, пишущего статью, но с другой — демонстрировать (или казаться) признаком неуверенности. Стремясь избежать последнего, в ряде случаев исследователи могут намеренно или неосознанно начать использовать более «позитивный» язык, в котором меньше места отводится выражению сомнений, что, безусловно, влияет на восприятие исследовательских выводов.

В прошлом году китайские ученые провели масштабный анализ текстов статей в журнале "Science" за 1997-2021 гг., чтобы определить частоту использования выражений неопределенности (которые исследователи довольно метко назвали «хедж-словами») и возможные закономерности их изменения. Корпус состоял из 2600 статей, содержащих в общей сложности более 11 млн слов. Авторы провели детальный статистический анализ, в том числе по отдельными частям речи, и выяснили, что за 25 лет частота использования хедж-слов упала более чем на 40% — с 115.8 до 67.42 на 10 тысяч слов.

Мы решили проверить, подтверждаются ли эти наблюдения для работ на русском языке на основе данных OpenAlex c 2001 по 2024 г. и составили список слов, выражающих неопределенность, включая наречия, прилагательные, местоимения и частицы. При этом мы рассчитали отношение количества публикаций, содержащих каждое из хедж-слов, к общему числу публикаций на русском языке, так как полные тексты анализировались через n-граммы. Поскольку в OpenAlex реализована возможность полнотекстового поиска, мы ввели в качестве фильтра API-запроса наличие полнотекстовой версии (всего таких работ 241 615 из 2 138 926 за указанный период времени). Ограничением API OpenAlex и нашего анализа стала невозможность использования метасимволов (wildcards) в поиске, поэтому все леммы прописывались вручную.

Сгруппировав информацию о доле статей, содержащих хедж-слова, по годам и по укрупненным научным областям, мы получили график, приведенный по ссылке и на диаграмме, приложенной к посту. При таком методе анализа для русскоязычного сегмента, выводы китайских ученых подтверждаются лишь частично. В медицине и науках о жизни процентное соотношение хедж-слов стабильно низкое — не более 10 % за весь рассматриваемый период с незначительными колебаниями.

Для физических наук наблюдается резкий рост доли хедж-слов с 2005 по 2006 г., далее рост замедляется, а после 2008 года начинается постепенное неравномерное снижение, с локальными максимумами в 2012 и 2015 гг. В социальных науках постепенный рост использования выражений неопределенности начинается с 2013 года, в 2019-2020 показатель выходит на плато, а затем снижается, причем довольно стремительно.

Не вполне очевидно (присоединяемся к неуверенной когорте), говорит ли это о том, что российские ученые выбирают более аккуратные выражения, даже если текст выглядит от этого менее точным, или результаты продиктованы особенностями академического письма на русском языке.

В случае такого авторитетного журнала, как Science, использование хедж-слов может быть неявной стратегией продвижения своего исследования одновременно со снижением риска встретиться с критикой, спорами и сомнениями. Вместе с тем природа академического знания зачастую действительно неопределенна, поэтому поиск баланса (особенно в отдельных дисциплинах) продолжает оставаться нетривиальной задачей.

#аналитика #неопределенность #OpenAlex

Nothing Special в Special Issues? Об исследовании специальных (тематических) выпусков журналов

Специальные (тематические) выпуски неоднозначно влияют на формирование научного ландшафта. С одной стороны, они дают возможность ученым опубликовать экспериментальные и узкоспециализированные исследования, с другой — нередко открывают возможности для распространения некачественных материалов под видом тематического сборника.

Недавно в Learned Publishing вышла статья, авторы которой проанализировали специальные выпуски журналов, которые индексируются в Web of Science.

Согласно данным о 35 142 статьях из спецвыпусков с 2018 по 2022 год, ведущими издателями статей в тематических выпусках остаются доминирующие издательства на рынке научных журналов — Elsevier, Taylor & Francis, Springer Nature, MDPI, Wiley и Sage. В шестерку ведущих журналов по количеству статей входят: Neuropharmacology (Elsevier), Applied Sciences (MDPI), Neuroscience (Elsevier), Sustainability (MDPI), International Journal of Molecular Sciences (MDPI) и IEEE Transactions on Computer Aided Design of Integrated Circuits (IEEE).

Больше всего специальных выпусков выходят в науках об окружающей среде, электротехнике, образовании, менеджменте и нейронауках. А количество статей в спецвыпусках варьируется в зависимости от издательства и журнала. Например, в Wiley специальные выпуски состоят из 10–15 статей, в Elsevier — из 5–20 статей, в Springer — примерно из 6–8.

Исследования на базе Web of Science показывают, что специальные выпуски улучшают показатели цитирования и импакт-фактор журнала, хотя при этом они могут непропорционально увеличивать цитирования для неизвестных журналов и редко публикующихся ученых. Это может быть связано с тем, что приглашенные редакторы могут использовать социальные сети, профессиональные связи или рассылки для продвижения выпуска.

Решение о принятии статьи в спецвыпуск может исходить от главного редактора, издательства или быть результатом голосования на основе рецензий. Сложнее дело обстоит, если его принимает гостевой редактор, так как давление, с которым он может столкнуться, потенциально влияет на качество опубликованных материалов. Так, ему необходимо собрать достаточно работ, чтобы единоразово компенсировать долю отклоненных, а также найти квалифицированных рецензентов, что проблематично в случае новаторских тем, особенно если вокруг них еще нет устоявшихся сообществ исследователей. Иногда именно по вине гостевого редактора приходится отзывать целый выпуск.

Кроме того, для фабрик публикаций (paper mills) спецвыпуски являются излюбленными площадками. Эта проблема была поднята в связи с массовым отзывом статей, являющихся продуктом paper mills, из Hindawi и исключением более 50 журналов, включая 19 журналов Hindawi/Wiley, из Web of Science.

Помимо этого, эксплуатация моделей открытого доступа (OA) и высокие сборы за обработку статей (APC) могут стимулировать редакторов увеличивать количество статей, игнорируя их качество в пользу крупных доходов. В связи с чем большое количество специальных выпусков, особенно превышающее число плановых, — один из ключевых маркеров недобросовестной редакционной политики.

Модель, в которой редакционная коллегия журнала не участвует в процессе принятия статей и подбора рецензентов, сделала специальные выпуски не только наиболее уязвимым форматом для мошеннических практик, но и наиболее наглядным примером того, как издержки перехода к открытому доступу могут негативно влиять на издательское дело, редакторов, авторов и доверие к науке в целом.

#специальныевыпуски #spesialissues #открытыйдоступ #обзор #papermills

​Специальные выпуски: анализ уровней Белого списка

Сегодня мы хотим вернуться к теме специальных выпусков, которая продолжает оставаться весьма дискуссионной. Мы решили проанализировать публикации в специальных выпусках российских журналов, чтобы определить, есть ли взаимосвязь между количеством спецвыпусков и уровнем журнала.

Для анализа мы выбрали российские журналы, входящие в RSCI. Временной промежуток выборки — с 2021 по 2023 год. Данные были получены из БД OpenAlex, которая по-прежнему не полностью индексирует некоторые журналы, из-за чего в массиве встречались пропуски. Полученная выборка составила 956 журналов и 203 тысячи статей. Мы определили список различных вариантов названия спецвыпусков (например, Suppl.1, Special Issue, S1 и др.), хранящиеся в поле 'biblio.issue' в OpenAlex. Всего мы получили 35 вариаций обозначений, хотя и ожидаем, что в действительности их намного больше.

Согласно нашим данным, около 10 % (2043) статей из выборки относятся к специальным выпускам. Для дальнейшего анализа мы отобрали только те журналы, которые хотя бы один раз за рассматриваемый период времени публиковали спецвыпуски (всего их 46, а число публикаций в них — 13 402).

Первое, что обращает на себя внимание, — это средняя цитируемость, которая для общего массива составляет 1,259 цитат на материал, для статей из сквозных выпусков — 1,365, а для статей из спецвыпусков — 0,674, что вдвое ниже, чем общее среднее.

Опираясь на уровни журналов из Белого списка, мы проанализировали цитируемость и число публикаций для каждого из четырех уровней. Наиболее интересные результаты получены для последнего: в процентном соотношении статьи из спецвыпусков составляют 29% от общего числа публикаций в журналах 4 уровня со спецвыпусками, однако они получают всего 7,2% от общего числа цитат, а средняя цитируемость для них составляет 0,14.

Если же анализировать сами выпуски, то мы видим, что для журналов 1-3 уровней среднее число публикаций в спецвыпусках, как правило, вдвое меньше, чем число публикаций в выпусках сквозной нумерации. Для 4 уровня справедливо обратное — в спецвыпуске в среднем публикуется почти вдвое больше работ, чем в обычном. Мы проверили эту информацию в Elibrary, и обнаружили, что в качестве спецвыпусков нередко маркируются сборники докладов с форумов и конференций. С одной стороны, строго говоря, такие выпуски не являются специальными в узком понимании этого термина; с другой — они выходят за рамки сквозной нумерации, при этом публикуются нерегулярно и содержат значительное число работ (до 350).

Таким образом, наш базовый анализ показывает, что разница между спецвыпусками и регулярными выпусками журналов, с одной стороны, а также между журналами различных уровней Белого списка — с другой, несомненно, присутствует. На следующих этапах планируем глубже погрузиться в тему спецвыпусков с учетом сквозной нумерации.

#OpenAlex #специальныевыпуски #specialissues #БелыйСписок #аналитика