Коллеги, вакансия от сердца. Я работаю в Dsight 1.5 года. Ищу коллегу-аналитика
💜
💜
❤3
Forwarded from Dsight
🚀 Хочешь влиять на развитие технологических рынков? Dsight ищет Junior аналитиков! 🚀
Чем предстоит заниматься:
- Участие в исследовательских проектах: поиск, обработка и анализ информации, составление скриптов для интервью.
- Готовить содержательную часть проектов в виде аналитических обзоров и презентаций.
- Мониторинг продуктов конкурентов и лидеров рынка.
- Участие во внутренних задачах отдела: помощь в подготовке контента для СМИ и соцсетей, помощь в сборе и анализе венчурных сделок, аналитическая поддержка коллег из других отделов.
Что для нас важно:
- Минимум 1 год опыта анализа рынков, трендов, конкурентов
- Возможность работать полный день (8 часов).
- Английский язык B2+.
- Внимательность, ответственность, проактивность, самостоятельность.
- Навыки визуализации данных (PPT).
- Интерес к инновациям и новым технологиям.
Что мы предлагаем:
- Доход: 50 000 - 65 000 рублей (оклад) + премия за участие в проектах.
- Удаленная работа или гибридный формат (офис у м. Калужская).
- Различные варианты трудоустройства.
👉 Отправляйте резюме и примеры работ (при наличии) @DashaZharkova 👈
🚀 Стань частью команды Dsight! 🚀
Чем предстоит заниматься:
- Участие в исследовательских проектах: поиск, обработка и анализ информации, составление скриптов для интервью.
- Готовить содержательную часть проектов в виде аналитических обзоров и презентаций.
- Мониторинг продуктов конкурентов и лидеров рынка.
- Участие во внутренних задачах отдела: помощь в подготовке контента для СМИ и соцсетей, помощь в сборе и анализе венчурных сделок, аналитическая поддержка коллег из других отделов.
Что для нас важно:
- Минимум 1 год опыта анализа рынков, трендов, конкурентов
- Возможность работать полный день (8 часов).
- Английский язык B2+.
- Внимательность, ответственность, проактивность, самостоятельность.
- Навыки визуализации данных (PPT).
- Интерес к инновациям и новым технологиям.
Что мы предлагаем:
- Доход: 50 000 - 65 000 рублей (оклад) + премия за участие в проектах.
- Удаленная работа или гибридный формат (офис у м. Калужская).
- Различные варианты трудоустройства.
👉 Отправляйте резюме и примеры работ (при наличии) @DashaZharkova 👈
🚀 Стань частью команды Dsight! 🚀
❤7
Кабинетные исследования, или desk research, - это важнейший первый шаг в любом UX-проекте. Прежде чем приступать к полевым исследованиям, разработке прототипов или юзабилити-тестированию, необходимо изучить существующие данные и исследования, связанные с областью вашего продукта.
Зачем проводить кабинетные исследования?
Как подойти к кабинетным исследованиям?
1. Изучите контекст использования вашего продукта.
2. Ищите исследования, которые пересекаются с контекстом использования.
3. Ищите информацию внутри вашей организации.
4. Ищите более общую информацию о ваших пользователях, среде и целях.
5. Используйте разные источники информации.
Кабинетные исследования - это не просто поиск информации в Google. Это систематический подход к изучению существующих данных, который поможет вам лучше понять ваших пользователей и создать более эффективный продукт.
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤12👍9
Первичные или вторичные исследования? Чек-лист
Выбирайте первичные исследования, когда вам:
🖇 Нужна актуальная информация, которой нет в свободном доступе;
🖇 Изучаете конкретные вопросы или проблемы, не затронутые в существующих исследованиях;
🖇 Требуется подробная информация непосредственно от вашей целевой аудитории;
🖇 Стремитесь проверить новые идеи на реальных пользователях быстро.
Кабинетные исследования часто прокладывают путь для первичных исследований. Выбирайте этот подход, когда вам:
🖇 Нужен системный обзор темы или отрасли;
Хотите получить базовые знания и контекст для проработки дизайна полевого исследования;
🖇 Стремитесь изучить существующие тенденции и статистику;
🖇 Хотите сравнить разные точки зрения на одну и ту же тему;
🖇 Стремитесь сэкономить время и ресурсы.
Выбирайте первичные исследования, когда вам:
Кабинетные исследования часто прокладывают путь для первичных исследований. Выбирайте этот подход, когда вам:
Хотите получить базовые знания и контекст для проработки дизайна полевого исследования;
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7✍6💅1
Обзор литературы и методы "кабинетного исследования" в социальных науках с особым акцентом на исследования в области безопасности, политики и международных отношений
В статье рассматриваются два метода исследования, широко применяемых в социальных науках: обзор литературы и "кабинетное исследование" (desk research). Авторы фокусируются на применении этих методов в исследованиях в области безопасности, политики и международных отношений.
Обзор литературы
Обзор литературы - это метод сбора информации из письменных источников, содержащих уже проверенные данные (статьи, монографии, отчеты, аналитические материалы).
📌 Научные публикации (монографии, статьи, главы в монографиях).
📌 Экспертные исследования (отчеты и аналитические материалы, подготовленные государственными и неправительственными организациями).
📌 Проверенные материалы СМИ.
➡️ Получить обширное знание о том, что уже было сделано в данной области исследования.
Кабинетное исследование (Desk Research)
Кабинетное исследование - это совокупность нескольких методов, включая обзор литературы и теоретические методы обработки ранее собранных эмпирических данных (анализ, синтез, сравнение).
📌 Те же, что и для обзора литературы
📌 Непроверенные материалы (информационные порталы, блоги, форумы).
➡️ Получить полное представление о существующих знаниях в данной области исследования и сформулировать собственные выводы.
Различие между обзором литературы и "кабинетным исследованием"
Обзор литературы фокусируется на сборе и анализе уже проверенных данных из авторитетных источников. Кабинетное исследование включает в себя не только обзор литературы, но и обработку данных с помощью теоретических методов, а также может использовать непроверенные источники для получения дополнительной информации.
В статье рассматриваются два метода исследования, широко применяемых в социальных науках: обзор литературы и "кабинетное исследование" (desk research). Авторы фокусируются на применении этих методов в исследованиях в области безопасности, политики и международных отношений.
Обзор литературы
Обзор литературы - это метод сбора информации из письменных источников, содержащих уже проверенные данные (статьи, монографии, отчеты, аналитические материалы).
Кабинетное исследование (Desk Research)
Кабинетное исследование - это совокупность нескольких методов, включая обзор литературы и теоретические методы обработки ранее собранных эмпирических данных (анализ, синтез, сравнение).
Различие между обзором литературы и "кабинетным исследованием"
Обзор литературы фокусируется на сборе и анализе уже проверенных данных из авторитетных источников. Кабинетное исследование включает в себя не только обзор литературы, но и обработку данных с помощью теоретических методов, а также может использовать непроверенные источники для получения дополнительной информации.
Stanisław Topolewski, Marcin Górnikiewicz, Paweł Stawarz. (2023). The Literature Review and the “Desk Research” Methods in Studies Conducted in Social Sciences with Particular Emphasis on Security, Political, and International Relations Studies. Studia Wschodnioeuropejskie, 20. https://doi.org/10.31971/24500267.20.4
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8✍6👍1
Автоматическое создание обзоров научной литературы с помощью больших языковых моделей: пошаговый подход
В статье предлагается новый подход к генерации обзоров научной литературы, основанный на пошаговом использовании LLM. На основе заданных тем и списка рефератов статей разрабатывается серия запросов (prompts), которые направляют LLM на последовательную генерацию заголовка, аннотации, иерархических заголовков разделов и основного содержания обзора.
Разбиение задачи на управляемые этапы позволяет LLM сохранять общую перспективу при генерации заголовков, что повышает связность и релевантность создаваемых обзоров. Кроме того, после генерации заголовков, генерация основного содержания может быть обусловлена этой структурой, а не всем предыдущим контентом, что значительно снижает стоимость использования API.
Методология, которую предлагают авторы
Процесс генерации обзора состоит из шести шагов, разделенных на две основные фазы:
1\. Генерация структуры:
- Шаг 1: Генерация заголовка. LLM генерирует заголовок обзора на основе заданных тем и рефератов.
- Шаг 2: Генерация заголовков разделов. LLM генерирует заголовки разделов, сохраняя информацию из предыдущих шагов.
- Шаг 3: Генерация аннотации. LLM генерирует аннотацию, суммируя сгенерированный заголовок и структуру в рамках заданных тем.
2\. Генерация подразделов и содержания:
- Шаг 4: Выбор рефератов для каждого раздела. Для каждого раздела выбирается подмножество рефератов, которые будут использованы при генерации его структуры и содержания.
- Шаг 5: Генерация заголовков подразделов. LLM генерирует заголовки подразделов на основе заголовка обзора, структуры и выбранных рефератов.
- Шаг 6: Генерация содержания. LLM генерирует подробное содержание для каждого подраздела, используя структуру, выбранные рефераты и примеры цитирования.
Результаты и обсуждение
Система, реализованная с использованием модели Qwen-long, заняла третье место в конкурсе NLPCC 2024 Scientific Literature Survey Generation, отстав от команды, занявшей второе место, всего на 0.03%. Кроме того, система продемонстрировала высокий показатель Soft Heading Recall (95.84%), заняв второе место среди всех участников. Эти результаты свидетельствуют об эффективности пошагового подхода в поддержании логической и связной структуры обзоров.
Благодаря эффективному дизайну запросов и низкой стоимости API Qwen-long, стоимость генерации одного обзора составила всего 0.1 RMB, что повышает практическую ценность метода.
Ограничения и будущие направления
Несмотря на достигнутые успехи, метод имеет свои ограничения. В частности, без использования содержания рефератов, феномен галлюцинаций LLM становится значительным. В результате метод не может гарантировать точность и достоверность цитирования и анализа в сгенерированном обзоре, что негативно сказывается на оценке человеком.
В будущем планируется включить содержание рефератов в структуру метода, чтобы повысить фактическую точность и надежность результатов, стремясь к созданию более точных и достоверных автоматических обзоров литературы.
В статье предлагается новый подход к генерации обзоров научной литературы, основанный на пошаговом использовании LLM. На основе заданных тем и списка рефератов статей разрабатывается серия запросов (prompts), которые направляют LLM на последовательную генерацию заголовка, аннотации, иерархических заголовков разделов и основного содержания обзора.
Разбиение задачи на управляемые этапы позволяет LLM сохранять общую перспективу при генерации заголовков, что повышает связность и релевантность создаваемых обзоров. Кроме того, после генерации заголовков, генерация основного содержания может быть обусловлена этой структурой, а не всем предыдущим контентом, что значительно снижает стоимость использования API.
Методология, которую предлагают авторы
Процесс генерации обзора состоит из шести шагов, разделенных на две основные фазы:
1\. Генерация структуры:
- Шаг 1: Генерация заголовка. LLM генерирует заголовок обзора на основе заданных тем и рефератов.
- Шаг 2: Генерация заголовков разделов. LLM генерирует заголовки разделов, сохраняя информацию из предыдущих шагов.
- Шаг 3: Генерация аннотации. LLM генерирует аннотацию, суммируя сгенерированный заголовок и структуру в рамках заданных тем.
2\. Генерация подразделов и содержания:
- Шаг 4: Выбор рефератов для каждого раздела. Для каждого раздела выбирается подмножество рефератов, которые будут использованы при генерации его структуры и содержания.
- Шаг 5: Генерация заголовков подразделов. LLM генерирует заголовки подразделов на основе заголовка обзора, структуры и выбранных рефератов.
- Шаг 6: Генерация содержания. LLM генерирует подробное содержание для каждого подраздела, используя структуру, выбранные рефераты и примеры цитирования.
Результаты и обсуждение
Система, реализованная с использованием модели Qwen-long, заняла третье место в конкурсе NLPCC 2024 Scientific Literature Survey Generation, отстав от команды, занявшей второе место, всего на 0.03%. Кроме того, система продемонстрировала высокий показатель Soft Heading Recall (95.84%), заняв второе место среди всех участников. Эти результаты свидетельствуют об эффективности пошагового подхода в поддержании логической и связной структуры обзоров.
Благодаря эффективному дизайну запросов и низкой стоимости API Qwen-long, стоимость генерации одного обзора составила всего 0.1 RMB, что повышает практическую ценность метода.
Ограничения и будущие направления
Несмотря на достигнутые успехи, метод имеет свои ограничения. В частности, без использования содержания рефератов, феномен галлюцинаций LLM становится значительным. В результате метод не может гарантировать точность и достоверность цитирования и анализа в сгенерированном обзоре, что негативно сказывается на оценке человеком.
В будущем планируется включить содержание рефератов в структуру метода, чтобы повысить фактическую точность и надежность результатов, стремясь к созданию более точных и достоверных автоматических обзоров литературы.
Lai, Y., Wu, Y., Wang, Y., Hu, W., & Zheng, C. (2024). Instruct Large Language Models to Generate Scientific Literature Survey Step by Step (arXiv:2408.07884). arXiv. https://doi.org/10.48550/arXiv.2408.07884
❤9👍4
В контексте проекта с множеством файлов очень важно создать план файлов и следовать некоторым согласованным правилам именования файлов.
Основные советы по именованию файлов:
Please open Telegram to view this post
VIEW IN TELEGRAM
10❤12✍1👍1
Искусственный интеллект как инструмент для моделирования социальных взаимодействий: возможности и риски
В последние годы большие языковые модели (LLM) стали неотъемлемой частью нашей жизни. Они используются в чат-ботах, переводчиках, поисковых системах и даже в качестве помощников по написанию текстов. Но что, если LLM можно использовать для моделирования социальных взаимодействий?
Авторы статьи "Моделирование субъектов: обещание и опасность использования ИИ в качестве заменителей социальных агентов и взаимодействий" исследуют потенциал LLM для моделирования социальных взаимодействий. Они утверждают, что LLM могут быть использованы для создания реалистичных цифровых двойников людей, которые могут участвовать в сложных социальных взаимодействиях.
Авторы статьи выделяют несколько преимуществ использования LLM для моделирования социальных взаимодействий:
Доступность: LLM легко доступны и могут быть использованы для проведения исследований с минимальными затратами.
Масштабируемость: LLM позволяют проводить исследования с большим количеством участников, что было бы невозможно с использованием реальных людей.
Изучение редких взаимодействий: LLM могут быть использованы для моделирования взаимодействий между людьми, которые в реальной жизни встречаются редко, например, между политическими лидерами или учеными из разных областей.
Однако авторы статьи также предупреждают о потенциальных рисках использования LLM для моделирования социальных взаимодействий:
Недостаточная реалистичность: LLM могут неточно моделировать человеческое поведение, так как они не обладают полным пониманием человеческого опыта.
Предвзятость: LLM могут быть предвзятыми, так как они обучаются на данных, которые отражают существующие социальные предрассудки.
Недостаток сенсорного опыта: LLM не обладают сенсорным опытом, который необходим для полного понимания человеческого поведения.
Авторы статьи предлагают несколько принципов для разработки исследований с использованием LLM, которые помогут минимизировать эти риски:
Использование правильных методов обучения: LLM можно обучать на данных, которые отражают реальный мир, а не только на текстовых данных.
Проверка результатов: Необходимо проверять результаты моделирования на реальных людях, чтобы убедиться в их точности.
Использование многомодальных данных: LLM можно обучать на данных, которые включают в себя не только текст, но и изображения, видео и аудио.
Авторы статьи также подчеркивают важность этических вопросов, связанных с использованием LLM для моделирования социальных взаимодействий. Они предупреждают о том, что LLM могут быть использованы для манипулирования людьми, а также о том, что необходимо учитывать моральные аспекты использования LLM в качестве цифровых двойников людей.
В заключение, авторы статьи утверждают, что LLM обладают огромным потенциалом для моделирования социальных взаимодействий, но необходимо использовать их с осторожностью и учитывать все потенциальные риски.
В последние годы большие языковые модели (LLM) стали неотъемлемой частью нашей жизни. Они используются в чат-ботах, переводчиках, поисковых системах и даже в качестве помощников по написанию текстов. Но что, если LLM можно использовать для моделирования социальных взаимодействий?
Авторы статьи "Моделирование субъектов: обещание и опасность использования ИИ в качестве заменителей социальных агентов и взаимодействий" исследуют потенциал LLM для моделирования социальных взаимодействий. Они утверждают, что LLM могут быть использованы для создания реалистичных цифровых двойников людей, которые могут участвовать в сложных социальных взаимодействиях.
Авторы статьи выделяют несколько преимуществ использования LLM для моделирования социальных взаимодействий:
Доступность: LLM легко доступны и могут быть использованы для проведения исследований с минимальными затратами.
Масштабируемость: LLM позволяют проводить исследования с большим количеством участников, что было бы невозможно с использованием реальных людей.
Изучение редких взаимодействий: LLM могут быть использованы для моделирования взаимодействий между людьми, которые в реальной жизни встречаются редко, например, между политическими лидерами или учеными из разных областей.
Однако авторы статьи также предупреждают о потенциальных рисках использования LLM для моделирования социальных взаимодействий:
Недостаточная реалистичность: LLM могут неточно моделировать человеческое поведение, так как они не обладают полным пониманием человеческого опыта.
Предвзятость: LLM могут быть предвзятыми, так как они обучаются на данных, которые отражают существующие социальные предрассудки.
Недостаток сенсорного опыта: LLM не обладают сенсорным опытом, который необходим для полного понимания человеческого поведения.
Авторы статьи предлагают несколько принципов для разработки исследований с использованием LLM, которые помогут минимизировать эти риски:
Использование правильных методов обучения: LLM можно обучать на данных, которые отражают реальный мир, а не только на текстовых данных.
Проверка результатов: Необходимо проверять результаты моделирования на реальных людях, чтобы убедиться в их точности.
Использование многомодальных данных: LLM можно обучать на данных, которые включают в себя не только текст, но и изображения, видео и аудио.
Авторы статьи также подчеркивают важность этических вопросов, связанных с использованием LLM для моделирования социальных взаимодействий. Они предупреждают о том, что LLM могут быть использованы для манипулирования людьми, а также о том, что необходимо учитывать моральные аспекты использования LLM в качестве цифровых двойников людей.
В заключение, авторы статьи утверждают, что LLM обладают огромным потенциалом для моделирования социальных взаимодействий, но необходимо использовать их с осторожностью и учитывать все потенциальные риски.
❤5🤔3✍1👍1
коллеги, у меня куча статей и гайдов по библографии было на ноушне. а ноушн всё.
куда перебираться? принимаю советы👀
куда перебираться? принимаю советы
Please open Telegram to view this post
VIEW IN TELEGRAM
👾14💅3
В связи с переездом из ноушна дублирую ссылки на методички и сборники статей.
✨ Методичка по академической библиографии, поиску научной литературы и Zotero: ссылка
✨ Методичка по промт-инжинирингу: ссылка
✨ Сборник промтов для кабинетных исследований и социальных наук: ссылка
❤️ Ютуб-канал какой-то библиотеки: ссылка
❤️ Нельзяграм мой личный (кофе, книжки, мемы, депрессия): ссылка
⭐️ Поддержать канал: https://taplink.cc/ekaganova ⭐️
Please open Telegram to view this post
VIEW IN TELEGRAM
❤28
какая-то библиотека pinned «В связи с переездом из ноушна дублирую ссылки на методички и сборники статей. ✨ Методичка по академической библиографии, поиску научной литературы и Zotero: ссылка ✨ Методичка по промт-инжинирингу: ссылка ✨ Сборник промтов для кабинетных исследований и социальных…»
Научно обоснованная политика: создание "банков доказательств"
В настоящее время правительства сталкиваются с необходимостью принимать решения по сложным вопросам, таким как изменение климата, здравоохранение и образование, опираясь на научные данные. Однако объем исследований огромен, и синтез информации для принятия обоснованных решений зачастую затруднен.
Проблема
Традиционно синтез научных данных – процесс трудоемкий и длительный. Исследователям приходится вручную просматривать множество публикаций, оценивать их качество, извлекать данные и обобщать результаты. Это может занимать месяцы или даже годы, что делает информацию устаревшей к моменту ее использования. Кроме того, в разных областях науки количество доступных синтезов сильно различается. Например, в медицине широко используются систематические обзоры, обобщающие результаты клинических испытаний, в то время как в социальных науках таких обзоров значительно меньше.
Решение
"Банки доказательств" представляют собой базы данных, содержащие предварительно отобранные и проанализированные исследования, помеченные метаданными, такими как методология, географическое положение и другие. Это позволяет исследователям и политикам быстро находить нужную информацию и проводить синтез данных с помощью специальных инструментов.
Преимущества
Ускорение процесса синтеза: Использование "банков доказательств" и инструментов на основе искусственного интеллекта (ИИ) позволяет значительно сократить время, необходимое для обобщения научных данных.
Повышение качества синтеза: Стандартизация данных и использование проверенных методов анализа повышают надежность и достоверность результатов.
Доступность информации: "Банки доказательств" делают научную информацию доступной для широкого круга пользователей, включая политиков, исследователей и общественность.
Постоянное обновление: "Живые" синтезы, которые постоянно обновляются по мере появления новых данных, позволяют политикам принимать решения на основе самой актуальной информации.
Примеры
Образование: Фонд Education Endowment Foundation (EEF) в Лондоне создал базу данных, содержащую более 3500 исследований в области образования. На основе этой базы были разработаны систематические обзоры, показывающие влияние различных факторов, таких как репетиторство, домашние задания и размер класса, на успеваемость учащихся.
Здравоохранение: В период пандемии COVID-19 возникла острая необходимость в быстрых синтезах данных для принятия решений о лекарствах, масках и карантинных мерах. Это привело к развитию инструментов и методов для ускорения процесса синтеза.
Перспективы
В настоящее время фонды, такие как Wellcome и ESRC, инвестируют значительные средства в разработку "банков доказательств" и инструментов для синтеза данных. Цель – создать систему, которая позволит политикам во всем мире получать быстрый доступ к актуальной научной информации и принимать обоснованные решения по важнейшим вопросам.
В настоящее время правительства сталкиваются с необходимостью принимать решения по сложным вопросам, таким как изменение климата, здравоохранение и образование, опираясь на научные данные. Однако объем исследований огромен, и синтез информации для принятия обоснованных решений зачастую затруднен.
Проблема
Традиционно синтез научных данных – процесс трудоемкий и длительный. Исследователям приходится вручную просматривать множество публикаций, оценивать их качество, извлекать данные и обобщать результаты. Это может занимать месяцы или даже годы, что делает информацию устаревшей к моменту ее использования. Кроме того, в разных областях науки количество доступных синтезов сильно различается. Например, в медицине широко используются систематические обзоры, обобщающие результаты клинических испытаний, в то время как в социальных науках таких обзоров значительно меньше.
Решение
"Банки доказательств" представляют собой базы данных, содержащие предварительно отобранные и проанализированные исследования, помеченные метаданными, такими как методология, географическое положение и другие. Это позволяет исследователям и политикам быстро находить нужную информацию и проводить синтез данных с помощью специальных инструментов.
Преимущества
Ускорение процесса синтеза: Использование "банков доказательств" и инструментов на основе искусственного интеллекта (ИИ) позволяет значительно сократить время, необходимое для обобщения научных данных.
Повышение качества синтеза: Стандартизация данных и использование проверенных методов анализа повышают надежность и достоверность результатов.
Доступность информации: "Банки доказательств" делают научную информацию доступной для широкого круга пользователей, включая политиков, исследователей и общественность.
Постоянное обновление: "Живые" синтезы, которые постоянно обновляются по мере появления новых данных, позволяют политикам принимать решения на основе самой актуальной информации.
Примеры
Образование: Фонд Education Endowment Foundation (EEF) в Лондоне создал базу данных, содержащую более 3500 исследований в области образования. На основе этой базы были разработаны систематические обзоры, показывающие влияние различных факторов, таких как репетиторство, домашние задания и размер класса, на успеваемость учащихся.
Здравоохранение: В период пандемии COVID-19 возникла острая необходимость в быстрых синтезах данных для принятия решений о лекарствах, масках и карантинных мерах. Это привело к развитию инструментов и методов для ускорения процесса синтеза.
Перспективы
В настоящее время фонды, такие как Wellcome и ESRC, инвестируют значительные средства в разработку "банков доказательств" и инструментов для синтеза данных. Цель – создать систему, которая позволит политикам во всем мире получать быстрый доступ к актуальной научной информации и принимать обоснованные решения по важнейшим вопросам.
Nature
Scientists are building giant ‘evidence banks’ to create policies that actually work
Nature - Funders launch projects with US$70 million to develop tools that make rapid syntheses of the world’s science.
❤12👍5
Автоматизация научных обзоров с помощью больших языковых моделей: систематический обзор
Большие языковые модели (LLM) недавно стали одним из самых мощных инструментов обработки естественного языка (NLP) для решения различных задач. В этом систематическом обзоре мы стремились оценить естественное расширение использования LLM для управления и направления процесса обзора.
Методы
Исследование проводилось в июне 2024 года в базах данных PubMed, Scopus, Dimensions и Google Scholar. В обзор были включены только англоязычные публикации, посвященные использованию LLM для автоматизации различных этапов систематического обзора.
Скрининг и извлечение данных проводились в Covidence с помощью разработанного командой плагина LLM для Covidence. Этот плагин использует модель OpenAI gpt-4o и автоматизирует действия в Covidence, такие как нажатие кнопок «Включить/Исключить» или оставление заметок.
Результаты
В общей сложности было найдено 3788 статей, из которых 172 были признаны подходящими для окончательного обзора. ChatGPT и LLM на основе GPT стали наиболее распространенной архитектурой для автоматизации обзора (n=126, 73,2%). Значительное количество проектов по автоматизации обзора было найдено, но лишь ограниченное число статей (n=26, 15,1%) представляли собой фактические обзоры, в которых LLM использовались при их создании.
Большинство статей были сосредоточены на автоматизации определенного этапа обзора, например, на поиске публикаций (n=60, 34,9%) и извлечении данных (n=54, 31,4%). При сравнении совокупной производительности моделей на основе GPT и BERT первые показали лучшие результаты в извлечении данных со средней точностью 83,0% (SD=10,4) и полнотой 86,0% (SD=9,8), в то время как вторые были немного менее точными на этапе скрининга заголовков и рефератов (Maccuracy=77,3%, SD=13,0 против Maccuracy=80,9% SD=11,8).
Примеры использования LLM
- Поиск публикаций: LLM могут использоваться для автоматического поиска релевантных публикаций в базах данных, таких как PubMed, Scopus и Web of Science.
- Скрининг заголовков и рефератов: LLM могут использоваться для автоматического скрининга заголовков и рефератов на предмет релевантности, что позволяет рецензентам сосредоточиться на полнотекстовом скрининге.
- Извлечение данных: LLM могут использоваться для автоматического извлечения данных из полнотекстовых статей, таких как характеристики участников, вмешательства и результаты.
- Синтез данных: LLM могут использоваться для автоматического синтеза данных из нескольких статей, что позволяет рецензентам получить более полное представление о состоянии исследований.
Ограничения
- Точность: Хотя LLM достигли значительных успехов в точности, они все еще могут допускать ошибки, особенно при извлечении данных из сложных или неоднозначных текстов.
- Предвзятость: LLM могут быть подвержены предвзятости, основанной на данных, на которых они были обучены.
- Этика: Использование LLM в автоматизации обзора поднимает этические вопросы, такие как прозрачность, подотчетность и потенциальное смещение.
Большие языковые модели (LLM) недавно стали одним из самых мощных инструментов обработки естественного языка (NLP) для решения различных задач. В этом систематическом обзоре мы стремились оценить естественное расширение использования LLM для управления и направления процесса обзора.
Методы
Исследование проводилось в июне 2024 года в базах данных PubMed, Scopus, Dimensions и Google Scholar. В обзор были включены только англоязычные публикации, посвященные использованию LLM для автоматизации различных этапов систематического обзора.
Скрининг и извлечение данных проводились в Covidence с помощью разработанного командой плагина LLM для Covidence. Этот плагин использует модель OpenAI gpt-4o и автоматизирует действия в Covidence, такие как нажатие кнопок «Включить/Исключить» или оставление заметок.
Результаты
В общей сложности было найдено 3788 статей, из которых 172 были признаны подходящими для окончательного обзора. ChatGPT и LLM на основе GPT стали наиболее распространенной архитектурой для автоматизации обзора (n=126, 73,2%). Значительное количество проектов по автоматизации обзора было найдено, но лишь ограниченное число статей (n=26, 15,1%) представляли собой фактические обзоры, в которых LLM использовались при их создании.
Большинство статей были сосредоточены на автоматизации определенного этапа обзора, например, на поиске публикаций (n=60, 34,9%) и извлечении данных (n=54, 31,4%). При сравнении совокупной производительности моделей на основе GPT и BERT первые показали лучшие результаты в извлечении данных со средней точностью 83,0% (SD=10,4) и полнотой 86,0% (SD=9,8), в то время как вторые были немного менее точными на этапе скрининга заголовков и рефератов (Maccuracy=77,3%, SD=13,0 против Maccuracy=80,9% SD=11,8).
Примеры использования LLM
- Поиск публикаций: LLM могут использоваться для автоматического поиска релевантных публикаций в базах данных, таких как PubMed, Scopus и Web of Science.
- Скрининг заголовков и рефератов: LLM могут использоваться для автоматического скрининга заголовков и рефератов на предмет релевантности, что позволяет рецензентам сосредоточиться на полнотекстовом скрининге.
- Извлечение данных: LLM могут использоваться для автоматического извлечения данных из полнотекстовых статей, таких как характеристики участников, вмешательства и результаты.
- Синтез данных: LLM могут использоваться для автоматического синтеза данных из нескольких статей, что позволяет рецензентам получить более полное представление о состоянии исследований.
Ограничения
- Точность: Хотя LLM достигли значительных успехов в точности, они все еще могут допускать ошибки, особенно при извлечении данных из сложных или неоднозначных текстов.
- Предвзятость: LLM могут быть подвержены предвзятости, основанной на данных, на которых они были обучены.
- Этика: Использование LLM в автоматизации обзора поднимает этические вопросы, такие как прозрачность, подотчетность и потенциальное смещение.
arXiv.org
The emergence of Large Language Models (LLM) as a tool in...
Objective: This study aims to summarize the usage of Large Language Models (LLMs) in the process of creating a scientific review. We look at the range of stages in a review that can be automated...
✍3
коллеги
в чате высказали пожелание провести какой-то курс про научные источники и автоматизацию (т.е. ИИ, хотя, пожалуй, и не только).
давайте так — если в комментариях откликнется хотя бы 10 желающих, я организую набор на закрытый курс. он будет бесплатный, приму всех, но все-таки это не будут изначально открытые вебинары. мне кажется, так больше пользы, мотивации и общения.
обсудим поиск (научный и не очень), хранение статей, промты, ИИ и что-нибудь еще по желанию аудитории.
в чате высказали пожелание провести какой-то курс про научные источники и автоматизацию (т.е. ИИ, хотя, пожалуй, и не только).
давайте так — если в комментариях откликнется хотя бы 10 желающих, я организую набор на закрытый курс. он будет бесплатный, приму всех, но все-таки это не будут изначально открытые вебинары. мне кажется, так больше пользы, мотивации и общения.
обсудим поиск (научный и не очень), хранение статей, промты, ИИ и что-нибудь еще по желанию аудитории.
👍44❤19
какая-то библиотека
коллеги в чате высказали пожелание провести какой-то курс про научные источники и автоматизацию (т.е. ИИ, хотя, пожалуй, и не только). давайте так — если в комментариях откликнется хотя бы 10 желающих, я организую набор на закрытый курс. он будет бесплатный…
коллеги, спасибо, делаем! спрос есть — я обязана дать предложение.
завтра сделаю анонс с регистрацией и начнем. не буду долго готовиться и страдать перфекционизмом. думаю, так полезнее и приятнее нам всем.
спасибо за интерес с вашей стороны ❤️
поддержать канал: https://taplink.cc/ekaganova
завтра сделаю анонс с регистрацией и начнем. не буду долго готовиться и страдать перфекционизмом. думаю, так полезнее и приятнее нам всем.
спасибо за интерес с вашей стороны ❤️
поддержать канал: https://taplink.cc/ekaganova
Taplink
Ekaganova at Taplink
❤31🦄2
Пошли учиться
С 10 октября я запускаю серию семинаров и лекций, посвящённых поиску научной информации и применению искусственного интеллекта в исследованиях. Этот курс — это скорее эксперимент, посвящённый кабинетным исследованиям, так как я отошла от академической науки. Тем не менее, мы будем объединять научные знания, полученные в университете, с их практическим применением — в работе, активизме или для личных целей.
👍 Примерная программа курса
- Основы поиска информации: научный и прикладной подходы.
- Практика использования библиографических менеджеров: регистрация, настройка, работа с инструментами.
- Искусственный интеллект в научных исследованиях:
- Автоматизация поиска и анализ документов.
- Реферирование текстов вручную и с помощью ИИ.
- Создание своего "инженера" ИИ, варианты применения.
- Разбор кейсов: удачные и неудачные примеры использования ИИ.
Это примерная программа, и в процессе курса мы будем корректировать её в зависимости от ваших интересов и запросов.
❔ Детали проведения
- Старт курса — 10 октября.
- Занятия проходят по четвергам с 20:00 до 21:00 (по московскому времени).
- Для участия необходимо вступить в чат. Доступ можно получить за любой донат от 10 рублей через Boosty. Поддержка помогает мне регулярно вести блог и создавать новый контент.
👾 Ссылка на подписку, через которую вы получите доступ к чату с курсом.
🙂 А будет ли запись?
Онлайн занятия проходят в живом формате, что даёт возможность свободного общения и обсуждения тем. Если вы не сможете присутствовать, все записи будут доступны по подписке. Их можно будет просматривать и сохранять для дальнейшего использования. Стоимость подписки на записи немного выше, так как для меня приоритетны живые встречи, а не монтаж и обработка видео.
Кроме видео, на Бусти также будут размещаться конспекты и методические материалы. У вас не будет доступа к чату, но записи — на руках.
Ссылка для подписки "А запись будет?"
Если возникнут вопросы или проблемы с доступом, пишите в комментариях или в личные сообщения @eak_ka
С 10 октября я запускаю серию семинаров и лекций, посвящённых поиску научной информации и применению искусственного интеллекта в исследованиях. Этот курс — это скорее эксперимент, посвящённый кабинетным исследованиям, так как я отошла от академической науки. Тем не менее, мы будем объединять научные знания, полученные в университете, с их практическим применением — в работе, активизме или для личных целей.
- Основы поиска информации: научный и прикладной подходы.
- Практика использования библиографических менеджеров: регистрация, настройка, работа с инструментами.
- Искусственный интеллект в научных исследованиях:
- Автоматизация поиска и анализ документов.
- Реферирование текстов вручную и с помощью ИИ.
- Создание своего "инженера" ИИ, варианты применения.
- Разбор кейсов: удачные и неудачные примеры использования ИИ.
Это примерная программа, и в процессе курса мы будем корректировать её в зависимости от ваших интересов и запросов.
- Старт курса — 10 октября.
- Занятия проходят по четвергам с 20:00 до 21:00 (по московскому времени).
- Для участия необходимо вступить в чат. Доступ можно получить за любой донат от 10 рублей через Boosty. Поддержка помогает мне регулярно вести блог и создавать новый контент.
👾 Ссылка на подписку, через которую вы получите доступ к чату с курсом.
Онлайн занятия проходят в живом формате, что даёт возможность свободного общения и обсуждения тем. Если вы не сможете присутствовать, все записи будут доступны по подписке. Их можно будет просматривать и сохранять для дальнейшего использования. Стоимость подписки на записи немного выше, так как для меня приоритетны живые встречи, а не монтаж и обработка видео.
Кроме видео, на Бусти также будут размещаться конспекты и методические материалы. У вас не будет доступа к чату, но записи — на руках.
Ссылка для подписки "А запись будет?"
Если возникнут вопросы или проблемы с доступом, пишите в комментариях или в личные сообщения @eak_ka
Please open Telegram to view this post
VIEW IN TELEGRAM
boosty.to
какая-то библиотека - Кабинетные исследования, библиография, ИИ
какая-то библиотека Кабинетные исследования, библиография, ИИ @eak_ka — рисёрчерка ytb: https://www.youtube.com/@selfmadeLibrary/videos inst: https://instagram.com/bestoloch.innovation?igshid=MzMyNGUyNmU2YQ== поддержать канал: https://taplink.cc/ekaganova
❤43👍10
какая-то библиотека
Пошли учиться С 10 октября я запускаю серию семинаров и лекций, посвящённых поиску научной информации и применению искусственного интеллекта в исследованиях. Этот курс — это скорее эксперимент, посвящённый кабинетным исследованиям, так как я отошла от академической…
Если возникли проблемы со ссылками и доступами — пишите мне @eak_ka
Курс какой-то библиотеки стартует с темы "Логика поиска в интернете"
📍 10 октября в 20:00 по Москве
📍Ссылка доступна в чате курса. Попасть на курс можно тут за символический донат (придется ходить на занятия, да!).
✨ Запись урока будет опубликована на Бусти . На занятия можно не ходить, а записи будут в доступе по мере выхода семинаров.
О чем занятие?
Вместе разберем, как строить запросы так, чтобы получать нужную информацию быстро и точно. Я расскажу, с чего лучше начинать поиск, когда стоит остановиться, и что делать, если ничего не находится.
Это не будет сухой инструктаж по операторам поиска — мы поговорим о логике и подходах, которые помогут вам ориентироваться в интернете осознанно.
Лекция пройдет в формате размышлений и обмена опытом. Поделюсь байками, опытом и лайфхаками на примере кабинетных исследований, которые провожу.
🍽
📍 10 октября в 20:00 по Москве
📍Ссылка доступна в чате курса. Попасть на курс можно тут за символический донат (придется ходить на занятия, да!).
О чем занятие?
Вместе разберем, как строить запросы так, чтобы получать нужную информацию быстро и точно. Я расскажу, с чего лучше начинать поиск, когда стоит остановиться, и что делать, если ничего не находится.
Это не будет сухой инструктаж по операторам поиска — мы поговорим о логике и подходах, которые помогут вам ориентироваться в интернете осознанно.
Лекция пройдет в формате размышлений и обмена опытом. Поделюсь байками, опытом и лайфхаками на примере кабинетных исследований, которые провожу.
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤31👍8