tgoop.com/new_yorko_times/233
Last Update:
LLM-прототипы в Эльсивире
#projects #work #chatgpt
Я как-то раньше описывал свой идеальный формат работы - applied science: придумал (или получил идею от топов), накидал прототип, параллельно продумал бизнес-кейс, поработал с разрабами/PM, пошел к следующей идее. Еще и как играющий тренер тащишь небольшую команду, 40/60 менеджмент/руками. И благо, LLM-прототипы хорошо подходят под такой стиль работы.
Три проекта с моим участием (уже больше менеджерским):
- оценка качества языка и (полу-) автоматический proof-reading. Считай, научный Grammarly. примерно 300к (из 2.5 млн в год) драфтов статей прямо очень плохо написаны, тут бы экономить врем редакторов. Ну и даже принятые статьи проходят дорогой этап copy-editing, часть которого – language editing. Я перенял этот проект аж в 2020 как только пришел и даже писал, что это проект, который надо было убить. Но с LLM-революцией он воскрес. Мне все еще кажется, что тут лучше Buy чем Build – такие решения предлагаются уже примерно 15-20 компаниями, где-то 6 из них мы шортлистнули для проверки. В то же время у нас очень многообещающие промежуточные результаты и с llama-2 и Mistral (кстати, пдтверждаю, у нас Mistral 7b лучше, чем llama-2 13b) и конечно, с GPT тем более. Плюс у Эльсивира большой датасет для файнтюна, поскольку есть свой сервис пруфридинга статей, то есть можно накопать пару соетн тысяч оригинальных статей и их поправленных версий.
- Scopus AI, научный ассистент. Это пока самый большой GenAI проект, тут тоже явный competitive edge – уникальный датасет научных верифицированных знаний (Scopus). Можно общаться, задавать вопросы по статье, искать похожие по теме, визуализировать дерево научных понятий. Вот тут подробнее. К сожалению, b2b – по подписке универа, так просто не потыкаешь. Технически – семантический поиск, RAG и куча оберток над GPT API. Вижу 2 проблемы: 1) хз кто будет за это дополнительно платить 2) очень quick&dirty, 90% тащит PM c выпученными глазами, он сам же кодит и скидывает зипчики с кодом, гитхабом не пользуется
– тренировка собственной научной LLM, вместе с LG (внезапно: те самые LG что холодильники делают, еще и обучают кастомные LLM для больших клиентов). Я там тоже по касательной прошелся, помогал с созданием некоторых из instruction tuning датасетов. Но проект огромный, менеджеры вовсю в него верят, в основном, опять же, из-за огромных уникальных научных датасетов. В целом подход как у FLAN – затюнить на 20-25 "навыках", но уже в скорее в научной сфере (author disambiguation, reference extraction, классификация статей на 30+ кастомных таксономий и т.д.). Тоже интересно поглядеть, не ожидает ли эту LLM судьба Galactica (тут я потратил немало часов, объясняя менеджерам, что галлюцинирующего бота нельзя просто так выставлять клиентам, если речь о науке/медицине). Ну и конечно, любопытно будет поглядеть, побьет ли эта научная ллм хотя бы мистраль на научных задачах. Ни мы, ни LG все же не openAI и не мистраль, вот уж неловко было бы спустить много денег и выдать посредственную модель.
А так в компании еще штук 20 PoC с LLM исследуют, конечно, почти все – на уровне промпт-инжиниринга:
- ScienceDirect Answers (в целом то же почти что Scopus AI, но на данных ScienceDirect)
- автоматическое форматирование манускрипта под требования нового журнала (это прямо pain point, когда статьи перекинули в другой журнал и надо всей этой херней заниматься)
- помощь в написании cover letter для ревизии статьи - типа что изменилось, зачем, dear editor, please take a look
- как и с научным Grammarly, раз в 2-3 года воскресает идея создания ассистента для написания статьи, для авторов, с фичами типа рекомендации цитирований, написания Review, тем же language editing. Но пока, видать, PMF не нашли
- и конечно, прочие задачи, с бертом в проде, пытаются решать с LLM. Как мне кажется, чисто из любопытства и пока скорее безуспешно