С наступающим!

Красивое
Microsoft Light Simulator
A* (A Star) pathfinding algorithm visualized on the city streets of Chicago and Rome.

Data from OpenStreetMap, OSMnx - intersections of streets represented as nodes and streets as edges
Tools used for visualization - Python, Blender

youtube

#разное

В этом году снова получил премию лучшего ментора ODS. Плюс, еще и вошел в список топ докладов года (там много клевых докладов, стоит посмотреть).

Приятно чувствовать, что твои заслуги признает сообщество ;)

#statistics

Сделал тут недавно подборку разных методов и тестов для лекции и семинара по статистике (она, конечно, в упрощенном виде была, все же это занятие было для менеджеров). Все в excel. Умаялся, конечно, знатно. Но вдруг кому будет полезно (если вы в эксельках что-то считаете, конечно). Там даже бутстреп есть.

P.S. Я немного отвлеченно это делал, так что могут быть опечатки в формулах. Надеюсь, что не очень много ;)

В марте буду вещать про эти ваши LLM (и как это дружит с разметкой данных)

🔥 Артем Ерохин, X5 Tech: «Как сократить затраты на разметку данных с помощью LLM»
✅ Большие языковые модели стремительно ворвались в нашу жизнь и изменили ее. 28 марта на форуме Data&AI 2024 Артем Ерохин, ведущий менеджер по работе с большими данными X5 Tech, расскажет, как сократить издержки на разметку данных с помощью LLM, как такие модели могут использоваться для разметки, какие существуют сценарии улучшения качества и ограничения использования, а также какой опыт применения LLM к разметке данных имеется в розничной компании X5.
📣Внимание! Акция «1+1»!
Только до 7 марта - 2 онлайн-билета - по цене 1!
👉Спешите регистрироваться👉

#ml #llm

Коль я уж занимаюсь последнее время LLM, давайте о них и поговорим. Итак, начнем с простых вещей. Много кто пытался вывести "формулу идеального промпта" (ей богу, звучит максимально алхимически, почти "формула философского камня"). В итоге есть множество вариантов, как именно лучше писать промпт. Давайте рассмотрим один из таких вариантов:

1. Задача.
Четкое и детальное описание задачи, которую требуется решить LLM. Самая важная часть, в которой мы описываем, а что же мы хотели от модели. Некорректная постановка задачи приведет к некорректному ответу. 
2. Контекст.
Дополнительный контекст, который может быть важен для задачи. Можно определить, с какой позиции нужно рассматривать вопрос, вносить дополнительные справочные данные или иную важную для получения результата информацию.
Частью контекста может быть т.н. “Персона”, то есть детальное описание, с какой точки зрения смотреть на задачу. 
3. Примеры/Пояснения.
Мы можем привести дополнительные разъяснения о том, как именно мы хотели бы решить задачу. Например, указать, нужно ли нам детальное решение или краткое, должен ли быть тон профессиональным или дружелюбным и т.д.
Отдельно мы можем привести пример (или несколько примеров) того, как должна быть решена задача. Конечно, если такой пример в принципе можно привести.
4. Формат.
В этой части мы можем указать, в какой формате нам нужен ответ. Это должна быть таблица, план решения задачи, работоспособный код на определенном языке? Все это позволяет точнее зафиксировать, как именно модель должна нам ответить.

Некоторые из пунктов дробят на меньшие сущности (например, выделяют "персону/роль" в отдельную сущность). В других материалах дополнительно приводят "важность" каждой составляющей (Задача важнее всего, потом идет контекст, а потом уже примеры/пояснения, описание роли, формат ответа и т.п.). Но в целом все крутится примерно около того же самого.

Получаем, что Промпт = Задача + Контекст + Примеры/Пояснения + Формат итога

На прошлой неделе в Лос-Анджелесе состоялся показ фильма Our T2 Remake — нейросетевой пародии на «Терминатор 2: Судный день» Джеймса Кэмерона.

Процесс такой: оригинальный фильм разделили на 50 частей, каждую из которых отдали разным AI-художникам, которым была дана полная свобода в смысловой и визуальной интерпретации своих фрагментов.

По отзывам журналистов и блоггеров, результат больше похож на лоскутное одеяло из скетчей разного качества: некоторые части выполнены как анимационные фильмы, другие стилизованы под видеоигры, музыкальные клипы, классические ситкомы и сериалы 90-х.

Журналист Баратунде Ферстон отметил, что «это очередное напоминание о том, что доступность ИИ-инструментов пока никак не гарантирует качество их результатов»

Из-за авторских прав Our T2 Remake не использует ни одного кадра из фильма 1991 года, а также звуки, фрагменты диалогов или легендарную музыку Бреда Фиделя. А во избежание других юридических проблем вся затея с AI-ремейком названа «пародией»: с них в Голливуде спрос меньше.

#ml #llm

Продолжаем базовые советы по написанию промптов к LLM:
1. Начинать лучше с простого.
Вместо того, чтобы сразу писать очень сложный детальный промпт, лучше начать с простого описания того, что хочется получить. И постепенно улучшать промпт, пока ответ не начнет вас удовлетворять;
2. В некоторых случаях лучше писать промпт на английском языке.
Интуиция тут простая – больше всего контента, который был в обучении нейросети, на английском (+ я недавно видел статью, авторы которой в результате экспериментов пришли к выводу, что модели "думают" на английском, даже когда с ними работают на иных языках). Поэкспериментировать стоит, если никак не удается получить корректный ответ с русским промптом;
3. Избегайте неточностей.
Лучше быть как можно более конкретным и прямым. Например, если вы хотите получить короткий текст, то вместо “опиши кратко” лучше четко указать, что хотите видеть ответ в “двух предложениях”.
Это же относится и к описанию задачи. Лучше избегать двусмысленных трактовок.
4. Экспериментируйте.
Лучше попробовать несколько вариантов и/или подходов и сравнить результаты. Не всегда первое пришедшее в голову описание задачи будет наилучшим по качеству. 
5. Сконцентрируйтесь на том, что нужно сделать.
При описании желаемого поведения, лучше концентрироваться на том, что нужно сделать. Описание нежеланного поведения (по наблюдениям) работает хуже. То есть, нам лучше описывать то, что мы хотим, а не то, чего бы мы не хотели. 
6. Учитывайте длину контекста.
Количество входной информации, которое может обработать LLM ограничено (впрочем, в последнее время с этим стало попроще). Стоит это учитывать при использовании больших промптов или попытках подачи в качестве контекста больших объемов информации (инструкции, книги, иные объемные тексты).

#ml #llm

(Zero-)(One-)Few-Shot Learning.

Продолжаем про техники работы с промптами. Сегодня поговорим об использовании примеров решения задачи в промпте.

Идея тут достаточно простая: если показать модели примеры правильного решения задачи, то ей сильно проще будет сделать похожее действие. Собственно, все эти цифры в названии и обозначают число примеров (то нуля до нескольких).

Например, мы хотим в промпте попросить модель оценить, позитивное или негативное высказывание мы подали на вход (то есть, решаем задачу sentiment analysis). В таком случае, мы можем дать несколько примеров того, какой текст мы посчитали "позитивным", а какой "негативным".

Но стоит учитывать, что:
1. Важно учитывать реальное распределение меток.
Например, в той же задаче sentiment analysis. Если мы приведем слишком много позитивных примеров, то модель может начать считать, что выгоднее отвечать более позитивно. Это, в свою очередь, исказит получаемые результаты;
2. Использование примеров влияет на результаты.
Удивительно, но даже не очень точные пользовательские примеры могут улучшать результирующие ответы LLM. Поэтому, добавление примеров – это скорее позитивное изменение промпта, улучшающее качество наших результатов;
3. Few-shot техники имеют свои ограничения.
В случае простых запросов, few-shot подход может быть сильной техникой. Но для более сложных задач, требующих рассуждений, наш подход с примерами может не срабатывать. Чем-то похоже на мем "дорисуй сову". Даже если есть несколько примеров дорисовывания совы из пары кругов - это не значит, что среднему человеку удастся хорошо научиться ее рисовать ;)

#conference

И снова о конференциях.

В мае (21–22 мая) я буду выступать с докладом о галлюцинациях в LLM: что это, как понять, что модель галлюцинирует, как нам с этим работать.

Помимо моего доклада, будет еще много интересных выступлений. В общем, будет на что посмотреть.

Конференция пройдет в онлайн формате (кайф, можно пижаму не снимать).

Подробности, расписание и прочее тут: https://imlconf.com

Я тоже буду выступать на этом митапе. Будут интересные доклады, как от нас, так и от других экспертов рынка
(анонс не увидел сразу, за инфо спасибо https://www.tgoop.com/whatsupxufana)

25 апреля X5 Tech приглашает на митап экспертов в Data Science, чтобы обсудить ML системы и как с помощью новых методов и подходов победить неэффективные процессы.

Поговорим про проверенные и новые методы взаимодействия с пользователями: от рекомендаций музыки до генерации контента и чат-ботов на основе искусственного интеллекта. Ну и обсудим сложности: галлюцинации, мониторинг языковых моделей, методы улучшения RAG-систем.

Регистрируйтесь по ссылке. Мероприятие пройдёт в офлайн и онлайн форматах.

Приходите, будет интересно! 😉

А вот и запись митапа.

Старт с моего доклада, но я рекомендую посмотреть и доклады коллег — они сделали очень клевые и интересные доклады.

https://www.youtube.com/live/bcgFvx6HZnQ?si=OvRtKyG0j3Vkwc0i&t=9113

Коллеги постарались и сделали по мотивам моего выступления статью на хабре.

Поддержите усилия ребят вашими лайками!

https://habr.com/ru/companies/X5Tech/articles/814579/