​​#разное

Написал стихотворение для конкурса, но оно никуда не прошло (бывает). Там было несколько тем на выбор, я в итоге совместил две: "зима" и "любовь". Выложу сюда (все равно отпуск, мне что-то писать слишком лениво). Пунктуации там нет, потому что мне ее было неохота уже причесывать (но это и не мешает, если подумать).

Сковало город 
Звенящей коркой льда
Блестят холодных улиц
Белесые глазницы

Теряются в груди слова
Клубятся паром вздохи
И снегом опадают
На улицы столицы 

Смотрю я на тебя
И будто сквозь
Старательно молчу 
Холодными словами

Тебя не удержать
Уходим врозь
А ведь когда-то
Мы не следили за часами

P.S. Иллюстрация от бинга (то бишь, от Dalle-3). Вышло весьма годно (суть передана вполне себе хорошо).

#разное

Я тут узнал, что фамилия Альтман переводится, как "старый человек". И мы как раз знаем одного Альтмана, который (после множества приключений) работает в OpenAI. И, в какой-то степени, он создает нового человека. Иронично

#разное

Немного о гемба. Этим прекрасным нихонским словом на Руси зовут обычный выход на полевую работу. Очень полезно иногда воспользоваться тем, что разрабатываешь (особенно для продактов).

Собственно, в эту пятницу я сходил в ближайшую Пятерочку немного помочь людям в магазине с их работой (в меру своих небольших сил).

Опыт интересный, работать в магазине не так уж просто. Клево понимать, как реально работает то, что ты видишь только в виде сухих цифр статистики (так еще и по большому множеству объектов). Особенно порадовало, что только что выложенный товар кто-то берет, ну и приятно было помочь с поиском товара, да и послушать мнение какого-то случайного старика про то, какое же безалкогольное пиво лучше.

В общем. Если вы не пытались поделать работу на нижнем уровне (прямо в поле) - то советую об этом подумать. Узнаете много нового ;)

P.S. Помню, как работал в такси аналитиком. Было печально видеть, как отказывается тебя везти водитель твоего же сервиса такси. В итоге я уехал на такси-конкуренте ;)

​​#statistics

В прошлом году я рассказывал на Дата Елке доклад про балансировку в causal inference. Коллеги поднапряглись и сделали из этого увлекательное чтиво на Хабре. Статья получилась достаточно объемная и интересная (еще бы я не похвалил материал, таки это основано на моем докладе).

В общем, наслаждайтесь и просвещайтесь!

#разное

Еще похвастаю.

Тут к новому году вышло пару моих новых рассказов. А еще, все сборники, в которые я попал со своими рассказами, есть в онлайне (вдруг, кто хочет почитать). Сборники "Русская история ужасов", "НФ (Новая Фантастика)", "Питер#2". Везде под своим именем, без псевдонима (Артем Ерохин).

В январе выйдет еще рассказ, но в сборнике другого издательства. Будет еще один сборник ужасов в коллекцию.

С наступающим!

Красивое
Microsoft Light Simulator
A* (A Star) pathfinding algorithm visualized on the city streets of Chicago and Rome.

Data from OpenStreetMap, OSMnx - intersections of streets represented as nodes and streets as edges
Tools used for visualization - Python, Blender

youtube

#разное

В этом году снова получил премию лучшего ментора ODS. Плюс, еще и вошел в список топ докладов года (там много клевых докладов, стоит посмотреть).

Приятно чувствовать, что твои заслуги признает сообщество ;)

#statistics

Сделал тут недавно подборку разных методов и тестов для лекции и семинара по статистике (она, конечно, в упрощенном виде была, все же это занятие было для менеджеров). Все в excel. Умаялся, конечно, знатно. Но вдруг кому будет полезно (если вы в эксельках что-то считаете, конечно). Там даже бутстреп есть.

P.S. Я немного отвлеченно это делал, так что могут быть опечатки в формулах. Надеюсь, что не очень много ;)

В марте буду вещать про эти ваши LLM (и как это дружит с разметкой данных)

🔥 Артем Ерохин, X5 Tech: «Как сократить затраты на разметку данных с помощью LLM»
✅ Большие языковые модели стремительно ворвались в нашу жизнь и изменили ее. 28 марта на форуме Data&AI 2024 Артем Ерохин, ведущий менеджер по работе с большими данными X5 Tech, расскажет, как сократить издержки на разметку данных с помощью LLM, как такие модели могут использоваться для разметки, какие существуют сценарии улучшения качества и ограничения использования, а также какой опыт применения LLM к разметке данных имеется в розничной компании X5.
📣Внимание! Акция «1+1»!
Только до 7 марта - 2 онлайн-билета - по цене 1!
👉Спешите регистрироваться👉

#ml #llm

Коль я уж занимаюсь последнее время LLM, давайте о них и поговорим. Итак, начнем с простых вещей. Много кто пытался вывести "формулу идеального промпта" (ей богу, звучит максимально алхимически, почти "формула философского камня"). В итоге есть множество вариантов, как именно лучше писать промпт. Давайте рассмотрим один из таких вариантов:

1. Задача.
Четкое и детальное описание задачи, которую требуется решить LLM. Самая важная часть, в которой мы описываем, а что же мы хотели от модели. Некорректная постановка задачи приведет к некорректному ответу. 
2. Контекст.
Дополнительный контекст, который может быть важен для задачи. Можно определить, с какой позиции нужно рассматривать вопрос, вносить дополнительные справочные данные или иную важную для получения результата информацию.
Частью контекста может быть т.н. “Персона”, то есть детальное описание, с какой точки зрения смотреть на задачу. 
3. Примеры/Пояснения.
Мы можем привести дополнительные разъяснения о том, как именно мы хотели бы решить задачу. Например, указать, нужно ли нам детальное решение или краткое, должен ли быть тон профессиональным или дружелюбным и т.д.
Отдельно мы можем привести пример (или несколько примеров) того, как должна быть решена задача. Конечно, если такой пример в принципе можно привести.
4. Формат.
В этой части мы можем указать, в какой формате нам нужен ответ. Это должна быть таблица, план решения задачи, работоспособный код на определенном языке? Все это позволяет точнее зафиксировать, как именно модель должна нам ответить.

Некоторые из пунктов дробят на меньшие сущности (например, выделяют "персону/роль" в отдельную сущность). В других материалах дополнительно приводят "важность" каждой составляющей (Задача важнее всего, потом идет контекст, а потом уже примеры/пояснения, описание роли, формат ответа и т.п.). Но в целом все крутится примерно около того же самого.

Получаем, что Промпт = Задача + Контекст + Примеры/Пояснения + Формат итога

На прошлой неделе в Лос-Анджелесе состоялся показ фильма Our T2 Remake — нейросетевой пародии на «Терминатор 2: Судный день» Джеймса Кэмерона.

Процесс такой: оригинальный фильм разделили на 50 частей, каждую из которых отдали разным AI-художникам, которым была дана полная свобода в смысловой и визуальной интерпретации своих фрагментов.

По отзывам журналистов и блоггеров, результат больше похож на лоскутное одеяло из скетчей разного качества: некоторые части выполнены как анимационные фильмы, другие стилизованы под видеоигры, музыкальные клипы, классические ситкомы и сериалы 90-х.

Журналист Баратунде Ферстон отметил, что «это очередное напоминание о том, что доступность ИИ-инструментов пока никак не гарантирует качество их результатов»

Из-за авторских прав Our T2 Remake не использует ни одного кадра из фильма 1991 года, а также звуки, фрагменты диалогов или легендарную музыку Бреда Фиделя. А во избежание других юридических проблем вся затея с AI-ремейком названа «пародией»: с них в Голливуде спрос меньше.

#ml #llm

Продолжаем базовые советы по написанию промптов к LLM:
1. Начинать лучше с простого.
Вместо того, чтобы сразу писать очень сложный детальный промпт, лучше начать с простого описания того, что хочется получить. И постепенно улучшать промпт, пока ответ не начнет вас удовлетворять;
2. В некоторых случаях лучше писать промпт на английском языке.
Интуиция тут простая – больше всего контента, который был в обучении нейросети, на английском (+ я недавно видел статью, авторы которой в результате экспериментов пришли к выводу, что модели "думают" на английском, даже когда с ними работают на иных языках). Поэкспериментировать стоит, если никак не удается получить корректный ответ с русским промптом;
3. Избегайте неточностей.
Лучше быть как можно более конкретным и прямым. Например, если вы хотите получить короткий текст, то вместо “опиши кратко” лучше четко указать, что хотите видеть ответ в “двух предложениях”.
Это же относится и к описанию задачи. Лучше избегать двусмысленных трактовок.
4. Экспериментируйте.
Лучше попробовать несколько вариантов и/или подходов и сравнить результаты. Не всегда первое пришедшее в голову описание задачи будет наилучшим по качеству. 
5. Сконцентрируйтесь на том, что нужно сделать.
При описании желаемого поведения, лучше концентрироваться на том, что нужно сделать. Описание нежеланного поведения (по наблюдениям) работает хуже. То есть, нам лучше описывать то, что мы хотим, а не то, чего бы мы не хотели. 
6. Учитывайте длину контекста.
Количество входной информации, которое может обработать LLM ограничено (впрочем, в последнее время с этим стало попроще). Стоит это учитывать при использовании больших промптов или попытках подачи в качестве контекста больших объемов информации (инструкции, книги, иные объемные тексты).