☕️ ИИ в каждой кофеварке
(как Fellow Aiden + ChatGPT делают бариста лишним)
Представьте: вы ставите чашку, фоткаете пачку зёрен — и машина сама подбирает температуру, пролив и время. Никакой магии: немного open-source, чуть LLM — и ваша кухня уже в 2025-м.
История началась с энтузиаста по имени Брэндон Диксон, который выложил в открытый доступ целый SDK для кофемашин Aiden: любой желающий мог прошивать машины собственными рецептами. Чуть позже другой участник кофейного Reddit-комьюнити, скрывающийся под ником SibiantheGreyBird, взял этот код, добавил к нему ChatGPT и получил то, что мгновенно выстрелило: бот, который по фотографии пачки подбирает параметры заваривания.
Откуда у модели такие «знания»? Всё просто: в её «память» загружены сотни опубликованных профилей Fellow Drop, плюс базовые принципы ручного pour-over. В результате GPT не размышляет о высоком кулинарном искусстве, а всего лишь корректно выдаёт три числа — температуру, соотношение кофе и воды и параметры bloom. Оказалось, что в этой узкой задаче LLM работает лучше, чем средний любитель.
Дальше включается магия обратной связи. Заварил, попробовал, сказал боту «кисло» или «горчит» — модель мгновенно пересчитала рецепт: убрала пару градусов, сократила bloom, изменила помол. Каждый такой отклик буквально тюнит модель под личные предпочтения пользователя. Получается маленький локальный reinforcement loop без всяких GPU-ферм — и кофе становится лучше буквально от чашки к чашке.
Весь процесс занимает считаные минуты. Если у тебя уже есть Aiden, открываешь GPT-чат прямо в телефоне, отправляешь фотографию пачки, через секунду получаешь JSON-рецепт и импортируешь его в приложение Fellow. Нет умной кофеварки — не беда: тот же рецепт можно отыграть в ручной V60 или кемексом и сравнить результат с традиционным «на глаз».
Что особенно ценно в этой истории, так это универсальность идеи. Если три параметра достаточно, чтобы вывести вкус кофе на новый уровень, то почему бы не применить тот же трюк к стиральной машине или утюгу? Ткань, цвет, влажность воздуха — и программа стирки подстраивается автоматически. Больше не надо крутить ничего на утюге (я все равно никогда не знаю как его надо настроить). Приборы начинают понимать не кнопки, а твои намерения.
ИИ уже варит утренний кофе. Остался весь остальной дом.
(как Fellow Aiden + ChatGPT делают бариста лишним)
Представьте: вы ставите чашку, фоткаете пачку зёрен — и машина сама подбирает температуру, пролив и время. Никакой магии: немного open-source, чуть LLM — и ваша кухня уже в 2025-м.
История началась с энтузиаста по имени Брэндон Диксон, который выложил в открытый доступ целый SDK для кофемашин Aiden: любой желающий мог прошивать машины собственными рецептами. Чуть позже другой участник кофейного Reddit-комьюнити, скрывающийся под ником SibiantheGreyBird, взял этот код, добавил к нему ChatGPT и получил то, что мгновенно выстрелило: бот, который по фотографии пачки подбирает параметры заваривания.
Откуда у модели такие «знания»? Всё просто: в её «память» загружены сотни опубликованных профилей Fellow Drop, плюс базовые принципы ручного pour-over. В результате GPT не размышляет о высоком кулинарном искусстве, а всего лишь корректно выдаёт три числа — температуру, соотношение кофе и воды и параметры bloom. Оказалось, что в этой узкой задаче LLM работает лучше, чем средний любитель.
Дальше включается магия обратной связи. Заварил, попробовал, сказал боту «кисло» или «горчит» — модель мгновенно пересчитала рецепт: убрала пару градусов, сократила bloom, изменила помол. Каждый такой отклик буквально тюнит модель под личные предпочтения пользователя. Получается маленький локальный reinforcement loop без всяких GPU-ферм — и кофе становится лучше буквально от чашки к чашке.
Весь процесс занимает считаные минуты. Если у тебя уже есть Aiden, открываешь GPT-чат прямо в телефоне, отправляешь фотографию пачки, через секунду получаешь JSON-рецепт и импортируешь его в приложение Fellow. Нет умной кофеварки — не беда: тот же рецепт можно отыграть в ручной V60 или кемексом и сравнить результат с традиционным «на глаз».
Что особенно ценно в этой истории, так это универсальность идеи. Если три параметра достаточно, чтобы вывести вкус кофе на новый уровень, то почему бы не применить тот же трюк к стиральной машине или утюгу? Ткань, цвет, влажность воздуха — и программа стирки подстраивается автоматически. Больше не надо крутить ничего на утюге (я все равно никогда не знаю как его надо настроить). Приборы начинают понимать не кнопки, а твои намерения.
ИИ уже варит утренний кофе. Остался весь остальной дом.
❤17👍8🔥8
🔥 AI-пикник — совместный проект “AI для всех” и ODS!
Друзья, наконец-то встречаемся офлайн, чтобы пообщаться, обменяться идеями и просто классно провести вечер.
📅 Когда?
15 июля, вторник, 18:00.
📍 Где?
Пикниковая зона, Парк Горького / Музеон
Яндекс-карта
💡 Что будет
• Свободный нетворкинг: знакомства, обмен опытом и мемами про GPU.
• Lightning Talks (5 мин): расскажите о проекте, фейле или инсайте.
• “Уголок вопросов” для джунов и тех, кто ещё ищет себя.
🍎 Что взять
Плед / складной стул, напитки и перекус, репеллент (комары любят AI-talks). Главное — желание делиться знаниями и хорошим настроением!
🙌 Как присоединиться
1. Добавляйся в чат
2. Хочешь сделать lightning-доклад? Напиши @crimeacs в личку.
До встречи 15 июля под тёплым московским закатом!
— AI для всех × ODS 🎈
Друзья, наконец-то встречаемся офлайн, чтобы пообщаться, обменяться идеями и просто классно провести вечер.
📅 Когда?
15 июля, вторник, 18:00.
📍 Где?
Пикниковая зона, Парк Горького / Музеон
Яндекс-карта
💡 Что будет
• Свободный нетворкинг: знакомства, обмен опытом и мемами про GPU.
• Lightning Talks (5 мин): расскажите о проекте, фейле или инсайте.
• “Уголок вопросов” для джунов и тех, кто ещё ищет себя.
🍎 Что взять
Плед / складной стул, напитки и перекус, репеллент (комары любят AI-talks). Главное — желание делиться знаниями и хорошим настроением!
🙌 Как присоединиться
1. Добавляйся в чат
2. Хочешь сделать lightning-доклад? Напиши @crimeacs в личку.
До встречи 15 июля под тёплым московским закатом!
— AI для всех × ODS 🎈
❤8🔥7🤩3
SingLoRA — следующий шаг на пути к дешевому Файн-тюнингу
Исследователи из Техниона придумали как удешевить LoRA в ~2 раза
⏪ 2021: первый «выстрел» LoRA
Когда GPT-3 только научилась писать стихи, выяснилось, что полное дообучение 175-миллиардной сети — удовольствие для дата-центров, а не для энтузиастов. Статья LoRA показала: можно заморозить исходные веса и подкинуть к ним пару маленьких матриц A и B. Так мы адаптируем модель, меняя 0.05 % параметров, что позволяет дообучать большие модели на маленьких карточках.
⏩ 2023: QLoRA и гонка за VRAM
Следующий шаг — QLoRA. Авторы сжали саму LLM до 4-бит, а поверх добавили всё те же LoRA-адаптеры. Результат: Guanaco-65B дообучается на одной 48 GB A100 и почти догоняет ChatGPT по бенчмаркам.
⛔️ Но всплыла проблема «двух матриц»
Практики заметили: A и B любят «разбегаться» по масштабу. Приходится подбирать два learning-rate или прописывать специальные нормировки; иначе градиенты скачут и метрика пляшет. Об этой же нестабильности предупреждает и сам оригинальный абстракт LoRA.
🎉 2025: выходит SingLoRA
Новая работа “SingLoRA: Low-Rank Adaptation Using a Single Matrix” предлагает радикальное (и теперь кажущееся очевидным) решение: оставить только одну матрицу A и прибавлять к весам симметричное A*A^T. Половина параметров — половина забот.
• Нестабильность убрана: один learning-rate;
• Больше качества: LLaMA-7B на MNLI даёт 91 % против 89 % у классической LoRA;
• Меньше памяти: адаптер занимает вдвое меньше, значит, в карточку влезает вдвое больше.
Что происходит под капотом
1. Симметрия не мешает. В self-attention матрица для queries и для keys разная, поэтому итоговое QK^T остаётся полноценным, а не «зеркальным».
2. Теория бесконечной ширины доказывает: при обычном LR градиенты не взорваются.
🚀 Как попробовать за вечер
Шаг 1. В коде LoRA замените delta_W = B @ A на
delta_W = (alpha / r) * (A @ A.T)
Шаг 2. Оставьте один LR; warm-up по желанию (авторы берут 1 % шагов).
Шаг 3. При сохранении модели кладите в чек-пойнт только A — всё, адаптер готов.
Итоги
LoRA в 2021-м экономила память, QLoRA в 2023-м экономила ещё больше, а SingLoRA в 2025-м внезапно делает то же самое, убрав половину параметров. Если вы уже привыкли добавлять Adapter-блоки повсюду, самое время протестировать версию «sing».
Исследователи из Техниона придумали как удешевить LoRA в ~2 раза
⏪ 2021: первый «выстрел» LoRA
Когда GPT-3 только научилась писать стихи, выяснилось, что полное дообучение 175-миллиардной сети — удовольствие для дата-центров, а не для энтузиастов. Статья LoRA показала: можно заморозить исходные веса и подкинуть к ним пару маленьких матриц A и B. Так мы адаптируем модель, меняя 0.05 % параметров, что позволяет дообучать большие модели на маленьких карточках.
⏩ 2023: QLoRA и гонка за VRAM
Следующий шаг — QLoRA. Авторы сжали саму LLM до 4-бит, а поверх добавили всё те же LoRA-адаптеры. Результат: Guanaco-65B дообучается на одной 48 GB A100 и почти догоняет ChatGPT по бенчмаркам.
⛔️ Но всплыла проблема «двух матриц»
Практики заметили: A и B любят «разбегаться» по масштабу. Приходится подбирать два learning-rate или прописывать специальные нормировки; иначе градиенты скачут и метрика пляшет. Об этой же нестабильности предупреждает и сам оригинальный абстракт LoRA.
🎉 2025: выходит SingLoRA
Новая работа “SingLoRA: Low-Rank Adaptation Using a Single Matrix” предлагает радикальное (и теперь кажущееся очевидным) решение: оставить только одну матрицу A и прибавлять к весам симметричное A*A^T. Половина параметров — половина забот.
• Нестабильность убрана: один learning-rate;
• Больше качества: LLaMA-7B на MNLI даёт 91 % против 89 % у классической LoRA;
• Меньше памяти: адаптер занимает вдвое меньше, значит, в карточку влезает вдвое больше.
Что происходит под капотом
1. Симметрия не мешает. В self-attention матрица для queries и для keys разная, поэтому итоговое QK^T остаётся полноценным, а не «зеркальным».
2. Теория бесконечной ширины доказывает: при обычном LR градиенты не взорваются.
🚀 Как попробовать за вечер
Шаг 1. В коде LoRA замените delta_W = B @ A на
delta_W = (alpha / r) * (A @ A.T)
Шаг 2. Оставьте один LR; warm-up по желанию (авторы берут 1 % шагов).
Шаг 3. При сохранении модели кладите в чек-пойнт только A — всё, адаптер готов.
Итоги
LoRA в 2021-м экономила память, QLoRA в 2023-м экономила ещё больше, а SingLoRA в 2025-м внезапно делает то же самое, убрав половину параметров. Если вы уже привыкли добавлять Adapter-блоки повсюду, самое время протестировать версию «sing».
❤19🔥12👍6
🚀 Как построить LLM-микросервис
🗺️ Ситуация — короткий пролог
Нац-парк расставил 600 камер. Каждую ночь сыпятся сотни тысяч кадров.
Люди: 3 стажёра, 400 снимков в час, precision 0.90, recall 0.55. Устают, ошибаются.
Цель: автоматизировать так, чтобы, при сравнимом precision (когда мы сказали что зверь на фото есть, он там правда был) обнаруживать больше зверей на снимках (увеличить recall).
Как построить LLM-микросервис, который справится с этой задачей за секунды и будет стоит дешевле одной ночной пицца-парти?
🔧 Три слоя, которые делают магию
1️⃣ Инструкции — «толстый мануал на одной руке»
Мы хотим справиться с этой задачей в режиме Zero-shot ➜ значит все правила должны жить в system-prompt. Давайте разберем структуру:
2️⃣ Контекст — актуальная микро-порция данных
Для каждого кадра в prompt попадают:
• EXIF-метки (дата, время, температура).
• Три последних события на этой камере.
• Сезонный список активных видов для региона.
3️⃣ Предсказание + проверка
1. LLM выдаёт JSON.
2. Скрипт-валидатор: формат? сумма правил?
3. Если что-то не так ➜ второй прогон.
Если все сделали правильно получаем precision 0.95, recall 0.89.
✏️ Чек-лист
– Мануал покрывает все edge-кейсы?
– В prompt попадают ровно нужные фичи?
– Есть автоматический ретрай с лимитом ≤3?
– Precision / recall считаются в проде, а не в «потом посмотрим»?
Это пример игрушечный, но вполне применим для почти любой бизнес задачи. А какую задачу в вашем проекте вы бы доверили LLM-микросервису первой?
🗺️ Ситуация — короткий пролог
Нац-парк расставил 600 камер. Каждую ночь сыпятся сотни тысяч кадров.
Люди: 3 стажёра, 400 снимков в час, precision 0.90, recall 0.55. Устают, ошибаются.
Цель: автоматизировать так, чтобы, при сравнимом precision (когда мы сказали что зверь на фото есть, он там правда был) обнаруживать больше зверей на снимках (увеличить recall).
Как построить LLM-микросервис, который справится с этой задачей за секунды и будет стоит дешевле одной ночной пицца-парти?
🔧 Три слоя, которые делают магию
1️⃣ Инструкции — «толстый мануал на одной руке»
Мы хотим справиться с этой задачей в режиме Zero-shot ➜ значит все правила должны жить в system-prompt. Давайте разберем структуру:
ROLE: Полевой биолог-инспектор.
ЗАДАЧА: классифицировать кадр как "none" или определить животное
ФОРМАТ: JSON { “reasoning”: str, "label": str }
ПРАВИЛА:
1. Human.
Вертикальный силуэт + двуногая походка или «неприродные» формы/цвета → метка human.
2. Elk vs Boar.
• Есть лопатообразные рога, «борода»-bell или характерный «горб» холке → elk.
• Узкая клинообразная морда, коренастое тёмное тело, поросячьи полосы → boar.
3. Unknown-фильтр.
Если объект < 30 % кадра, детали размыты/в тени → unknown.2️⃣ Контекст — актуальная микро-порция данных
Для каждого кадра в prompt попадают:
• EXIF-метки (дата, время, температура).
• Три последних события на этой камере.
• Сезонный список активных видов для региона.
3️⃣ Предсказание + проверка
1. LLM выдаёт JSON.
2. Скрипт-валидатор: формат? сумма правил?
3. Если что-то не так ➜ второй прогон.
Если все сделали правильно получаем precision 0.95, recall 0.89.
✏️ Чек-лист
– Мануал покрывает все edge-кейсы?
– В prompt попадают ровно нужные фичи?
– Есть автоматический ретрай с лимитом ≤3?
– Precision / recall считаются в проде, а не в «потом посмотрим»?
Это пример игрушечный, но вполне применим для почти любой бизнес задачи. А какую задачу в вашем проекте вы бы доверили LLM-микросервису первой?
👍12🔥6❤5