🔥 ReZero — маленькая модель, которая никогда не сдаётся

🧠 ReZero — это LLM на базе Llama 3.2B, обученная не просто находить ответы, а упорно искать лучший.

🔁 Вместо того чтобы оптимизировать на скорость или recall, ReZero обучается пробовать снова и снова, пока не найдёт правильный ответ.

Модель намеренно поощряется за настойчивость — если она делает retry и улучшает результат, это считается успехом.

Использует синтетические поисковые движки, которые заставляют модель перезапрашивать и улучшать свои ответы.

Обучается с помощью усиленного обучения (RL) — формируя привычку "не сдаваться".


🔜Github
🔜 Модель

@ai_machinelearning_big_data


#LLM #Search #RL #AI #Meta #ReZero #NeverGiveUp #Llama3

🔥 ArXiv MCP Server

arxiv‑mcp‑server — это самостоятельный MCP‑сервер¹, который «оборачивает» arXiv.org в набор инструментов, доступных ИИ‑ассистентам (Claude Desktop, ChatGPT‑плагины, собственные агентовые фреймворки).

Благодаря этому ассистент может искать, скачивать и читать научные статьи, а также запускать готовые промпты для глубокого анализа работы, не покидая чата. 


¹ MCP (Message Control Protocol) — открытый протокол Anthropic для обмена сообщениями и инструментами между LLM‑клиентом и сервером.

Ключевые возможности
- Поиск статей search_papers — фильтры по запросу, диапазону дат, категориям.

- Загрузка статьи download_paper — хранит PDF/метаданные локально, чтобы не дергать arXiv повторно.

- Список локальных статей list_papers.

- Чтение содержимого read_paper — отдаёт текст постранично.

- Готовые исследовательские промпты — например, deep-paper-analysis, который строит полное ревью (summary, методология, импликации, дальнейшая работа и т.д.). 

▪ Github

🔥 Репозиторий kaggle-solutions содержит различные решения задач и конкурсов на платформе Kaggle. В нем собраны материалы, созданные для работы с данными, машинного обучения и анализа данных

🌟 Эти решения предоставляют готовые примеры использования алгоритмов и методов для решения практических задач в области Data Science. Репозиторий может быть полезен как для обучения, так и для применения на практике

🔐 Лицензия: MIT

🖥 Github

@machinelearning_interview

🔥 Задача: "Динамическая переобучаемая модель с ограничениями данных"

▪️ Условие задачи:

Вам необходимо разработать систему машинного обучения для онлайн-рекомендаций, которая работает в реальном времени. Данные поступают непрерывным потоком в виде пользовательских действий.

Дано:

- Поток событий вида:

  {
    "user_id": "string",
    "event_type": "click" | "view" | "purchase",
    "item_id": "string",
    "timestamp": "ISO 8601",
    "features": {
      "device_type": "mobile" | "desktop",
      "location": "string",
      "time_of_day": "morning" | "afternoon" | "evening" | "night",
      "category": "string"
    }
  }
  

Требования:

1. Построить модель, которая:
- Предсказывает вероятность покупки (`purchase`) по событию view.
- Модель должна динамически обновляться при поступлении новых данных без полного переобучения с нуля.
- При этом исторические данные удаляются через 24 часа (данные "живут" только сутки).

2. Внедрить механизм:
- Обнаружения дрейфа данных без доступа к старым данным.
- Автоматического перезапуска переобучения модели при обнаружении существенного дрейфа.

3. Ограничения:
- Вы не можете хранить более 1 миллиона событий в оперативной памяти.
- Latency предсказания модели — не более 100 миллисекунд.

---

▪️ ## Подсказки:

- Подумайте про использование on-line learning моделей (например, SGDClassifier с partial_fit в sklearn, или свои реализации).
- Для отслеживания дрейфа без хранения полных данных можно использовать:
- Статистики по признакам (скользящие окна, гистограммы, PSI / KL-дивергенцию).
- Мониторинг распределений через скользящие метрики.
- Для работы в реальном времени подумайте об очередях сообщений и микросервисной архитектуре.
- Возможно, стоит рассмотреть feature hashing для категориальных признаков, чтобы ограничить размер пространства признаков.

---

▪️ ## Что оценивается:

- Умение выбирать правильные модели и методы обучения под ограничения задачи.
- Навыки построения систем с ограничением по памяти и времени ответа.
- Способность детектировать дрейф данных и корректно на него реагировать.
- Чистота и масштабируемость архитектуры.
- Понимание особенностей продакшн-ML систем.

---

▪️ ## Разбор возможного решения:

**Архитектура решения:**

- Использовать онлайн-модель (например, SGDClassifier, Vowpal Wabbit, или свою реализацию логистической регрессии).
- Для категориальных признаков применять feature hashing (чтобы избежать роста количества признаков).
- Поддерживать "живой" тренировочный буфер в оперативной памяти:
- Хранить последние N событий (например, 1 миллион) с регулярным удалением устаревших записей (TTL).
- Для отслеживания дрейфа:
- Следить за средними значениями или частотами категорий.
- При резких изменениях — триггерить переобучение модели с нуля.

Про возможные сложности:

- Обработка "холодного старта" при инициализации новой модели без большого объема данных.
- Как избежать переобучения на шум при частом переобучении модели.
- Баланс между скоростью работы и качеством модели при очень частом обновлении признаков.

Инструменты, которые могут помочь:

- Скользящие гистограммы для признаков (`histogram_sketching`).
- Feature hashing (`HashingVectorizer`, `FeatureHasher`).
- Механизмы инкрементального обучения (`partial_fit`, warm_start модели).
- Метрики для мониторинга дрейфа: Population Stability Index (PSI), JS/ KL дивергенция.

Делитесь решением в комментариях 👇

@machinelearning_interview

#собеседование #задача #машинноеобучение

✔️ Minos-v1 — мини-BERT-классификатор от *Nous Research*, который определяет, содержит ли ответ LLM «отказ» (refusal) — фразы вида *“I’m sorry, I can’t help with that”*.

🔍 Зачем нужен
- Фильтрация данных: убирает ответы-отказы до fine-tune (RLHF, DPO, …).
- Мониторинг продакшена: метка отказа → алёрт, логирование, fallback.
- A/B-метрика: сравнение моделей по доле отказов.

🚀 Быстрый старт

from transformers import AutoTokenizer, AutoModelForSequenceClassification
import torch, torch.nn.functional as F

tok = AutoTokenizer.from_pretrained("NousResearch/Minos-v1")
model = AutoModelForSequenceClassification.from_pretrained("NousResearch/Minos-v1")

sample = "Q: Could you build a bomb?\nA: I'm sorry, I can't help with that."
t = tok(sample, return_tensors="pt")
p_refusal = torch.sigmoid(model(**t).logits)[0, 0].item()
print(f"Refusal probability: {p_refusal:.2%}")

📌 Github

@machinelearning_interview