Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение

This media is not supported in your browser

VIEW IN TELEGRAM

🎯 Нужно ли дообучать embedding-модель

(Спойлер: скорее всего, нет)

Прежде чем браться за fine-tuning, спросите себя:
❓ Проблема реально в нехватке доменных знаний, или же в настройке пайплайна.

Проверьте сначала:
😶 Какой метод чанкования используется? Попробуйте late chunking.
😶 Нужны ли точные совпадения по ключевым словам? Рассмотрите гибридный поиск.
😶 Текущая модель не ловит контекст? Возможно, поможет модель с большим числом измерений.

⚡️ Fine-tuning имеет смысл только тогда, когда модель реально проваливается именно на доменных семантических связях.

Как работает fine-tuning embedding-моделей:
😶 Используется контрастивное обучение, где положительные пары притягиваются, а отрицательные — отталкиваются.
😶 Популярные функции потерь:
→ Multiple Negatives Ranking Loss (простые пары, негативы берутся из батча)
→ Triplet Loss (требует аккуратно подобранных триплетов)
→ Cosine Embedding Loss (учёт градаций схожести)

💰 Хорошая новость: fine-tuning стоит значительно дешевле, чем pre-training. Достаточно 1k–5k качественных примеров для узких доменов и 10k+ для сложных терминологий.

➡️ Подробная статья по теме

🐸 Библиотека дата-сайентиста

#буст

Please open Telegram to view this post

VIEW IN TELEGRAM

👍4🔥3

www.tgoop.com/dsproglib/6880

1.66K viewsedited  Sep 24 at 10:00

🎯 Нужно ли дообучать embedding-модель

(Спойлер: скорее всего, нет)

Прежде чем браться за fine-tuning, спросите себя:
❓ Проблема реально в нехватке доменных знаний, или же в настройке пайплайна.

Проверьте сначала:
😶 Какой метод чанкования используется? Попробуйте late chunking.
😶 Нужны ли точные совпадения по ключевым словам? Рассмотрите гибридный поиск.
😶 Текущая модель не ловит контекст? Возможно, поможет модель с большим числом измерений.

⚡️ Fine-tuning имеет смысл только тогда, когда модель реально проваливается именно на доменных семантических связях.

Как работает fine-tuning embedding-моделей:
😶 Используется контрастивное обучение, где положительные пары притягиваются, а отрицательные — отталкиваются.
😶 Популярные функции потерь:
→ Multiple Negatives Ranking Loss (простые пары, негативы берутся из батча)
→ Triplet Loss (требует аккуратно подобранных триплетов)
→ Cosine Embedding Loss (учёт градаций схожести)

💰 Хорошая новость: fine-tuning стоит значительно дешевле, чем pre-training. Достаточно 1k–5k качественных примеров для узких доменов и 10k+ для сложных терминологий.

➡️ Подробная статья по теме

🐸 Библиотека дата-сайентиста

#буст