🔗Как понять, что пора перейти на более крупную AI модель

Пора задуматься о более сложной модели, если:

1️⃣ Текущая модель стабильно ошибается или показывает смещение, особенно на сложных или явно нелинейных задачах (например, временные ряды, изображения).

2️⃣ Небольшой прирост точности имеет большую ценность — например, +2% точности могут существенно повлиять на прибыль, снизить риски или повысить безопасность.

3️⃣ При этом нужно учитывать стоимость усложнения: снижение интерпретируемости, рост вычислительных затрат и возможные регуляторные ограничения.

Решение всегда должно быть балансом между выигрышем в качестве и ценой усложнения.

Библиотека собеса по Data Science

🔥 Не пропустите событие лета для DS-комьюнити

23 июня, 19:00 Мск — бесплатный вебинар с Никитой Зелинским «AI-агенты для DS: обзор курса и практические кейсы»

😤 Пока все обсуждают, «как бы внедрить LLM», мы покажем, как строить полноценных AI-агентов, которые делают работу вместо тебя. За час Никита разложит по полочкам:
— архитектуру курса и ключевые модули
— частые ошибки студентов, о которых не принято говорить вслух
— реальные юзкейсы: от чат-ассистентов до систем поддержки решений в проде

➡️ Что почитать от Никиты до Веба:

— Как adversarial-атаки живут даже при смене модели (и почему «подвинуть кровати в борделе» не спасёт)
— Самый быстрый пакетный менеджер uv и эксперимент «pip vs uv»
— 17 методов XAI и 20 метрик на NIPS’24: как не утонуть в «объяснимости»

⚡️ Хотели задать Никите свой каверзный вопрос? Ловите шанс: только в прямом эфире — отвечаем на всё, что обычно «остаётся за кадром».

⏰ МЕСТ МАЛО регистрация закроется, как только забьём комнату. Действуй сейчас → https://clc.to/1iGw6Q

👌 Как оценить качество латентного представления

Один из способов — проверить, насколько хорошо латентные признаки работают в задачах классификации или регрессии. Если они позволяют добиться высокой точности, это признак качественного представления.

Также полезен анализ понижения размерности: можно визуализировать латентное пространство с помощью t-SNE или UMAP. Если похожие объекты из исходных данных остаются близко друг к другу в латентном пространстве, а разные классы — чётко разделены, это тоже говорит о его качестве.

Библиотека собеса по Data Science

➕ Как выбрать пороги бинов при преобразовании непрерывной целевой переменной в классы

Выбор порогов зависит от контекста и распределения данных. Один из подходов — использовать квантильное разбиение, чтобы классы были сбалансированы по числу примеров. Это полезно для предотвращения дисбаланса классов.

Если в данных видны естественные скопления значений или есть доменные границы (например, определённые температуры, при которых человеку комфортно), то лучше использовать именно их. Главное — избегать произвольных порогов, которые могут привести к крайне несбалансированным классам.

Библиотека собеса по Data Science

❓ Как проводить кросс-валидацию, если у вас многоклассовая задача, а некоторые классы крайне редки

Работа с многоклассовыми наборами данных, где некоторые классы сильно недопредставлены, может быть сложной, даже при использовании стратифицированных методов. StratifiedKFold и StratifiedShuffleSplit стараются сохранить пропорции классов в каждом сплите, но если у некоторых классов слишком мало примеров, они могут не попасть в некоторые тестовые выборки. Это происходит просто потому, что данных недостаточно, чтобы обеспечить их равномерное распределение.

Возможные решения:
📝 Убедитесь, что у каждого класса достаточно примеров, чтобы он мог попасть в каждый fold.
📝 Используйте дополнительные техники, например, oversampling редких классов внутри каждого fold-а.
📝 Если возможно, соберите больше данных для малочисленных классов.
📝 В случаях, когда невозможно увеличить объём данных, можно использовать метрики, устойчивые к отсутствию класса в тесте (например, macro F1-score).
📝 Либо реализовать собственную стратегию разбиения, которая будет гарантировать присутствие всех классов в каждом fold-е.

Частные случаи:
📝 Если класс встречается всего несколько раз, он может отсутствовать в части разбиений — даже при стратификации.
📝 При сильной диспропорции классов даже стратифицированные выборки могут иметь искажённое распределение, что потребует аккуратной интерпретации результатов и использования специальных метрик (precision, recall и др.).

Библиотека собеса по Data Science

🌥 Есть ли отраслевые причины сохранять коррелированные признаки

Да, в регулируемых или специализированных отраслях — таких как здравоохранение, страхование или финансы — коррелированные признаки могут быть обязательны для соблюдения требований законодательства или для обеспечения интерпретируемости модели. Даже если признаки статистически избыточны, их нельзя удалять без согласования с доменной экспертизой.

📌 Пример: В модели кредитного скоринга может использоваться несколько показателей кредитоспособности заемщика (например, кредитные рейтинги от разных агентств). Несмотря на высокую корреляцию, удаление одного из них может ухудшить прозрачность модели или вызвать недоверие со стороны регуляторов.

Библиотека собеса по Data Science

❔ Как понижение размерности может помочь SVM и логистической регрессии справляться с выбросами

Понижение размерности (например, с помощью PCA, ICA или автоэнкодеров) сжимает признаки в более компактное представление. Это может выделить выбросы или уменьшить их влияние, особенно если применяются устойчивые методы. Например, в PCA выбросы могут проявляться как точки с аномально высокой дисперсией вдоль главных компонент, что позволяет их легче заметить и учесть до обучения модели.

Однако стоит быть осторожным: обычный PCA чувствителен к выбросам и может построить искажённые компоненты, подстраиваясь под аномалии. Поэтому лучше использовать робастные методы понижения размерности, которые отделяют выбросы от основного (низкорангового) представления данных. После этого SVM и логистическая регрессия обучаются уже на «очищенном» пространстве признаков.

Библиотека собеса по Data Science

🤔 Что делать, если редкий класс встречается менее 1% случаев и обычное увеличение выборки не помогает

Когда редкий класс очень мал (например, менее 1%), простое увеличение выборки (oversampling) может не решить проблему. В некоторых областях, таких как обнаружение мошенничества или аномалий, редкий класс по своей природе сильно отличается от обычных данных. Традиционные методы создания синтетических примеров могут не передавать сложные «аномальные» паттерны.

В таких случаях лучше использовать методы обнаружения аномалий, которые учатся распознавать нормальное поведение и отмечают отклонения. Если всё же применяете увеличение выборки, важно не создавать искусственные данные, слишком похожие на обычные, чтобы не запутать модель.

Также помогает обучение с учётом стоимости ошибок (cost-sensitive learning), которое сильнее штрафует ошибки на редком классе. Для оценки результатов полезно смотреть специальные метрики, например, количество ложных срабатываний и пропусков именно для редкого класса.

Библиотека собеса по Data Science

📍 Зачем использовать log-loss вместо accuracy для оценки качества классификатора

Log-loss (логарифмическая функция потерь) учитывает не только правильность предсказания, но и уверенность модели. Если модель предсказывает правильный класс с низкой уверенностью, log-loss будет наказывать её сильнее, чем accuracy.

Например, если модель предсказывает класс A с вероятностью 0.51, а правильный ответ — A, то accuracy посчитает это успешным предсказанием. Log-loss же зафиксирует, что модель не была уверена. Это особенно важно в задачах, где требуется хорошо откалиброванная вероятность (например, в медицине или при принятии финансовых решений).

Таким образом, log-loss — более строгий критерий, который помогает отбирать не просто «угаданные» модели, а те, которые правильно оценивают свои предсказания.

Библиотека собеса по Data Science

📝 Немного инсайтов из третьего модуля курса

Сейчас большинство представлений об ИИ ограничиваются одним агентом — моделькой, которая что-то предсказывает, генерирует или классифицирует.

Но реальный прорыв начинается, когда этих агентов становится несколько.
Когда они начинают взаимодействовать друг с другом.
Когда появляется координация, распределение ролей, память, планирование — всё это и есть мультиагентные системы (MAS).

➡️ Пока кто-то думает, что это звучит как научная фантастика, индустрия уже переходит к новым уровням сложности:
— Microsoft делает язык DroidSpeak для общения между LLM
— Open Source-фреймворки вроде LangChain, AutoGen, CrewAI, LangGraph — бурно развиваются
— компании, включая МТС, уже применяют MAS в боевых задачах

🎓 На курсе мы подходим к этому практично:
🔵 разбираем, как устроены MAS
🔵 пишем агентов с нуля
🔵 учимся выстраивать взаимодействие: конкуренцию, кооперацию, планирование

Именно на третьем уроке вы впервые собираете не просто «умного бота», а живую систему из агентов, которая работает вместе — как команда.

Причём по-настоящему: врач, SQL-аналитик, travel-планировщик, Python-генератор, поисковик.

🙂 Если хочется не просто использовать ИИ, а проектировать системы, которые думают, планируют и сотрудничают → тогда забирайте курс по ИИ-агентам

👇 Когда стоит рассмотреть использование специализированных решателей вместо стандартных градиентных фреймворков глубокого обучения

Хотя PyTorch или TensorFlow способны справляться со многими задачами с ограничениями, есть ситуации, когда специализированные решатели оказываются более подходящими:

• Комбинаторные или целочисленные ограничения: если необходимо обеспечить дискретность выходных данных или комбинаторную допустимость (например, в задачах планирования или маршрутизации), более эффективными могут быть методы смешанного целочисленного программирования.

• Жёсткие физические или операционные ограничения: в инженерном проектировании или исследовании операций ограничения часто настолько строгие, что естественнее использовать методы вроде ветвей и границ или внутренней точки.

• Высокомерные и связанные между собой ограничения: если ограничения затрагивают множество взаимодействующих переменных (например, потоки в сетях, многопериодное планирование), общие решатели, способные обрабатывать крупномасштабные задачи с ограничениями, могут быть быстрее или надёжнее.

Потенциальные сложности и крайние случаи:

• Сложная интеграция: связать параметры нейросети с внешним решателем требует дополнительных усилий для организации связи или передачи градиентов (некоторые решатели не являются полностью дифференцируемыми).

• Ограниченная масштабируемость: некоторые специализированные решатели могут не справляться с задачами, где размерность проблем или сети очень велика.

Библиотека собеса по Data Science

🖍 Почему в задачах обработки текста важно учитывать порядок слов, а не только их частоту

Порядок слов несёт ключевую смысловую информацию, которая часто теряется при простом подсчёте частоты слов (мешок слов). Например, фразы «кот chased мышь» и «мышь chased кот» имеют одинаковые слова, но совсем разный смысл.

Учёт порядка помогает моделям понять контекст, отношения между словами и построить более точное представление текста, что особенно важно в задачах перевода, анализа тональности и ответах на вопросы.

Библиотека собеса по Data Science

🌸 Почему иногда полезно использовать аугментацию данных даже при большом объёме обучающей выборки

Аугментация помогает не только в условиях дефицита данных, но и при их избыточности — она повышает разнообразие обучающего набора. Даже если данных много, они могут быть однородными или содержать скрытые смещения (bias).

Аугментация (например, случайные повороты изображений, перестановки слов в тексте, добавление шума) помогает модели стать устойчивее к небольшим изменениям входных данных и улучшает её способность обобщать. Это особенно полезно в реальных задачах, где на этапе инференса данные могут немного отличаться от обучающих.

Библиотека собеса по Data Science

✨ Зачем иногда использовать вероятностные модели, если можно просто выбрать класс с наибольшей вероятностью

Выбор класса с наибольшей вероятностью даёт одно конкретное решение, но теряет информацию об уверенности модели. В некоторых задачах (например, медицине, кредитном скоринге, системах рекомендаций) важно не только знать что модель предсказывает, но и насколько она в этом уверена.

Вероятностный вывод позволяет:
— учитывать риски при принятии решений,
— строить более надёжные ансамбли,
— калибровать пороги отсечения для разных задач (например, при дисбалансе классов),
— делать «мягкие» предсказания для downstream-задач.

Таким образом, вероятности дают больше гибкости и контроля в использовании модели.

Библиотека собеса по Data Science

🔖 Почему в задачах машинного обучения важно фиксировать случайное зерно (random seed)

Во многих алгоритмах машинного обучения присутствует случайность — например, в инициализации весов, случайных разбиениях данных, выборе подмножеств признаков и т.д. Без фиксации random seed каждый запуск модели может давать немного разные результаты.

Фиксация случайного зерна позволяет сделать эксперименты воспроизводимыми: другие исследователи (или вы сами позже) смогут получить те же результаты и проверить корректность методики. Это особенно важно при сравнении моделей, отладке и написании научных статей.

Библиотека собеса по Data Science

🔎 Зачем использовать метод главных компонент (PCA), если модель и так может работать с большим числом признаков

Хотя современные модели способны обрабатывать высокоразмерные данные, большое количество признаков может привести к проклятию размерности, увеличению времени обучения, риску переобучения и ухудшению интерпретируемости.

PCA помогает уменьшить размерность, сохранив основную информацию — он находит новые оси (комбинации признаков), по которым данные варьируются сильнее всего. Это ускоряет обучение, уменьшает шум, помогает визуализировать данные и делает модель более устойчивой, особенно когда среди признаков есть коррелирующие или нерелевантные.

Библиотека собеса по Data Science