Машинное и глубокое обучение ОНЛАЙН-УЧЕБНИК Виктор Владимирович Китов
Учебник содержит выжимку основных материалов на основе читаемых автором курсов на факультете вычислительной математики и кибернетики (ВМК) в МГУ им. М.В.Ломоносова, а также в магистратуре Т-Банка для студентов МФТИ.
Этот онлайн-учебник посвящен увлекательной, перспективной и бурно развивающейся теме машинного обучения (machine learning) и глубокого обучения (deep learning), позволяющей наделять компьютерные программы возможностью принимать сложные интеллектуальные решения, автоматически настраиваемые по наблюдаемым данным. В первой части учебника (машинное обучение) рассматриваются основные задачи и понятия машинного обучения, методы их решения, оценка качества результатов и способы интерпретации моделей машинного обучения. Во второй части (глубокое обучение) изучаются нейронные сети, способы их эффективной настройки и архитектуры для решения различных задач.
Цель учебника состоит в том, чтобы предоставить образовательные материалы в открытый доступ для широкого круга читателей, как совсем не знакомых с областью, так и имеющих в ней некоторый опыт. Описание даётся как на интуитивном уровне, так и используя математические выкладки, поэтому предполагается знакомство читателя с основами математического анализа, теории вероятностей и математической статистикой. За исключением основ высшей математики, учебник полностью самодостаточный. Предварительного знакомства читателя с машинным обучения не требуется, поскольку в учебнике описывается весь цикл разработки моделей от постановки задачи и подготовки данных до оценки качества прогнозов и интерпретации результатов.
Для обратной связи по сайту, материалам и общим вопросам пишите на [email protected].
С правами использования материала учебника вы можете ознакомиться в разделе лицензия.
Разработка и систематизация материалов поддержана грантом некоммерческого фонда развития науки и образования «Интеллект».
📓 Ссылка на книгу
Учебник содержит выжимку основных материалов на основе читаемых автором курсов на факультете вычислительной математики и кибернетики (ВМК) в МГУ им. М.В.Ломоносова, а также в магистратуре Т-Банка для студентов МФТИ.
Этот онлайн-учебник посвящен увлекательной, перспективной и бурно развивающейся теме машинного обучения (machine learning) и глубокого обучения (deep learning), позволяющей наделять компьютерные программы возможностью принимать сложные интеллектуальные решения, автоматически настраиваемые по наблюдаемым данным. В первой части учебника (машинное обучение) рассматриваются основные задачи и понятия машинного обучения, методы их решения, оценка качества результатов и способы интерпретации моделей машинного обучения. Во второй части (глубокое обучение) изучаются нейронные сети, способы их эффективной настройки и архитектуры для решения различных задач.
Цель учебника состоит в том, чтобы предоставить образовательные материалы в открытый доступ для широкого круга читателей, как совсем не знакомых с областью, так и имеющих в ней некоторый опыт. Описание даётся как на интуитивном уровне, так и используя математические выкладки, поэтому предполагается знакомство читателя с основами математического анализа, теории вероятностей и математической статистикой. За исключением основ высшей математики, учебник полностью самодостаточный. Предварительного знакомства читателя с машинным обучения не требуется, поскольку в учебнике описывается весь цикл разработки моделей от постановки задачи и подготовки данных до оценки качества прогнозов и интерпретации результатов.
Для обратной связи по сайту, материалам и общим вопросам пишите на [email protected].
С правами использования материала учебника вы можете ознакомиться в разделе лицензия.
Разработка и систематизация материалов поддержана грантом некоммерческого фонда развития науки и образования «Интеллект».
📓 Ссылка на книгу
👍4❤1
Forwarded from Machinelearning
Исследовательская группа под патронажем Centrale Supélec (Университет Париж-Сакле) выпустила в открытый доступ EuroBERT — семейство мультиязычных энкодеров, обученных на 5 трлн. токенов из 15 языков, включая русский.
EuroBERT сочетает инновационную архитектуру с поддержкой контекста до 8192 токенов, что делает это семейство идеальным для анализа документов, поиска информации, классификации, регрессии последовательности, оценки качества, оценки резюме и задач, связанных с программированием, решением математических задачи.
В отличие от предшественников (XLM-RoBERTa и mGTE), EuroBERT объединил GQA, RoPE и среднеквадратичную нормализацию, чтобы достичь беспрецедентной эффективности производительности даже в сложных задачах. Второе немаловажное преимущество EuroBERT - в обучение помимо текстовых данных были включены примеры кода и решения математических задач.
Самая младшая модель EuroBERT с 210 млн. параметров показала рекордные результаты: в тесте MIRACL по многоязычному поиску её точность достигла 95%, а в классификации отзывов (AmazonReviews) — 64,5%. Особенно выделяется умение работать с кодом и математикой — в бенчмарках CodeSearchNet и MathShepherd EuroBERT опережает аналоги на 10–15%.
⚠️ EuroBERT можно использовать непосредственно с
transformers
, начиная с версии 4.48.0⚠️ Для достижения максимальной эффективности, разработчики рекомендуют запускать EuroBERT с
Flash Attention 2
from transformers import AutoTokenizer, AutoModelForMaskedLM
model_id = "EuroBERT/EuroBERT-210m"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForMaskedLM.from_pretrained(model_id, trust_remote_code=True)
text = "The capital of France is <|mask|>."
inputs = tokenizer(text, return_tensors="pt")
outputs = model(**inputs)
# To get predictions for the mask:
masked_index = inputs["input_ids"][0].tolist().index(tokenizer.mask_token_id)
predicted_token_id = outputs.logits[0, masked_index].argmax(axis=-1)
predicted_token = tokenizer.decode(predicted_token_id)
print("Predicted token:", predicted_token)
# Predicted token: Paris
@ai_machinelearning_big_data
#AI #ML #Encoder #EuroBERT
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5
Forwarded from Python/ django
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2❤1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
⚡️ pandas-ai — это open-source библиотека, позволяющая интегрировать возможности искусственного интеллекта в работу с DataFrame библиотеки pandas.
▪ Интеграция ИИ с pandas: Проект позволяет задавать вопросы на естественном языке относительно ваших данных в DataFrame и получать интерпретируемые ответы, используя крупные языковые модели (LLM).
▪ Удобство анализа: С помощью pandas-ai вы можете автоматически получать анализ данных, визуализации и статистические выводы без написания сложного кода.
▪ Гибкость и расширяемость: Библиотека легко настраивается и интегрируется с различными моделями и API, что делает её полезной для быстрого прототипирования и разработки аналитических приложений.
Таким образом, pandas-ai интересен разработчикам и аналитикам, которые хотят объединить возможности ИИ с традиционным анализом данных для автоматизации и упрощения рабочих процессов.
▪Github
▪ Интеграция ИИ с pandas: Проект позволяет задавать вопросы на естественном языке относительно ваших данных в DataFrame и получать интерпретируемые ответы, используя крупные языковые модели (LLM).
▪ Удобство анализа: С помощью pandas-ai вы можете автоматически получать анализ данных, визуализации и статистические выводы без написания сложного кода.
▪ Гибкость и расширяемость: Библиотека легко настраивается и интегрируется с различными моделями и API, что делает её полезной для быстрого прототипирования и разработки аналитических приложений.
Таким образом, pandas-ai интересен разработчикам и аналитикам, которые хотят объединить возможности ИИ с традиционным анализом данных для автоматизации и упрощения рабочих процессов.
▪Github
🔥6❤1👍1
Оно позволяет пользователям выполнять семантический поиск по видео, получать точные временные метки и извлекать информацию из часов видеоматериалов за считанные секунды.
📌 Основные функции YT Navigator:
Семантический поиск: Возможность находить релевантные сегменты видео с точными временными метками на основе естественных языковых запросов.
Интерактивное общение: Пользователи могут "общаться" с содержимым канала, получая ответы на вопросы, основанные на транскриптах видео.
Экстракция информации: Быстрое извлечение ключевой информации из большого объёма видеоконтента, что экономит время и усилия при анализе материалов.
Преимущества использования YT Navigator:
Экономия времени: Быстрый доступ к конкретной информации без необходимости просмотра длительных видеороликов.
Удобство: Интуитивно понятный интерфейс и мощные функции делают процесс поиска и анализа видеоконтента более эффективным.
YT Navigator особенно полезен для исследователей, аналитиков и всех, кто работает с большими объёмами видеоданных, предоставляя инструменты для быстрого и точного анализа контента.
📌 Github
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤1🔥1
Forwarded from Machinelearning
Архитектура YOLO (You Only Look Once) получила своё название благодаря подходу, при котором нейронная сеть анализирует всё изображение целиком за один проход, чтобы определить присутствие и расположение объектов. Это отличается от других методов, которые сначала выделяют потенциальные области с объектами, а затем отдельно классифицируют их, что требует нескольких обработок одного изображения
YOLOE сохраняет принцип однократного взгляда на изображение для детекции объектов, но вносит архитектурные улучшения, направленные на повышение точности и эффективности модели.
▪ Ключевые отличия от классического YOLO:
- Оптимизированная архитектура: В YOLOE внедрены новые подходы для более эффективной обработки признаков, что позволяет улучшить качество детекции без значительного увеличения вычислительных затрат.
- Повышенная точность: Улучшенные модули и методы, такие как ре-параметризация отдельных блоков, способствуют более точному обнаружению объектов, включая мелкие и сложно различимые элементы.
- Скорость и эффективность: YOLOE сохраняет высокую скорость инференса, делая его пригодным для задач в реальном времени, при этом обеспечивая конкурентоспособное соотношение производительности и точности.
YOLOE представляет собой современное и улучшенное решение для задач детекции объектов, совмещающее лучшие стороны классического YOLO с новыми архитектурными подходами.
#yoloe #opensource #ml #ai #yolo #objectdetection
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤1
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤1🔥1
Forwarded from Python/ django
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
▪ Использование конструкции for/else:
Если вам нужно выполнить дополнительное действие, когда цикл завершается без принудительного выхода, можно использовать блок else. В этом случае код внутри else выполнится только если цикл завершился «естественным образом», а не с помощью break.
▪ Флаговое управление циклом:
Вместо использования break можно завести булевую переменную (флаг), которая будет сигнализировать, что условие для выхода выполнено. Это позволяет явно обозначить, когда цикл должен завершиться, делая логику более явной.
▪ Возврат из функции (return):
Если цикл находится внутри функции, можно отказаться от break, просто завершив выполнение функции через return. Такой подход сразу возвращает результат и предотвращает дальнейшее выполнение кода, что зачастую упрощает логику.
▪ Использование исключений:
В некоторых случаях, особенно когда требуется выйти из вложенных циклов, можно определить и выбросить специальное исключение. Этот метод позволяет аккуратно прервать выполнение нескольких уровней циклов, а затем обработать исключение в одном месте.
Каждая из этих альтернатив может оказаться более подходящей в зависимости от контекста задачи. Применение таких методов помогает сделать код более предсказуемым, улучшает его поддержку и повышает читаемость. Попробуйте применить один из этих подходов в своём проекте и оцените, насколько он улучшает структуру вашего кода!
📌 Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Python/ django
@pythonl
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤1
Forwarded from Machinelearning
Курс сочетает теорию (математика, физика) и практику (код, симуляторы), помогая разработчикам научиться создавать и программировать роботов.
▪ Лекции: От основ робототехники, математики и физики до пространственных преобразований, обратной кинематике и более продвинутым концепциям .
▪ Практика: Примеры кода на Python и C++ для управления роботами.
▪Симуляторы: Интеграция с стимуляторами Gazebo и ROS ( операционная система для робото) для тестирования алгоритмов.
▪Задания: Реальные практические задачи (например, управление манипулятором робота).
▪ Начинающие робототехники: Освоить кинематику, динамику, управление.
▪ Программисты: Интегрировать алгоритмы в ROS, Gazebo, Python/C++.
▪ Инженеры: Возможность Научиться разрабатывать автономные системы и манипуляторы.
▪Технологические энтузиасты
С курсом можно пройти путь от нуля до создания рабочего прототипа.
С курсом у вас будет возможность проектировать роботов, не имея железа под рукой (через симуляторы).
P.S. Для тех, кто любит формат «сделай сам»: Курс научит вас собирать робота виртуально, а потом переносить решения на реальные устройства. 🤖💡
#course #ai #ml #robots #education #курс #робототехника
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍3❤1🔥1
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Все мы любим scikit-learn за его простоту и мощь. Но что если ваши модели обучаются слишком долго на больших данных? 🤔 NVIDIA предлагает решение!
Вы берете свой обычный скрипт cо scikit-learn, добавляете всего две строки в начало, и он начинает работать в 10, 50, а то и 100+ раз быстрее на NVIDIA GPU!
✨ Как это работает?
Библиотека cuml от NVIDIA содержит супероптимизированные для GPU версии многих алгоритмов машинного обучения. С помощью простого вызова
cuml.patch.apply()
вы "патчите" установленный у вас scikit-learn прямо в памяти.Теперь, когда вы вызываете, например,
KNeighborsClassifier
или PCA
из sklearn:Ключевые преимущества:
2 строчки:import cuml.patch и cuml.patch.apply().
Топ инструмент для всех, кто работает с scikit-learn на задачах, требующих значительных вычислений, и у кого есть GPU от NVIDIA.
👇 Как использовать:
Установите RAPIDS cuml (лучше через conda, см. сайт RAPIDS):
python
conda install -c rapidsai -c conda-forge -c nvidia cuml rapids-build-backend
Добавьте в начало скрипта:
import cuml.patch
cuml.patch.apply()
Используйте scikit-learn как обычно!
Попробуйте и почувствуйте разницу! 😉
▪Блог-пост
▪Colab
▪Github
▪Ускоряем Pandas
@ai_machinelearning_big_data
#python #datascience #machinelearning #scikitlearn #rapids #cuml #gpu #nvidia #ускорение #машинноеобучение #анализданных
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4❤3👎1
🔥SQLGlot — это мощный парсер SQL и оптимизатор, написанный полностью на Python. Он поддерживает 24+ диалектов, включая DuckDB, Presto/Trino, Snowflake и BigQuery, позволяя конвертировать запросы между ними с сохранением смысла.
📝 Основные преимушества:
- Гибкость: парсер можно легко кастомизировать под свои нужды
- Надежность: проект имеет более 1000 тестов и активное сообщество
- Проивзодительность: несмотря на медленную скорость языка парсер работает очень быстро.
👾 Github
@pro_python_code
📝 Основные преимушества:
- Гибкость: парсер можно легко кастомизировать под свои нужды
- Надежность: проект имеет более 1000 тестов и активное сообщество
- Проивзодительность: несмотря на медленную скорость языка парсер работает очень быстро.
👾 Github
@pro_python_code
👍3❤2🔥2