tgoop.com »
United States »
Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение » Telegram Web
Forwarded from Азбука айтишника
📊 Data Science и Big Data: сходства и различия
В нашей статье разложим по полочкам сходства и различия между специализациями Data Science и Big Data.
🌻 Что внутри?
▪️ Термины
▪️ Применение
▪️ Навыки
▪️ Карьерные перспективы
👉 Ссылка на Статью
В нашей статье разложим по полочкам сходства и различия между специализациями Data Science и Big Data.
▪️ Термины
▪️ Применение
▪️ Навыки
▪️ Карьерные перспективы
Please open Telegram to view this post
VIEW IN TELEGRAM
👏6❤2
🧑🎓 Бесплатный курс Scientific Computing with Python
✍️ Основные темы
▪️Работа со строками, числами и алгоритмами
▪️lambda-функции
▪️Генерация списка с помощью list comprehension
▪️Регулярные выражения
▪️Дизайн алгоритмов
▪️Рекурсия
▪️Деревья и обход графов
▪️ООП
👀 Рассматриваемые проекты
▪️Создание арифметического форматтера
▪️Создание калькулятора
▪️Разработка бюджетного приложения
🔗 Ссылка на курс
✍️ Основные темы
▪️Работа со строками, числами и алгоритмами
▪️lambda-функции
▪️Генерация списка с помощью list comprehension
▪️Регулярные выражения
▪️Дизайн алгоритмов
▪️Рекурсия
▪️Деревья и обход графов
▪️ООП
👀 Рассматриваемые проекты
▪️Создание арифметического форматтера
▪️Создание калькулятора
▪️Разработка бюджетного приложения
🔗 Ссылка на курс
🔥5
Media is too big
VIEW IN TELEGRAM
📼 Видео про законы масштабирования ИИ-моделей
В ролике обсуждаются такие темы:
▪️Законы масштабирования нейронных сетей, говорящие о том, что ошибка уменьшается с увеличением объёма данных и размеров моделей.
▪️Связь между данными и производительностью.
▪️Прогресс в сфере ИИ.
🔗 Смотреть ролик на YouTube
В ролике обсуждаются такие темы:
▪️Законы масштабирования нейронных сетей, говорящие о том, что ошибка уменьшается с увеличением объёма данных и размеров моделей.
▪️Связь между данными и производительностью.
▪️Прогресс в сфере ИИ.
🔗 Смотреть ролик на YouTube
❤1
🎲 Ликбез по теореме Байеса
Мы используем теорему Байеса, когда хотим вычислить, как новые наблюдения влияют на наше понимание мира. Допустим, у нас есть некоторое событие, вероятность которого мы знаем. Теперь мы получили новые данные, которые как-то связаны с этим событием. Как изменится вероятность события после этих наблюдений? Это и есть главный вопрос, на который можно ответить, воспользовавшись формулой с картинки👆
✍️ Пример
Представим, что вы хотите узнать вероятность того, что человек болен гриппом (событие A), если он чихает (событие B). Вы знаете, что:
▪️Вероятность того, что человек чихает, если у него грипп, составляет 90% (P(B|A) = 0.9).
▪️Вероятность чихания для всех людей — 10% (P(B) = 0.1).
▪️Вероятность того, что человек болен гриппом — 1% (P(A) = 0.01).
Подставив это всё в формулу, получаем ответ 0.09, или 9%.
👀 Так, теорема Байеса отвечает за переход от априорной вероятности (до наблюдения) к апостериорной вероятности (после наблюдения).
Мы используем теорему Байеса, когда хотим вычислить, как новые наблюдения влияют на наше понимание мира. Допустим, у нас есть некоторое событие, вероятность которого мы знаем. Теперь мы получили новые данные, которые как-то связаны с этим событием. Как изменится вероятность события после этих наблюдений? Это и есть главный вопрос, на который можно ответить, воспользовавшись формулой с картинки👆
✍️ Пример
Представим, что вы хотите узнать вероятность того, что человек болен гриппом (событие A), если он чихает (событие B). Вы знаете, что:
▪️Вероятность того, что человек чихает, если у него грипп, составляет 90% (P(B|A) = 0.9).
▪️Вероятность чихания для всех людей — 10% (P(B) = 0.1).
▪️Вероятность того, что человек болен гриппом — 1% (P(A) = 0.01).
Подставив это всё в формулу, получаем ответ 0.09, или 9%.
👀 Так, теорема Байеса отвечает за переход от априорной вероятности (до наблюдения) к апостериорной вероятности (после наблюдения).
👍27😁3🤩2❤1
Please open Telegram to view this post
VIEW IN TELEGRAM
😁29👍2
Media is too big
VIEW IN TELEGRAM
🫧🤖 Линус Торвальдс о будущем ИИ: хайп или революция?
Легенда мира open source делится мыслями о роли искусственного интеллекта в будущем программирования, предупреждая о опасностях чрезмерного ажиотажа.
👀 Мы написали пересказ на русском, а ещё сделали подборку ваших комментариев с мнениями по поводу будущего разработки в мире с AI.
👉 Прочесть всё можно по этой ссылке
Легенда мира open source делится мыслями о роли искусственного интеллекта в будущем программирования, предупреждая о опасностях чрезмерного ажиотажа.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5
🤗 На Hugging Face запустили новый лидерборд для оценки возможностей LLM в финансовых задачах
Open FinLLM Leaderboard предоставляет специализированную систему оценки, адаптированную конкретно для финансового сектора.
Особенности:
🔘 Рейтинг использует методику zero-shot оценки, тестируя модели на неизвестных финансовых задачах без предварительной настройки;
🔘 Охватывает задачи по семи категориям: извлечение информации (IE), текстовый анализ (TA), вопросы-ответы (QA), генерация текста (TG), управление рисками (RM), прогнозирование (FO) и принятие решений (DM).
🔘 Модели оцениваются с использованием различных метрик, таких как точность (Accuracy), F1, ROUGE и коэффициент корреляции Мэттьюса (MCC).
Open FinLLM Leaderboard предоставляет специализированную систему оценки, адаптированную конкретно для финансового сектора.
Особенности:
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Forwarded from Proglib.academy | IT-курсы
👨💼 Профессия системного аналитика в 2024 году: что нужно знать и где учиться
Освоить эту профессию непросто. Порог входа довольно высок, да и изучить придется немало. Однако, если разработчик не хочет идти в тимлиды или становиться менеджером, системная аналитика — перспективный вариант дальнейшей карьеры.
Рассматриваешь вариант стать системным аналитиком, тогда забирай курс:
🔵 Математика для Data Science
🔗 Статья
Освоить эту профессию непросто. Порог входа довольно высок, да и изучить придется немало. Однако, если разработчик не хочет идти в тимлиды или становиться менеджером, системная аналитика — перспективный вариант дальнейшей карьеры.
Рассматриваешь вариант стать системным аналитиком, тогда забирай курс:
Please open Telegram to view this post
VIEW IN TELEGRAM
Как часто вы пишете SQL-запросы в работе?
Anonymous Poll
48%
Постоянно 🧑💻
35%
Иногда 👀
17%
Никогда не писал 👾
👍3🥰2🥱1
🧑💻 Статьи для IT: как объяснять и распространять значимые идеи
Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.
Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.
Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.
👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.
Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.
Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.
👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
👍1
🥇 Нобелевскую премию по физике получили «отцы ML»
Её вручили Джону Хопфилду (John Hopfield) и Джеффри Хинтону (Geoffrey Hinton) «за фундаментальные открытия и изобретения, которые сделали возможным машинное обучение с искусственными нейронными сетями».
⭐ Джон Хопфилд известен как изобретатель ассоциативной нейронной сети (сети Хопфилда).
⭐ Джеффри Хинтон — соавтор статьи про метод обратного распространения ошибки для обучения многослойной нейронной сети. Кроме того, он был одним из изобретателей машины Больцмана.
Её вручили Джону Хопфилду (John Hopfield) и Джеффри Хинтону (Geoffrey Hinton) «за фундаментальные открытия и изобретения, которые сделали возможным машинное обучение с искусственными нейронными сетями».
⭐ Джон Хопфилд известен как изобретатель ассоциативной нейронной сети (сети Хопфилда).
⭐ Джеффри Хинтон — соавтор статьи про метод обратного распространения ошибки для обучения многослойной нейронной сети. Кроме того, он был одним из изобретателей машины Больцмана.
👍10🔥4🤔3
✍️ Что такое MoE?
Вы наверняка видели эту аббревиатуру во многих статьях про LLM (большие языковые модели). Но что она обозначает?
🟣 Расшифровывается MoE как Mixture of Experts. Это метод улучшения качества LLM, который использует множество разных субмоделей (так называемых экспертов).
🟣 MoE определяется двумя основными компонентами:
▪️Вышеупомянутые эксперты. То есть каждый слой обычной feed-forward нейросети теперь имеет набор экспертов, из которых можно выбрать подмножество. Эти эксперты, как правило, сами представляют собой нейросети.
▪️Маршрутизатор или сеть гейтов. Они определяют, какие токены отправляются к каким экспертам.
Иными словами, специализация каждого эксперта заключается в обработке определённых токенов в определённых контекстах. А маршрутизатор (сеть гейтов) выбирает эксперта(ов), которые лучше всего подходят для данного входного сигнала.
👉 Более подробно и с хорошими иллюстрациями про MoE можно почитать по этой ссылке 👈
Вы наверняка видели эту аббревиатуру во многих статьях про LLM (большие языковые модели). Но что она обозначает?
🟣 Расшифровывается MoE как Mixture of Experts. Это метод улучшения качества LLM, который использует множество разных субмоделей (так называемых экспертов).
🟣 MoE определяется двумя основными компонентами:
▪️Вышеупомянутые эксперты. То есть каждый слой обычной feed-forward нейросети теперь имеет набор экспертов, из которых можно выбрать подмножество. Эти эксперты, как правило, сами представляют собой нейросети.
▪️Маршрутизатор или сеть гейтов. Они определяют, какие токены отправляются к каким экспертам.
Иными словами, специализация каждого эксперта заключается в обработке определённых токенов в определённых контекстах. А маршрутизатор (сеть гейтов) выбирает эксперта(ов), которые лучше всего подходят для данного входного сигнала.
👉 Более подробно и с хорошими иллюстрациями про MoE можно почитать по этой ссылке 👈
❤2
Forwarded from Proglib.academy | IT-курсы
Что такое Бустинг в машинном обучении
Бустинг — это один из мощных методов повышения качества моделей машинного обучения. Его цель — объединение нескольких слабых моделей (обычно простых алгоритмов) для создания одной сильной модели, которая улучшает точность предсказаний.
🌻 Как это работает?
▪️ Итеративное обучение: Модели обучаются поочередно. Каждая следующая модель стремится исправить ошибки предыдущей
▪️ Вес ошибок: Большое внимание уделяется тем данным, на которых предыдущие модели ошибались. Это позволяет концентрироваться на сложных для предсказания примерах
▪️ Комбинирование результатов: Финальный результат формируется путем взвешенного объединения предсказаний всех моделей
🌻 Когда использовать?
Бустинг особенно полезен, когда базовые алгоритмы не дают нужной точности. Например, он широко применяется в задачах классификации и регрессии, а также на соревнованиях по анализу данных, таких как Kaggle
В нашем курсе узнаете подробнее о машинном обучении, в частности, о бустинге:
🔵 Базовые модели ML и приложения
#машинное_обучение
Бустинг — это один из мощных методов повышения качества моделей машинного обучения. Его цель — объединение нескольких слабых моделей (обычно простых алгоритмов) для создания одной сильной модели, которая улучшает точность предсказаний.
▪️ Итеративное обучение: Модели обучаются поочередно. Каждая следующая модель стремится исправить ошибки предыдущей
▪️ Вес ошибок: Большое внимание уделяется тем данным, на которых предыдущие модели ошибались. Это позволяет концентрироваться на сложных для предсказания примерах
▪️ Комбинирование результатов: Финальный результат формируется путем взвешенного объединения предсказаний всех моделей
Бустинг особенно полезен, когда базовые алгоритмы не дают нужной точности. Например, он широко применяется в задачах классификации и регрессии, а также на соревнованиях по анализу данных, таких как Kaggle
В нашем курсе узнаете подробнее о машинном обучении, в частности, о бустинге:
#машинное_обучение
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉5❤3👍2
🧑💻 SQL для дата-сайентиста за 6 недель
Дата-сайентист с 7-летним опытом работы создал дорожную карту по изучению SQL. Она представлена в виде репозитория на GitHub. Каждый шаг сопровождают ссылки на материалы.
Вот 6-недельный план обучения:
▪️Основы SQL, узнаём, как получать информацию из БД.
▪️GROUP BY.
▪️Виды JOIN.
▪️Оконные функции.
▪️CTE и подзапросы.
▪️Делаем собственный проект.
🔗 Ссылка на дорожную карту
Дата-сайентист с 7-летним опытом работы создал дорожную карту по изучению SQL. Она представлена в виде репозитория на GitHub. Каждый шаг сопровождают ссылки на материалы.
Вот 6-недельный план обучения:
▪️Основы SQL, узнаём, как получать информацию из БД.
▪️GROUP BY.
▪️Виды JOIN.
▪️Оконные функции.
▪️CTE и подзапросы.
▪️Делаем собственный проект.
🔗 Ссылка на дорожную карту
🤩7😁5
👾 Тут всем интернетом шутят про то, что нобелевские премии по физике и химии взяли ML-специалисты.
Про нобелевскую премию по физике мы писали здесь . А вот по химии премию присудили создателям AlphaFold2.
👀 Похоже, machine learning is the new black. Давайте порадуемся под этим постом и поставим 🎉 в честь этого.
👀 Похоже, machine learning is the new black. Давайте порадуемся под этим постом и поставим 🎉 в честь этого.
🎉31🥰3😁3👍2😢1
Forwarded from Библиотека питониста | Python, Django, Flask
This media is not supported in your browser
VIEW IN TELEGRAM
🐍🍽️ Питон съел GIL на завтрак: что нового в версии 3.13
Ты сидишь? Лучше сядь. Они реально сделали это — JIT-компилятор, улучшенная типизация, и, ты не поверишь, GIL наконец-то отправляется на пенсию!
В статье рассказываем обо всех фишках недавно релизнутой версии Python 3.13.
👉 Читать по этой ссылке
Прикреплённый к посту ролик досматриваем до конца👆
Ты сидишь? Лучше сядь. Они реально сделали это — JIT-компилятор, улучшенная типизация, и, ты не поверишь, GIL наконец-то отправляется на пенсию!
В статье рассказываем обо всех фишках недавно релизнутой версии Python 3.13.
👉 Читать по этой ссылке
🥰5
Пятничный #дайджест для ML-специалистов
🔹Краткий гайд по квантованию нейросетей
Статья рассказывает о методах уменьшения битности данных, что позволяет сократить вычислительные ресурсы и уменьшить объём памяти, необходимой для хранения моделей.
🔹Differential Transformer
Статья от Microsoft, рассказывающая о борьбе с нерелевантным контекстом в LLM.
🔹Как научить LLM понимать видео? Обзор подходов
Сбер сделал обзор походов к анализу и пониманию видео.
🔹The LLM Evaluation guidebook
Это репозиторий с гайдом от Hugging Face по методам оценки больших языковых моделей.
🔹Краткий гайд по квантованию нейросетей
Статья рассказывает о методах уменьшения битности данных, что позволяет сократить вычислительные ресурсы и уменьшить объём памяти, необходимой для хранения моделей.
🔹Differential Transformer
Статья от Microsoft, рассказывающая о борьбе с нерелевантным контекстом в LLM.
🔹Как научить LLM понимать видео? Обзор подходов
Сбер сделал обзор походов к анализу и пониманию видео.
🔹The LLM Evaluation guidebook
Это репозиторий с гайдом от Hugging Face по методам оценки больших языковых моделей.
👍3❤1