Manage All Your Model Building Metadata in a Single Place – Neptune.ai
📹https://youtu.be/15p-mAuIMlA
📚https://docs.neptune.ai/getting-started/hello-world
Neptune — это хранилище метаданных для MLOps, созданное для команд, которые проводят много экспериментов. Это даёт вам единое место для регистрации, хранения, отображения, организации, сравнения и запроса всех ваших метаданных построения модели.
📹https://youtu.be/15p-mAuIMlA
📚https://docs.neptune.ai/getting-started/hello-world
Neptune — это хранилище метаданных для MLOps, созданное для команд, которые проводят много экспериментов. Это даёт вам единое место для регистрации, хранения, отображения, организации, сравнения и запроса всех ваших метаданных построения модели.
YouTube
Manage All Your Model Building Metadata in a Single Place – neptune.ai
Log, store, display, organize, compare and query all your MLOps metadata.
Experiment tracking and model registry built for research and production teams that run a lot of experiments.
📚 Want to learn more? Check these resources:
- What is Neptune: htt…
Experiment tracking and model registry built for research and production teams that run a lot of experiments.
📚 Want to learn more? Check these resources:
- What is Neptune: htt…
Обзор четырёх популярных NLP-моделей:
👉🏻Рекуррентная нейросетевая языковая модель (RNNLM)
👉🏻Word2vec
👉🏻GloVe (Global Vectors)
👉🏻fastText
📚https://proglib.io/p/obzor-chetyreh-populyarnyh-nlp-modeley-2020-04-21
👉🏻Рекуррентная нейросетевая языковая модель (RNNLM)
👉🏻Word2vec
👉🏻GloVe (Global Vectors)
👉🏻fastText
📚https://proglib.io/p/obzor-chetyreh-populyarnyh-nlp-modeley-2020-04-21
Библиотека программиста
Обзор четырёх популярных NLP-моделей 🙊 💬
RNNLM, Word2vec, GloVe и fastText. История создания, варианты использования, преимущества и недостатки четырёх моделей обработки естественного языка.
Классификация документов: 7 практических подходов для небольших наборов данных.
📚https://habr.com/ru/post/504744/
О чём прочитаете:
👉🏻Введение в классификацию документов
👉🏻Тестовый набор данных для классификации
👉🏻Подготовка текстовых данных
👉🏻Представление текста
👉🏻Классификация текста
👉🏻Сравнение моделей
Рассматриваемые модели:
🎾CountVectorizer
🎾TfidfVectorizer
🎾Word2vec
🎾FastText
🎾GloVe
🎾Elmo, BERT и другие
📚https://habr.com/ru/post/504744/
О чём прочитаете:
👉🏻Введение в классификацию документов
👉🏻Тестовый набор данных для классификации
👉🏻Подготовка текстовых данных
👉🏻Представление текста
👉🏻Классификация текста
👉🏻Сравнение моделей
Рассматриваемые модели:
🎾CountVectorizer
🎾TfidfVectorizer
🎾Word2vec
🎾FastText
🎾GloVe
🎾Elmo, BERT и другие
Хабр
Классификация документов: 7 практических подходов для небольших наборов данных
Классификация документов или текста — это одна из важнейших задач в обработке естественного языка (natural language processing, NLP). У нее есть множество примен...
«Лаборатория Касперского» открывает набор на стажировку SafeBoard. Это отличная возможность для текущих студентов любых вузов и курсов прокачать скиллы и начать карьеру в IT еще до окончания вуза.
Коротко о главном:
Стажировка проходит в нашем московском офисе и длится год. Программа доступна для студентов вузов Москвы и Санкт-Петербурга.
Стажировка оплачивается
А также компенсируют расходы на питание, предоставляют бесплатный доступ к спортзалу и ко всем открытым мероприятиям Лаборатории.
Удобно совмещать с учебой
Гибкий график: от 20 часов в неделю. Можно и больше, если есть желание и возможность.
Набор открыт по направлениям:
● Разработка (Bazel, C++, C#, JS)
● Анализ защищенности
● Автоматизированное тестирование (Python, C++)
● Ручное тестирование
● Системное администрирование
● Системный анализ
● DevOps
По итогам стажировки лучшие получат приглашение на работу!
Узнать больше о стажировке и подать заявку на участие можно по ссылке.
Коротко о главном:
Стажировка проходит в нашем московском офисе и длится год. Программа доступна для студентов вузов Москвы и Санкт-Петербурга.
Стажировка оплачивается
А также компенсируют расходы на питание, предоставляют бесплатный доступ к спортзалу и ко всем открытым мероприятиям Лаборатории.
Удобно совмещать с учебой
Гибкий график: от 20 часов в неделю. Можно и больше, если есть желание и возможность.
Набор открыт по направлениям:
● Разработка (Bazel, C++, C#, JS)
● Анализ защищенности
● Автоматизированное тестирование (Python, C++)
● Ручное тестирование
● Системное администрирование
● Системный анализ
● DevOps
По итогам стажировки лучшие получат приглашение на работу!
Узнать больше о стажировке и подать заявку на участие можно по ссылке.
Neural Networks | Нейронные сети pinned ««Лаборатория Касперского» открывает набор на стажировку SafeBoard. Это отличная возможность для текущих студентов любых вузов и курсов прокачать скиллы и начать карьеру в IT еще до окончания вуза. Коротко о главном: Стажировка проходит в нашем московском…»
KasperskyOS Easy Offer — твой шанс за один день стать частью дружной команды «Лаборатории Касперского» 😉
Мы ищем:
● С/С++ разработчиков,
● системных аналитиков.
Переходи по ссылке и заполняй форму до 25 мая, жди звонка от рекрутера и приходи на знакомство с командами 28 мая.
Наши команды:
● Secure Platform Development — отдел по разработке и развитию KasperskyOS;
● KasperskyOS Product Development — отдел по разработке конечных продуктов на базе KasperskyOS и поставки SDK для партнеров.
Обещаем интересные задачи, работу с крупнейшими заказчиками, ДМС со стоматологией, спортзалы прямо в офисе и другие приятные бонусы.
Успей зарегистрироваться и получить оффер без долгих собеседований!
Мы ищем:
● С/С++ разработчиков,
● системных аналитиков.
Переходи по ссылке и заполняй форму до 25 мая, жди звонка от рекрутера и приходи на знакомство с командами 28 мая.
Наши команды:
● Secure Platform Development — отдел по разработке и развитию KasperskyOS;
● KasperskyOS Product Development — отдел по разработке конечных продуктов на базе KasperskyOS и поставки SDK для партнеров.
Обещаем интересные задачи, работу с крупнейшими заказчиками, ДМС со стоматологией, спортзалы прямо в офисе и другие приятные бонусы.
Успей зарегистрироваться и получить оффер без долгих собеседований!
NLP Model. Intuitive Guide to Understanding GloVe Embeddings.
Understanding theory behind GloVe and Keras implementation!
📚https://towardsdatascience.com/light-on-math-ml-intuitive-guide-to-understanding-glove-embeddings-b13b4f19c010
В этой статье вы узнаете о GloVe, очень мощном методе изучения векторов слов. В этой статье основное внимание будет уделено объяснению того, почему GloVe лучше, мотивация использовать функцию стоимости GloVe, которая является наиболее важной частью алгоритма.
Understanding theory behind GloVe and Keras implementation!
📚https://towardsdatascience.com/light-on-math-ml-intuitive-guide-to-understanding-glove-embeddings-b13b4f19c010
В этой статье вы узнаете о GloVe, очень мощном методе изучения векторов слов. В этой статье основное внимание будет уделено объяснению того, почему GloVe лучше, мотивация использовать функцию стоимости GloVe, которая является наиболее важной частью алгоритма.
Medium
Intuitive Guide to Understanding GloVe Embeddings
Understanding theory behind GloVe and Keras implementation!
Каких трендов ждать в 2022 году на рынке нейротехнологий?
Эксперт НТИ по нейротехнологиям Анатолий Бондарь рассказал о них эксклюзивно нашему каналу:
1️⃣Нейротренинги
Нейротренинги в том или ином виде существуют уже давно. В настоящее время они приобретают следующие вектора развития: по моему мнению самый важный — работа с DMN (пассивного режима работы мозга) и второе — восстановление концентрации внимания. Всё это может быть как одним из элементов реабилитации, профилактики заболеваний, хронических стрессов.
2️⃣ Слияние нейротехнологий с VR и AR, метавселенные
В рамках данной темы я выделю исключительно научно-исследовательское направление, которое мне ближе. Давайте вспомним, через какие трудности проходила виртуальная реальность, прежде чем появиться в доступном рядовому пользователю виде. Сам факт влияния MX реальностей открывает перед исследователями большой спектр исследований, особенно в области нейротехнологий. Это может быть как новый интерфейс ввода информации от пользователя в компьютер, так и средство диагностики за биологической обратной связи. Тут очень советую посмотреть на разработки наших коллег в области BCI, а именно Игорем Лавровым и Александром Лебедевым, НИИ Сколково. За такими разработками будущее.
3️⃣ Нейроуправляемые ортезы и экзоскелеты
Данное направление уровня Cyberpank 2077, по моему мнению, одно из самых важных в области травматологии и реабилитации. Кто сделает доступным рынку данную технологию, станет изобретателем нового колеса. Если же говорить про современный уровень готовности технологии, то как по мне прорыв может произойти не в ближайшее время, но относительно в будущем. Я сам стал свидетелем успешных шагов в этом направлении: компания Моторика, Сколково и ДВФУ проводят исследование в этом направлении.
4️⃣ Нейроисследования, в том числе, нейромаркетинг
Нейромаркетинг работает и сейчас. Благодаря нему в вас есть контекстная реклама, рекомендации в социальных сетях и многое другое. Данное направление активно развивается и будет расширять свои возможности благодаря заинтересованности коммерческого и государственного сектора. Это один из перспективных инструментов современного рынка.
Эксперт НТИ по нейротехнологиям Анатолий Бондарь рассказал о них эксклюзивно нашему каналу:
1️⃣Нейротренинги
Нейротренинги в том или ином виде существуют уже давно. В настоящее время они приобретают следующие вектора развития: по моему мнению самый важный — работа с DMN (пассивного режима работы мозга) и второе — восстановление концентрации внимания. Всё это может быть как одним из элементов реабилитации, профилактики заболеваний, хронических стрессов.
2️⃣ Слияние нейротехнологий с VR и AR, метавселенные
В рамках данной темы я выделю исключительно научно-исследовательское направление, которое мне ближе. Давайте вспомним, через какие трудности проходила виртуальная реальность, прежде чем появиться в доступном рядовому пользователю виде. Сам факт влияния MX реальностей открывает перед исследователями большой спектр исследований, особенно в области нейротехнологий. Это может быть как новый интерфейс ввода информации от пользователя в компьютер, так и средство диагностики за биологической обратной связи. Тут очень советую посмотреть на разработки наших коллег в области BCI, а именно Игорем Лавровым и Александром Лебедевым, НИИ Сколково. За такими разработками будущее.
3️⃣ Нейроуправляемые ортезы и экзоскелеты
Данное направление уровня Cyberpank 2077, по моему мнению, одно из самых важных в области травматологии и реабилитации. Кто сделает доступным рынку данную технологию, станет изобретателем нового колеса. Если же говорить про современный уровень готовности технологии, то как по мне прорыв может произойти не в ближайшее время, но относительно в будущем. Я сам стал свидетелем успешных шагов в этом направлении: компания Моторика, Сколково и ДВФУ проводят исследование в этом направлении.
4️⃣ Нейроисследования, в том числе, нейромаркетинг
Нейромаркетинг работает и сейчас. Благодаря нему в вас есть контекстная реклама, рекомендации в социальных сетях и многое другое. Данное направление активно развивается и будет расширять свои возможности благодаря заинтересованности коммерческого и государственного сектора. Это один из перспективных инструментов современного рынка.
Новая СУБД от Яндекс!
YDB — это распределенная база данных SQL с открытым исходным кодом, которая сочетает в себе высокую доступность и масштабируемость с строгой согласованностью и транзакциями ACID.
YDB решает задачи в одной из самых критичных областей — позволяет создавать интерактивные приложения, которые можно быстро масштабировать по нагрузке и по объёму данных. СУБД разрабатывали, исходя из ключевых требований к сервисам Яндекса. Во-первых, это катастрофоустойчивость, то есть возможность продолжить работу без деградации при отключении одного из дата-центров.
Во-вторых, это масштабируемость на десятки тысяч серверов на чтение и на запись.
В-третьих, это строгая консистентность данных.
📹https://youtu.be/bxZRUtMAlFI
👉🏻https://ydb.tech/
📚https://habr.com/ru/company/yandex/blog/660271/
😻https://github.com/ydb-platform/ydb
YDB — это распределенная база данных SQL с открытым исходным кодом, которая сочетает в себе высокую доступность и масштабируемость с строгой согласованностью и транзакциями ACID.
YDB решает задачи в одной из самых критичных областей — позволяет создавать интерактивные приложения, которые можно быстро масштабировать по нагрузке и по объёму данных. СУБД разрабатывали, исходя из ключевых требований к сервисам Яндекса. Во-первых, это катастрофоустойчивость, то есть возможность продолжить работу без деградации при отключении одного из дата-центров.
Во-вторых, это масштабируемость на десятки тысяч серверов на чтение и на запись.
В-третьих, это строгая консистентность данных.
📹https://youtu.be/bxZRUtMAlFI
👉🏻https://ydb.tech/
📚https://habr.com/ru/company/yandex/blog/660271/
😻https://github.com/ydb-platform/ydb
YouTube
YDB in a nutshell
Short video with main YDB features overview. YDB is an open-source Distributed SQL Database that combines high availability and scalability with strong consistency and ACID transactions. Documentation and links to github repo could be found at https://ydb.tech
Планируете стать тим-лидом или проджект-менеджером в IT?
Научитесь управлять командой через процессы, мотивацию и эффективную коммуникацию по методологиям IT и GameDev компаний.
Приглашаем на двухдневный буткемп “Лидерство в IT и GameDev”!
- Мы поговорим о том, кто такой лидер и какие качества вам предстоит в себе развить.
- Разберём, что отличает сплочённую команду от «соседей по кабинету» и как собрать подходящих людей.
- Познакомимся с методологиями управления проектами Agile, Scrum и Kanban и соберём из них набор инструментов, которыми вы будете пользоваться каждый день.
- Поговорим о личных приоритетах и том, как мотивировать каждого члена команды на достижение результата.
По итогу вы получите понимание процессов системного управления командами в IT индустриях и станете уверенными в своих лидерских качествах и навыках.
23-24 июля 2022
Москва, ArtPlay
https://clck.ru/hC6Gk
Научитесь управлять командой через процессы, мотивацию и эффективную коммуникацию по методологиям IT и GameDev компаний.
Приглашаем на двухдневный буткемп “Лидерство в IT и GameDev”!
- Мы поговорим о том, кто такой лидер и какие качества вам предстоит в себе развить.
- Разберём, что отличает сплочённую команду от «соседей по кабинету» и как собрать подходящих людей.
- Познакомимся с методологиями управления проектами Agile, Scrum и Kanban и соберём из них набор инструментов, которыми вы будете пользоваться каждый день.
- Поговорим о личных приоритетах и том, как мотивировать каждого члена команды на достижение результата.
По итогу вы получите понимание процессов системного управления командами в IT индустриях и станете уверенными в своих лидерских качествах и навыках.
23-24 июля 2022
Москва, ArtPlay
https://clck.ru/hC6Gk
Neural Networks | Нейронные сети pinned «Планируете стать тим-лидом или проджект-менеджером в IT? Научитесь управлять командой через процессы, мотивацию и эффективную коммуникацию по методологиям IT и GameDev компаний. Приглашаем на двухдневный буткемп “Лидерство в IT и GameDev”! - Мы поговорим…»
А вы знали про JsLinux — действительно быструю виртуальную машину x86, которая способна запускать Linux и Windows 2000?
В эмуляторе пользователям на выбор предлагается несколько дистрибутивов, в том числе Alpine Linux 3.12.0, Fedora 33, Buildroot и т.д. — все они бесплатны.
Некоторые ОС работают быстро, некоторые — чуть медленнее.
Больше полезной и интересной информации на канале.
В эмуляторе пользователям на выбор предлагается несколько дистрибутивов, в том числе Alpine Linux 3.12.0, Fedora 33, Buildroot и т.д. — все они бесплатны.
Некоторые ОС работают быстро, некоторые — чуть медленнее.
Больше полезной и интересной информации на канале.
Telegram
Just code IT
Верим в everything-as-code. Обсуждаем, как писать чище, ревьюить объективнее, деплоить быстрее.
Neural Networks | Нейронные сети pinned «А вы знали про JsLinux — действительно быструю виртуальную машину x86, которая способна запускать Linux и Windows 2000? В эмуляторе пользователям на выбор предлагается несколько дистрибутивов, в том числе Alpine Linux 3.12.0, Fedora 33, Buildroot и т.д.…»
Продолжение темы NLP. Ещё одна интересная статья про GloVe.
A Comprehensive Python Implementation of GloVe.
📚https://towardsdatascience.com/a-comprehensive-python-implementation-of-glove-c94257c2813d
Train the full GloVe model on a single machine:
👉🏻Step 0: Preparation
👉🏻Step 1: Counting Cooccurring Pairs
👉🏻Step 2. Training GloVe Model
👉🏻Step 3. Results
A Comprehensive Python Implementation of GloVe.
📚https://towardsdatascience.com/a-comprehensive-python-implementation-of-glove-c94257c2813d
Train the full GloVe model on a single machine:
👉🏻Step 0: Preparation
👉🏻Step 1: Counting Cooccurring Pairs
👉🏻Step 2. Training GloVe Model
👉🏻Step 3. Results
Medium
A Comprehensive Python Implementation of GloVe
Train the full GloVe model on a single machine
После изучения способов автоматизировать действия в браузере наткнулся на этот фреймворк:
😻https://playwright.dev/python/docs/intro
Задача была такая: учитывая кучу ограничений Google, загрузить видео на YouTube полностью автоматически.
Неудачные реализации:
👉🏻Selenium - не позволяет работать с диалогами загрузки и скачивания файла.
👉🏻API YouTube - загрузка файла только для приватного просмотра.
👉🏻Datakund - комбайн, но не позволяет кастомизировать процесс и спотыкается на выборе переключателя.
😻https://playwright.dev/python/docs/intro
Задача была такая: учитывая кучу ограничений Google, загрузить видео на YouTube полностью автоматически.
Неудачные реализации:
👉🏻Selenium - не позволяет работать с диалогами загрузки и скачивания файла.
👉🏻API YouTube - загрузка файла только для приватного просмотра.
👉🏻Datakund - комбайн, но не позволяет кастомизировать процесс и спотыкается на выборе переключателя.
playwright.dev
Installation | Playwright Python
Introduction
Автоматизация на Python с помощью DataKund.
📚https://unofficial-apis.readthedocs.io/en/latest/index.html
🌐https://datakund.com/
Автоматизация действий в:
🎾Instagram
🎾Pypi
🎾Linkedin
🎾Facebook
🎾Twitter
🎾Amazon
🎾Google Search
🎾Youtube
📚https://unofficial-apis.readthedocs.io/en/latest/index.html
🌐https://datakund.com/
Автоматизация действий в:
🎾Pypi
🎾Amazon
🎾Google Search
🎾Youtube
Сегодня стартует Data Fest Online 3.0!
https://ods.ai/events/datafestonline2022
В 11:00 по мск начнется трансляция на YouTube, на которой Алексей Натёкин расскажет как будет устроен ODS и проведёт расширенный onboarding по ODS 3.0: https://www.youtube.com/watch?v=7A7UviE-rBg
Вас ждет: самая актуальная информация по переезду в [Matrix], тизеры и подключение организаторов секций, а также планы на лето и многое другое!
Традиционно в Spatial Chat будет насыщенная networking-программа: с 11 утра до 17 вечера будет много активностей: митапы, воркшопы, доклады и собеседования “в никуда” (или в компании-партнёры). Актуальный пароль от спейса - всегда на вкладке “Доступ к нетворкингу”.
https://live.ods.ai/
Следить за расписанием можно на странице мероприятия - вкладки с паролем от спейса и расписанием всех активностей доступны зарегистрированным пользователям.
До встречи в эфире!
https://ods.ai/events/datafestonline2022
В 11:00 по мск начнется трансляция на YouTube, на которой Алексей Натёкин расскажет как будет устроен ODS и проведёт расширенный onboarding по ODS 3.0: https://www.youtube.com/watch?v=7A7UviE-rBg
Вас ждет: самая актуальная информация по переезду в [Matrix], тизеры и подключение организаторов секций, а также планы на лето и многое другое!
Традиционно в Spatial Chat будет насыщенная networking-программа: с 11 утра до 17 вечера будет много активностей: митапы, воркшопы, доклады и собеседования “в никуда” (или в компании-партнёры). Актуальный пароль от спейса - всегда на вкладке “Доступ к нетворкингу”.
https://live.ods.ai/
Следить за расписанием можно на странице мероприятия - вкладки с паролем от спейса и расписанием всех активностей доступны зарегистрированным пользователям.
До встречи в эфире!
Несколько материалов в помощь для написания своего Telegram-бота:
👉🏻Простой Telegram-бот на Python за 30 минут. https://habr.com/ru/post/442800/
👉🏻Питоном по телеграму! Пишем пять простых Telegram-ботов на Python. https://xakep.ru/2021/11/28/python-telegram-bots/
👉🏻Quick start - pyTelegramBotAPI Documentation. https://pytba.readthedocs.io/en/latest/quick_start.html
👉🏻Простой Telegram-бот на Python за 30 минут. https://habr.com/ru/post/442800/
👉🏻Питоном по телеграму! Пишем пять простых Telegram-ботов на Python. https://xakep.ru/2021/11/28/python-telegram-bots/
👉🏻Quick start - pyTelegramBotAPI Documentation. https://pytba.readthedocs.io/en/latest/quick_start.html
Хабр
Простой Telegram-бот на Python за 30 минут
На Хабре, да и не только, про ботов рассказано уже так много, что даже слишком. Но заинтересовавшись пару недель назад данной темой, найти нормальный материал у меня так и не вышло: все статьи были...
Forwarded from эйай ньюз
⚡️Яндекс подарил миру самую большую на текущий момент публичную языковую модель: YALM 100B.
- 65 дней тренировки на 800 A100
- 1.7 TB текста на русском и английском
- требует 200GB VRAM для инференса
https://github.com/yandex/YaLM-100B
@ai_newz
- 65 дней тренировки на 800 A100
- 1.7 TB текста на русском и английском
- требует 200GB VRAM для инференса
https://github.com/yandex/YaLM-100B
@ai_newz
GitHub
GitHub - yandex/YaLM-100B: Pretrained language model with 100B parameters
Pretrained language model with 100B parameters. Contribute to yandex/YaLM-100B development by creating an account on GitHub.