Warning: Undefined array key 0 in /var/www/tgoop/function.php on line 65

Warning: Trying to access array offset on value of type null in /var/www/tgoop/function.php on line 65
899 - Telegram Web
Telegram Web
Ура!

Еще одна длинная рабочая неделя закончилась на среде 😈

Всем хорошо зачилиться💪🏿

#meme
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8😁5💯31
Идеи для пет-проектов в геоаналитике со спутниковыми снимками

Допустим, мы научились генерить пространственные фичи. Самое интересное, что данные у нас могут быть не только lat, lon в чистом виде или преобразованном, а еще у нас может быть много дополнительных данных. Короче го брать спутниковые снимки.

На основе свежих статей я подобрал некоторый шортлист задач, где можно попробовать потыкать ML/DL:

1️⃣Оценка потенциала солнечной энергетики (Urban Planning) - по мотивам этой статьи

Задача: Оценить, сколько солнечных панелей можно установить на крышах зданий эффективно.
Что брали в статье: Модель детекции объектов (YOLO) или сегментации (U-Net) для поиска крыш на спутниковых снимках
Что делать: Обучить модель на размеченных данных, чтобы она находила крыши
Улучшение: Добавить данные о затененности от других зданий для более точного расчета выработки энергии. Дополнительно можно попробовать оценить оптимальный угол наклона панели и соответствует ли он наклону крыши.

2️⃣Поиск самых жарких кварталов города (тоже про урбанистику) - по мотивам другой статьи

Задача: Предсказать, какие участки города будут перегреваться сильнее всего летом.
Данные: Типы застройки (land cover), плотность озелененной территории, топография, расстояние до береговых линий и воды.
Что в статье: Natural Gradient Boosting или Deep Neural Networks. В статье дошли до R2 ~ 0.9 на тесте с NGBR. Вы кстати можете затестить катбуст.
Что делать: Собрать все факторы по городской сетке, сгенерить фичи (например, % озелененной территориии в радиусе 500м) и обучить хотя бы регрессионную модель.
Улучшение: Добавить данные о высоте зданий (влияет на проветриваемость) и интенсивности трафика (доп. источник тепла).

3️⃣Поиск аномальных изменений (Anomaly Detection) - можно взять эту статью (там кстати прям с кодом внутри статьи)

Задача: Находить на снимках аномальные изменения, допустим вырубка лесов (deforestation).
Данные: Распределенные по времени спутниковые снимки (например, Landsat). Их кстати надо обрабатывать
Бейзлайн: Сравнение снимков, относящихся к одним координатам попиксельно в разные промежутки времени.
Что делать: Применить модели для поиска аномалий, (база - Isolation Forest) на данных об изменениях в ландшафте
Улучшение: Для искушенных можно затестить DeepIsolationForest

4️⃣Поиск зон затопления (Flood Hazard) - по этому поводу кстати статей много, допустим берем эту

Задача: Спрогнозировать, какие территории с наибольшей вероятностью пострадают от наводнения.
Данные: Спутниковые снимки взять cо Scihub Copernicus (SAR, Sentinel-1) (с российских ip не работает, как грузить вроде была инфа на гитхабах), дополнительно можно собрать разные геоданные (рельеф, тип почвы, осадки). Таргет можно собрать здесь
Бейзлайн: Random Forest или градиентный бустинг (CatBoost). В статье например модели бустингов показывают норм точность > 80-90%.
Что делать: По классике собрать все геофичи в один датасет и обучить модель на исторических данных о затоплениях. Не забыть про SHAP, чтобы объяснить, почему модель считает именно эту зону целевой.
Улучшение: Затестить например GEE (Google Earth Engine)

Если вам ничего не откликнулось, то усредненный проект в геоаналитике с точки зрения спутниковых снимков и ML/DL можно представить вот так:

▫️Собрать побольше данных: спутниковые снимки, статистика, опенсурсные данные с каких-либо датчиков.
▫️Допустим, навесить много моделек: начиная с ванильного CNN, затем U-Net, YOLO, SAM, CLIP или что уже душе угодно. Особо изысканные могут затестить TernausNet 😐
▫️Ну или например взять предобученные на геоданных модели. Есть допустим библиотека TorchGeo
▫️Найти для себя любой интересующий вас таргет. И дальше уже тыкать модельки на фичах.
▫️По желанию интерпретируемость с LIME или SHAP

Проекты в геоаналитике — это не просто таблички, а возможность поработать со спутниковыми снимками, картами и реальными проблемами городов и планеты. Идеи можно подбирать со статей, а данные с открытых источников. Короче, все зависит от нашего желания.

Кидайте в коменты ваши проекты с геоаналитикой 👍

#geoanalytics #ml #dl #petproject
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥11👍5🔥31
Интересное что-то от ребят, кого я читаю v0.19

Предыдущий пост тут
Интересное что-то тут

Погнали:

1. 40 муравьев поделился хорошей альтернативой супервисперу. Это опенсурсный воислинк - говорят нормальная тема, а еще и можно надиктованное промптами обрабатывать. Типа пишешь текст, а на клавиатуру даже жамкаешь.

2. В паблике Dats analysis поделились крутой тулзой для перевода веб страниц в данные для рага. А в коментах еще и селф хостед версию скинули. Для меня как раз самое то. Осталось еще все посты с Интересного Что-то перевести в раг, и будет просто топ.

3. Ринат написал хороший пост про добавление памяти агентам. На самом деле очень похоже на типичную работу с кодом, когда в комментариях оставляешь себе разные подсказки, чтобы потом к этому вернуться.

4. Самат скинул обзор Гугла по разбору падений и ошибок. Из самой базы - упасть может любой сервис, главное научиться это правильно отрабатывать и делать выводы. В посте есть легкий троллинг подходов про то, как эта выкатка вообще попала в прод, частично согласен - поэтому давайте делать правильные выводы.

5. Рефат поделился несколькими UI для работы с локальными модельками с ноутбуков. Там и разные фичи, и удобный интерфейс, и даже раги. Го тестить.

Вообще, про RAG идея кстати не новая - хочется как-то правильно распарсить на каком-то уже готовом UI, в который влезет выгрузка с огромной кучи постов с тегами.

На долгосроке просто можно будет парсить тг-каналы с полезной информацией и автоматом репостить и собирать базу.

Кидайте ваши идеи и инструменты, которыми пользуетесь для локального RAGа. Не забываем про пункт 5, там уже есть немного про РАГи, хочется услышать новое.

#interesting
4👍1🔥1
Исследование специалистов по работе с данными — 2025

DevCrowd запускает новый опрос для дата-инженеров, аналитиков, дата-сайентистов, ML-инженеров и их руководителей.

Зачем участвовать?

– чтобы понять, какие задачи и инструменты сейчас в тренде,

– увидеть, как устроена работа у коллег в других продуктах,

– узнать, как растут зарплаты и роли в индустрии,

– получить данные, которые можно использовать для самодиагностики и карьерного планирования.

🗂 Пример прошлогоднего исследования — devcrowd.ru/ds24

📝 Опрос займёт 15 минут, результаты появятся в открытом доступе в августе.

👉 Пройти опрос
🔥3👍2
Что-то сегодня целый день уходит на процессы ревью, поэтому ловите мемы

#meme
😁12🔥4🦄2👍1🤣1
This media is not supported in your browser
VIEW IN TELEGRAM
🔥5❤‍🔥31
asisakov
Video message
Немножечко городской природы вам в ленту
👍6🔥3
Интересное что-то от ребят, кого я читаю v0.20

Предыдущий пост тут
Интересное что-то тут

Всех с новой неделей, го почитаем интересное:

1. Начнем с необычного - некоторое время в каналах по ллмкам (больше всего мне зашел пост Сергея) гуляют ссылки на интересную статью про то, как модель сломали, обучив на коде с уязвимостями, что привело просто к неожиданному - alignment модели сломался. Подробнее в посте и приложенных статьях.

2. Татьяна поделилась классным выступлением Тима Роктешела про ворлд моделинг. Говорят, что это очень хороший и своевременный обзорный доклад про новые приоритеты в исследовании ИИ: reinforcement learning, фундаментальные модели, проблемы бенчмарков, агентов и акселерации науки. Короче, го слушать.

3. Сева нашел классный курс про RAG с нуля на Питоне. До этого не видел подобных материалов, обычно весь код ограничивался туториалами с лангчейна или импорта RAGTools. Думаю точно потыкаю, очень интересно! Кстати, он же писал про важность правильного дизайна проектов с LLMками.

4. Женя рассказал про разницу между zero-shot и few-shot подходами в промптинге. Казалось бы, вроде все про это знают, а по моим опросам оказалось что нет. Хоть курс по промптингу запускай!

5. Другой Женя поделился интересным гайдом для СДВГшников, который оказывается может пригодиться каждому из нас. Не знаю как вы, но я буквально часто сталкиваюсь с похожими проблемами. Мб надо пройти тест, тогда точно будет понятно.

Кстати, если у вас есть классные материалы или курсы по промптингу, кидайте в комментарии!

#interesting
4👍3🔥3
Узнали?
Было?

UPD. Контекст тут

#meme
👍5😁4🤝2
Теория покера

Если погуглить форумы про покер, то в большинстве тредов эта игра воспринимается как некоторая система, в которой есть определенность. Хотя казалось бы, что карты всегда раздаются случайно. Считается, что успех в игре зависит от глубокого понимания математики, статистики и психологии. Даже существует целая дисциплина - теория покера.

С точки зрения человеческих способностей, тут хотелось бы упомянуть в первую очередь память - попробуйте без подсказок держать в голове все вероятностные исходы раздач, когда известна информация только о нескольких картах среди большого числа тех, что сейчас разыгрываются.

При этом, важно не только помнить вероятности по вышедшим картам и например историю сыгранных партий, но и отыскивать и запоминать паттерны поведения соперников в различных ситуациях - кто и как играл в разных позициях за столом.

Где здесь статистика и вероятности

Покер построен на математических расчетах:

▫️Вероятность получить определенную стартовую руку
▫️Шансы улучшить руку на флопе, терне, ривере
▫️Pot odds (соотношение размера банка к ставке)
▫️Implied odds (потенциальные шансы с учетом будущих ставок)

Продвинутая аналитика:

▫️EV (Expected Value) — матожидание каждого решения
▫️ICM (Independent Chip Model) — модель оценки фишек в денежном выражении
▫️GTO (Game Theory Optimal) — теоретически оптимальная стратегия, если мы не знаем стили игры соперников

Покерные движки и софт (обычно всегда платный софт):

Солверы (решатели):
▫️PioSOLVER - рассчитывает GTO-стратегии
▫️MonkerSolver - анализирует сложные споты
▫️SimplePostflop - анализ постфлопа

Трекеры и анализаторы (солверы там тоже есть):
▫️PokerTracker - сбор и анализ статистики
▫️Holdem Manager - детальная аналитика игры
▫️ICMIZER - расчеты для турнирных ситуаций

Очевидно, что программ больше, я просто привел рандомный список из того, что насоветовала GPT

Где тут аналитика

Статистические показатели:

▫️VPIP (Voluntarily Put $ In Pot) - частота вложений в банк
▫️PFR (Pre-Flop Raise) - показатель агрессивности игрока
▫️3-bet% - частота ререйзов
▫️C-bet% - продолженные ставки на флопе

Позиционная аналитика:

▫️Статистика по каждой позиции за столом
▫️Анализ прибыльности в разных ситуациях
▫️Частота блефов в зависимости от позиции

Аналитика психологии:

▫️Тайминг ставок (время на принятие решения)
▫️Поведение в стрессовых или типичных ситуациях
▫️Тильт-контроль

Вообще, покер идеально подходит для изучения стратегических взаимодействий и развития навыков принятия решений в условиях неопределенности. Еще сверху это присыпается умением в риск-менеджмент и проработку поведения под эмоциональным давлением. В современное время теория покера включает и матмодели на основе теории игр, и AI-системы и ML алгоритмы, и даже поведенческие исследования

Покер давно перестал быть просто игрой. Это полноценная научная дисциплина, где успех зависит от глубокого понимания математики, умения анализировать данные и принимать оптимальные решения в условиях неопределенности.

Ну и напоследок ссылочка на открытый курс по теории покера от MIT. Весь пост родился вообще после того, как я нашел курс в рекомендациях ютуба. Очень круто просто понять, в каких случаях может пригодиться знание статистики и математики.

Надеюсь, было интересно ознакомиться.

Важно: в азартные игры играть не рекомендую!

#math #statistics #softskills #interesting
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥169👍4
nano-vllm

На прошлой неделе в опенсорс сообществе появился интересный проект - nano-vLLM. Это написанная с нуля минимальная версия движка vLLM. Проект кстати создан исследователем из DeepSeek (это к слову о том, почему важно заниматься своими пет-проектами). У чела всего 1200 строк Python-кода, но при этом он воспроизводит ключевой функционал vLLM. Причем за 2 недели набралось больше 4к звезд

Из названия прослеживается явная отсылка к нашумевшему nanoGPT Андрея Карпатого. И сходства действительно радуют: оба проекта созданы для понимания того, как работают сложные системы "под капотом", при это написан читаемый код без лишних абстракций. А еще есть реализация основных возможностей. Короче, можно просто форкнуть и потыкать для своих целей.

Говорят, что проводили замеры на RTX 4070 в сравнении с моделью Qwen3-0.6B (256 запросов), где нановллм уступил всего 3%. Выводы думаю можете сделать сами.

API не трогал, но заявлено, что похож на оригинальный vLLM. Примеры есть в example.py.

Короче, вот ссылка на репозиторий.

#llm #petproject
5❤‍🔥5👍21🔥1
2025/10/12 22:56:47
Back to Top
HTML Embed Code: