🧠 Генеративные модели: будущее науки или оружие дезинформации

Сегодня генеративные нейросети умеют создавать тексты, изображения, аудио и видео, практически неотличимые от реальных. GPT, DALL·E, Sora, StyleGAN — эти технологии открывают перед человечеством огромные научные перспективы… но вместе с ними и новые риски.

Возможности:
✅ Автоматизация научных открытий

✅ Генерация синтетических данных для обучения моделей

✅ Помощь в программировании, анализе текстов и данных

✅ Поиск и формулировка научных гипотез

✅ Разработка лекарств и новых материалов

Угрозы:
➡️ Deepfake-контент и фейковые аудиозаписи

➡️ Генерация недостоверной информации и псевдонауки

➡️ Снижение доверия к подлинным источникам

➡️ Отсутствие прозрачности в происхождении данных

➡️ Этические и правовые вызовы

Что делать

Важно развивать не только технологии, но и инфраструктуру доверия: цифровую маркировку контента, прозрачные модели, фильтрацию, этические рамки.

Возможно, будущее потребует и нового уровня цифровой грамотности и критического мышления.

📣 А как Вы считаете: генеративный ИИ — это инструмент прогресса или угроза для общества?

❤️ — Безусловно, инструмент прогресса
👍 — Скорее угроза, чем польза

Библиотека дата-сайентиста #междусобойчик

🆕 Свежие новости для дата‑сайентистов

⚙️ Инструменты и фреймворки
— Scikit‑LLM 0.4.2 — привычный интерфейс fit()/predict() из Scikit‑Learn теперь и для LLM‑задач: классификация, zero‑shot‑лейблинг, суммирование и др.

💻 Железо
— Blackwell: огромный GPU NVIDIA — GB202 (750 мм², 92,2 млрд транзисторов) почти догоняет AMD MI300X по FP32 и опережает B200 по памяти.

📑 Шпаргалки и подборки
— Top 50 LLM Interview Questions — краткий конспект ключевых тем по LLM (автор Hao Hoang).
— LLM Research Papers 2025 — список лучших работ 2025 года.

🩺 AI в медицине
— Path to Medical Superintelligence — Diagnostic Orchestrator от Microsoft AI диагностирует 85 % случаев NEJM, в 4 раза точнее врачей.

🧠 Опыт
— Vision Transformer с нуля — как «научить» трансформер смотреть.
— Кросс‑валидация во временных рядах — не перепутайте порядок данных.
— 16 промптов для памяти ChatGPT — увеличиваем полезный контекст.
— 10 000 лошадей «в лицо» — кейс по CV и эксперименты с датасетом.

Библиотека дата-сайентиста #свежак

💰 Топ-вакансий для дата-сайентистов за неделю

ML / Data Science Lead (Marketing + Dynamic Pricing + Out-of-Stock) —‍ от 470 000 до 480 000 ₽, удалёнка

Senior Marketing Analyst, удалёнка

Lead Data Engineer —‍ от 450 000 до 550 000 ₽, удалёнка

Middle+/Senior Data Scientist —‍ до 3 500 $, удалёнка

Quant Researcher —‍ от 350 000 до 450 000 ₽, удалёнка

Data Engineer —‍ от 3 300 $, офис (Тбилиси)

➡️ Еще больше топовых вакансий — в нашем канале Data jobs

Библиотека дата-сайентиста

↔️ Как не потерять данные из-за пропусков: практические стратегии

Пропущенные данные — распространённая проблема в реальных проектах. Причины могут быть разными: ошибки при сборе, повреждение файлов, неполные опросы и прочее.

Представляем три продвинутых способа иммутации пропусков с использованием Pandas и Scikit-learn:

1️⃣ Множественная иммутация с помощью цепочек уравнений (MICE)

Использует модели, например, Байесовскую регрессию или случайный лес, чтобы последовательно заполнять пропуски, обучаясь на известных данных.

from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer

iterative_imputer = IterativeImputer(random_state=42, max_iter=10)
df_imputed = pd.DataFrame(iterative_imputer.fit_transform(df), columns=df.columns)
print(df_imputed.isnull().sum().sum())  # Пропусков больше нет

Можно менять модель, например, использовать RandomForestRegressor для иммутации.

2️⃣ Иммутация с помощью K-ближайших соседей (KNN)

Заполняет пропуски, опираясь на похожие строки с известными значениями. Вес соседей можно задавать по расстоянию или равномерно.

from sklearn.impute import KNNImputer

knn_imputer = KNNImputer(n_neighbors=5, weights='distance')
df_knn = pd.DataFrame(knn_imputer.fit_transform(df), columns=df.columns)
print(df_knn.isnull().sum().sum())

3️⃣ Ансамблевая иммутация разными моделями

Запускаем разные иммутационные модели, получаем несколько вариантов заполненных данных, а затем выбираем лучший результат, ориентируясь на ключевые признаки:

from sklearn.linear_model import BayesianRidge
from sklearn.ensemble import ExtraTreesRegressor, RandomForestRegressor

imputers = {
    'bayesian_ridge': IterativeImputer(estimator=BayesianRidge(), random_state=42),
    'extra_trees': IterativeImputer(estimator=ExtraTreesRegressor(n_estimators=10, random_state=42), random_state=42),
    'rf_regressor': IterativeImputer(estimator=RandomForestRegressor(n_estimators=10, random_state=42), random_state=42)
}

imputed_datasets = {}
for name, imputer in imputers.items():
    imputed_datasets[name] = pd.DataFrame(imputer.fit_transform(df), columns=df.columns)
    print(f"{name}: Средний доход = {imputed_datasets[name]['income'].mean():.2f}")

➡️ Итоги:
— KNN хорошо подходит для небольших числовых датасетов, но требует ресурсов на больших.
— Ансамблевые методы дают лучшее качество, но сложнее и тяжелее в вычислениях.
— MICE — золотая середина для многих задач.

Библиотека дата-сайентиста #буст