AI для ленивых

У Дудя вышел выпуск с Лебедевым и стало интересно, а что там, а кто кого? Но блин, 3 часа! Это же капец как долго!

Я такие интервью обхожу стороной, уж лучше сериал или фильм посмотреть. Но тут стало интересно и я воспользовался двумя AI инструментами (Summarizer app + ChatGPT)

1. Загоняем видео с ютуб в Summarizer (классное и полезное приложение) и получаем полную транскрибацию беседы. А это капец как много текста за 3 часа.

2. Полученный текст перегоняем в PDF файл.

3. Закидываем PDF в ChatGPT и пишем промпт что к чему, так как в транскрибации даже имён нет.

4. ChatGPT анализирует интервью, даже понимает какие реплики кому принадлежат и выдаёт свои выводы и мнение (у ChatGPT есть мнение?)

Итак: стоит посмотреть интервью? Кажется, 3 часа можно потратить на что-нибудь другое, более полезное. Но решает каждый для себя.

Если кто-то считает, что я в промпте склонил джипити к таком мнению, то я провел эксперимент с обезличенным и очень коротким промптом и джипити выдал результат не сильно отличающийся от первой попытки. Закинул скрины в комменты к посту и еще закинул PDF с интервью, можете сами попробовать.

AI очень помогает и экономит кучу времени, когда знаешь как эти инструменты использовать.

ИИволюция - нейросети на практике

Реставрация фотографии церкви

Новосёлы из села Сельцы (Рязанская область) решили восстановить Церковь Покрова Пресвятой Богородицы. От здания церкви осталось совсем немного. Сейчас они собирают деньги на восстановление, в том числе через продажу сувениров.

Уже к 1938 году церковь потеряла колокольню, а лучшая сохранившаяся фотография была не очень хорошего качества. Ксюша, которая делала макеты для сувенирных кружек, поделилась со мной этой фотографией.

Реставрация старых фото — интересная задача для работы с нейронками. Она имеет жёсткие ограничения и конкретный образ результата, в отличие от обычных нейрогенераций, где можно играться с детальностью и образом.

Опыт получился занятным. Процесс (скорее, общую логику процесса) я зафиксировал на карточках.

1) От здания мало что осталось, но и современные фотографии тоже могут пригодиться в процессе.

2) Начинаю с поиска инструментов автоматической реставрации. Но с ними не всё так просто. Большинство инструментов делают то, что я могу сделать сам (поиграться с уровнями и контрастностью, например). Какие-то сервисы удаляют трещины и царапины, но эту задачу легче решить генеративной заливкой в фотошопе. В общем, готовые сервисы мне не помогли, но немного пригодились нейро-фильтры фотошопа. Фильтр «реставрация фото» подтянул контрастность, а «колоризация» наметила цветовые пятна.

3)Этап предварительной подготовки фотографии очень важен. Мы можем использовать изображение с фотографии в качестве основы для новой генерации. Но с такими генерациями всегда приходится балансировать. Можно задать нейронке высокий уровень схожести с оригиналом, но тогда перенесутся все нежелательные артефакты. Если выставить низкий уровень схожести, архитектура начнёт искажаться. Я перепробовал несколько инструментов (Leonardo, FireFly, MJ), но все они давали либо слишком искажённый результат, либо не вносили значимых изменений. Этот этап занял у меня больше всего времени. И я пошёл в vizcom.

4) У vizcom есть две очень хорошие черты. Во-первых, он аккуратен с исходным контуром. Во-вторых, он неплохо понимает объём. К тому же у меня был референс стены настоящей церкви. Поэтому в vizcom я скрестил свою слегка улучшенную фотографию с фотографией остатков здания. И произошло чудо. Мыльно, с артефактами, но vizcom здорово поймал атмосферу. С первой же генерации. С этим результатом уже можно работать.

5) Теперь, когда цвета и фактуры пойманы, можно возвращаться в Leonardo. Загружаю изображение в Image Guidance (так там называется control net) и экспериментирую с параметрами денойзинга. Много генераций, несколько десятков, но результат меня уже почти устраивает. Закидываю несколько генераций в фотошоп, выборочно подчищаю, снова возвращаю в Леонардо (уменьшаю денойз). Несколько проходок — и готово.

6) Когда с крупными деталями покончено, можно закидывать в krea на энханс. Иногда возвращаюсь в фотошоп, чтобы подтереть очевидные несуразности. Немного цветокоррекции — готово.

7) Анимация. Это совсем не нужно, но я решил протестировать Gen3. Работает отменно!

Я понимаю, что результат далёк от идеала. На фотографии не всё можно разглядеть, а сам я совершенно ничего не смыслю в архитектуре церквей. Стоило бы взять консультацию, но сжатые сроки и нулевой бюджет... Энивей, получилось занятно.