В связи с появлением аллокаторов памяти на LLM мы с другом придумали несколько перспективных продуктов:
1.
2.
3. AI менеджер процессов. Раз в минуту открывает ps aux и убивает процессы по своему усмотрению.
4. AI антивирус: проверяет каждый файл и делает с ним что хочет.
5. HTTPS, но тело запроса шифруует и дешифрует LLM.
6. AI менеджер паролей.
7. AI менеджер доступов. Меняет пароли и учетки на компьютере.
8. AI родительский контроль. Раз в час спрашивает тебя, что ты делаешь. 2 минуты на ответ. По результатам делает, что посчитает нужным, чтобы сделать тебя счастливым. Имеет полный доступ к компьютеру.
9. AI с доступом ко всем твоим банковским и инвестиционным счетам. Может оплачивать что угодно в интернете. Ты можешь тратить деньги только попросив его.
10. AI DNS: отправляешь ему имя домена, а он возвращает тебе IP адрес.
1.
requests_ai.post
: отправляет HTTP запрос тело которого пишет LLM.2.
assert_ai
принимает что-то на вход, внутри LLM проверяет что считает нужным.3. AI менеджер процессов. Раз в минуту открывает ps aux и убивает процессы по своему усмотрению.
4. AI антивирус: проверяет каждый файл и делает с ним что хочет.
5. HTTPS, но тело запроса шифруует и дешифрует LLM.
6. AI менеджер паролей.
7. AI менеджер доступов. Меняет пароли и учетки на компьютере.
8. AI родительский контроль. Раз в час спрашивает тебя, что ты делаешь. 2 минуты на ответ. По результатам делает, что посчитает нужным, чтобы сделать тебя счастливым. Имеет полный доступ к компьютеру.
9. AI с доступом ко всем твоим банковским и инвестиционным счетам. Может оплачивать что угодно в интернете. Ты можешь тратить деньги только попросив его.
10. AI DNS: отправляешь ему имя домена, а он возвращает тебе IP адрес.
./ai_rm <prompt> — описываешь какой файл хочешь удалить, LLM находит его и удаляет
5 60👍3👎1
Школа Высшей Математики запускает курс по LLM "Построй свой ChatGPT."
Я решил прорекламировать его из-за добротной программы целиком по делу, смотрите скриншот. Покрываются основы глубокого обучения, NLP, LLM, файнтюнинг и RLHF, ускорение и деплой. Я буквально не знаю ни одного подобного все-в-одном курса по LLM.
К тому же ведут преподаватели из ВШЭ, ШАД и топовых компаний.
Важно, что курс не рассчитан на совсем новичков. Он требует базовой математики, программирования на Python и ML. Курс начинается с введения в глубокое обучение, так что рассчитывайте свои силы соответственно. Обещают, что будет сложно я но полезно.
Смотрите подробнее в этом видео: https://www.tgoop.com/shvmxyz/38, или можно заглянуть в телеграм канал @shvmxyz.
Курс стартует уже через семь часов, задумайтесь
Я решил прорекламировать его из-за добротной программы целиком по делу, смотрите скриншот. Покрываются основы глубокого обучения, NLP, LLM, файнтюнинг и RLHF, ускорение и деплой. Я буквально не знаю ни одного подобного все-в-одном курса по LLM.
К тому же ведут преподаватели из ВШЭ, ШАД и топовых компаний.
Важно, что курс не рассчитан на совсем новичков. Он требует базовой математики, программирования на Python и ML. Курс начинается с введения в глубокое обучение, так что рассчитывайте свои силы соответственно. Обещают, что будет сложно я но полезно.
Смотрите подробнее в этом видео: https://www.tgoop.com/shvmxyz/38, или можно заглянуть в телеграм канал @shvmxyz.
Курс стартует уже через семь часов, задумайтесь
Telegram
ШВМ - Программы по AI
Презентация программы курса по LLM от автора - Елены Кантонистовой, руководителя магистратуры по AI в Вышке ⭐️
👎32🔥14❤5👍1
Forwarded from Сиолошная
Тезисно:
— Anthropic представили новую возможность для публичного тестирования: использование компьютера (уже доступно в API). Разработчики могут давать Claude использовать компьютер так, как это делают люди — глядя на экран, перемещая курсор, нажимая кнопки и печатая текст.
— Claude 3.5 Sonnet — первая передовая модель, предлагающая использование компьютера в публичной бета-версии (ну, из коробки да, но для других моделей это уж было года два...на GitHub. А тут они прям уверены!)
— этими возможности уже тестируют Asana, Canva, Cognition (которые Devin делали), DoorDash, Replit, и The Browser Company (это браузер Arc, на котором я сижу; они делают большую ставку на AI в браузере для выполнения действий вместо вас)
— The Browser Company отметили, что при использовании модели для автоматизации веб-задач Claude 3.5 Sonnet превзошла все модели, которые они тестировали до этого (но без деталей. Ждём обновление браузера?🙂 )
— новая модель сильно прокачалась в кодинге. На бенчмарке по внесению изменений в код на уровне целого большого репозитория (десятки тысяч строк кода) SWE-bench Verified качество выросло с 33.6% до 49% — это если сравнивать старый Sonnet и новый с использованием SWE-Agent (открытый фреймкорк из Berkley). Но были и другие решения, которые заточены именно на улучшение оценки, но недоступны нам — они выдавали 45.2%. Они, наверное, пробьют 55% просто через замену модели.
— Haiku (младшая версия, дешёвая) получает 40.6% на этом бенчмарке, что лучше старого Sonnet 3.5. Видно, что Anthropic вложились в ИИ-агентов и/или reasoning
Что это за "использование компьютера"? Claude транслирует ваши инструкции вроде «возьми данные с моего компьютера и из Интернета для заполнения вот этой формы и пройдись по всем полям») в компьютерные команды (прочитать таблицу на экране; переместить курсор, чтобы открыть веб-браузер; перейти на соответствующие веб-страницы; заполнить форму данными с этих страниц и т. д.)
Пока работает с достаточно базовыми командами и на разных бенчмарках вроде OSWorld выдаёт всего 22% (прошлый лучший результат был 7.8%, если использовать только скриншоты экрана, без трансляции в специльную форму для слабовидящих). Однако компания ожидает быстрых улучшений в ближайшем будущем через сбор обратной связи от разработчиков. Тут они сильно обошли OpenAI и других — как мы знаем, данные это новая нефть, и каждый день отставания других игроков приносит ценность. Очень ждём, что ответят OpenAI.
— Anthropic представили новую возможность для публичного тестирования: использование компьютера (уже доступно в API). Разработчики могут давать Claude использовать компьютер так, как это делают люди — глядя на экран, перемещая курсор, нажимая кнопки и печатая текст.
— Claude 3.5 Sonnet — первая передовая модель, предлагающая использование компьютера в публичной бета-версии (ну, из коробки да, но для других моделей это уж было года два...на GitHub. А тут они прям уверены!)
— этими возможности уже тестируют Asana, Canva, Cognition (которые Devin делали), DoorDash, Replit, и The Browser Company (это браузер Arc, на котором я сижу; они делают большую ставку на AI в браузере для выполнения действий вместо вас)
— The Browser Company отметили, что при использовании модели для автоматизации веб-задач Claude 3.5 Sonnet превзошла все модели, которые они тестировали до этого (но без деталей. Ждём обновление браузера?
— новая модель сильно прокачалась в кодинге. На бенчмарке по внесению изменений в код на уровне целого большого репозитория (десятки тысяч строк кода) SWE-bench Verified качество выросло с 33.6% до 49% — это если сравнивать старый Sonnet и новый с использованием SWE-Agent (открытый фреймкорк из Berkley). Но были и другие решения, которые заточены именно на улучшение оценки, но недоступны нам — они выдавали 45.2%. Они, наверное, пробьют 55% просто через замену модели.
— Haiku (младшая версия, дешёвая) получает 40.6% на этом бенчмарке, что лучше старого Sonnet 3.5. Видно, что Anthropic вложились в ИИ-агентов и/или reasoning
Что это за "использование компьютера"? Claude транслирует ваши инструкции вроде «возьми данные с моего компьютера и из Интернета для заполнения вот этой формы и пройдись по всем полям») в компьютерные команды (прочитать таблицу на экране; переместить курсор, чтобы открыть веб-браузер; перейти на соответствующие веб-страницы; заполнить форму данными с этих страниц и т. д.)
Пока работает с достаточно базовыми командами и на разных бенчмарках вроде OSWorld выдаёт всего 22% (прошлый лучший результат был 7.8%, если использовать только скриншоты экрана, без трансляции в специльную форму для слабовидящих). Однако компания ожидает быстрых улучшений в ближайшем будущем через сбор обратной связи от разработчиков. Тут они сильно обошли OpenAI и других — как мы знаем, данные это новая нефть, и каждый день отставания других игроков приносит ценность. Очень ждём, что ответят OpenAI.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍26❤9
Хочу порекомендовать вам канал про инди-хакинг, который читаю сам: @its_capitan
Мне нравится как они в реальном времени показывают как разрабатывают, продвигают и сколько зарабатывают на запусках небольших-проектов.
Подборка постов, которые мне зашли:
- Пост про то, почему американцы платят $40 за простой конвертер картинок, который сделали за 4 недели несмотря на то, что вокруг полно бесплатных аналогов.
- Пост про то, как за 2 недели запустили темную тему с тарифами от $5 до $99. Четыре таких продукта пассивно приносят как зп среднего разработчика.
- Как все может грустно закончиться, если 2 года пилить сложный продукт, не показывая его рынку.
Здесь можно подписаться на канал, чтобы подглядеть за их запусками. А может, и попробовать сделать такой простой продукт самому)
Мне нравится как они в реальном времени показывают как разрабатывают, продвигают и сколько зарабатывают на запусках небольших-проектов.
Подборка постов, которые мне зашли:
- Пост про то, почему американцы платят $40 за простой конвертер картинок, который сделали за 4 недели несмотря на то, что вокруг полно бесплатных аналогов.
- Пост про то, как за 2 недели запустили темную тему с тарифами от $5 до $99. Четыре таких продукта пассивно приносят как зп среднего разработчика.
- Как все может грустно закончиться, если 2 года пилить сложный продукт, не показывая его рынку.
Здесь можно подписаться на канал, чтобы подглядеть за их запусками. А может, и попробовать сделать такой простой продукт самому)
👍28👎20❤6🤬3
Claude заставили играть в Universal Paperclips
https://www.oneusefulthing.org/p/when-you-give-a-claude-a-mouse
https://www.oneusefulthing.org/p/when-you-give-a-claude-a-mouse
www.oneusefulthing.org
When you give a Claude a mouse
Some quick impressions of an actual agent
🔥14 5👍1
Борис опять
Photo
Claude обновился, так что время протестировать его на единственном достойном бенчмарке: рисовании svg.
Напомню промпт:
Напомню промпт:
Using SVG, draw a blue cube half behind a red cube on top of a yellow cube, with a purple cube in the background to the right
По сравнению с предыдущей версией все параллелипипеды стали кубами, правда с недостающими сторонами, но добавился лишний темно-красный куб и перепутан порядок. Старый справился лучше. Правда если сделать несколько генераций, то можно получить то, что выдавал старый.
Что это говорит о моделях и искусственном интеллекте?Ничего .
Что это говорит о моделях и искусственном интеллекте?
👍30 24🤔2😢1
Forwarded from Galqiwi's boredom
Наконец-то закончил работу над большим пет-проектом.
Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV.
Можно потестить демо здесь
видео
Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV.
Можно потестить демо здесь
видео
YouTube
AQLM.rs demo
You can try this demo at https://galqiwi.github.io/aqlm-rs/about.html
00:00 Click Me Load More
04:40 Actual demo
This was run on Macbook Pro M1. Any other laptop or phone with sufficient RAM should work too.
00:00 Click Me Load More
04:40 Actual demo
This was run on Macbook Pro M1. Any other laptop or phone with sufficient RAM should work too.
👍37🔥17👎8❤2
# Кратко про книги
Когда мне предложили писать научно-просветительскую книгу я изучал вопрос почти месяц и поговорил с несколькими лауреатами премии "Просветитель." Поделюсь с вами тем, что узнал.
## Деньги
Денег не будет. Сразу это обозначим. Если вы работаете с издательством, то получаете роялти около 20% от оптовой цены печатного экземпляра. Если книга стоит 400 руб, то автор получит примерно 20 рублей. Можно задрать цену книги, но тогда ее никто не купит. С электронными и аудио книгами порядок такой же. Успешные по меркам рынка книги продаются всего по несколько тысяч экземпляров, так что можете сами посчитать потенциал.
В случае самиздата вы получаете больше денег с продажи, но скорее всего гораздо меньше продаж.
На Хабре есть статья писательницы, которая выпустила нон-фикшн книгу про карьеру в IT и за два года заработала 26 тысяч рублей. Это выручка, то есть не считая расходы.
## Издательство или самиздат?
Есть два пути.
Самиздат: делаешь, что хочешь и публикуешь рукопись в электронном виде через Ридеро или ЛитРес. Эти площадки предоставляют услуги издательства по модели pay2win. То есть дерут с вас деньги везде, где могут. Вы сами платите за корректуру, редактуру, обложку, иллюстрации, запись аудиокниги и так далее.
Главный плюс этого пути: полный контроль. Второстепенный: вы забираете почти все деньги с продаж. Но денег не будет, так что это не важно.
Меня интересовала такая схема:
1. Публикую книгу в open-source по главам.
2. С выходом каждой главы собираю обратную связь и навожу суету.
3. Когда книга готова публикую через самиздат.
4. Когда книга успешно продаётся через самиздат иду в издательства и предлагаю масштабировать.
Звучало хорошо, но ниже расскажу, почему отказался от этой идеи.
Издательство: вы передаете исключительную лицензию на распространение на 5-7 лет, получаете роялти от продаж в районе 20%, а взамен они делают примерно все кроме написания рукописи от редактуры до продвижения. Последнее важно: издательство может продать вашу книгу в сетевые книжные магазины, а попасть туда самостоятельно у вас фактически нет шансов. Издательство может номинировать книгу на премию "Просветитель", а сами вы этого не можете сделать если не являетесь академиком РАН или кем-то еще очень особенным.
Взамен вы отдаете контроль. Вы больше не можете выбрать название или обложку. Конечно никто не сделает чего-то не спросив вас, но в конце концов решающий голос по многим вопросам у издательства. Так же вы теряете возможность выбирать где и как продается книга на время действия лицензии. Например, вы не можете продавать ее у себя на сайте.
В конечном итоге я решил работать с издательством. Я понял, что для меня критично, чтобы книга случилась, и чтобы ее прочитало как можно больше людей. Для обоих целей лучше писать с издательством.
По части моей схемы с open-source: никто так не делает. Слишком непредсказуемо. Даже если все получится издательства могут не взяться распространять книгу, которая уже лежит в открытом доступе. Мне конечно кажется, что самостоятельно я бы сделал все лучше всех, но объективно это не так. Наконец, я просто не потянул бы целую вторую работу в незнакомой сфере.
К тому же, мне само написало хорошее издательство и мне понравилось с ними взаимодействовать.
## Ты предлагаешь или тебе предлагают
Обычный сценарий написания книги: автору неймётся, он пишет рукопись, потом ходит и пытается кого-то убедить её напечатать. В большинстве случаев издательства отказываются, выдвигают не лучшие условия или делают все за деньги автора.
Другой сценарий этоткогда приходят к вам. Мой случай. Значит о вас узнали и есть запрос. Здесь вы минуете самую болезненную фазу.
Однако это не значит, что все схвачено. Сотрудник издательства предлагает вам писать, но далее вы готовите документ в свободной форме, где продаете свою книгу. Пишете о чем книга, для кого, кто вы, почему вас будут читать, как планируете продвигать и пример текста. Питчдек в мире книг. Редакционный совет издательства читает и решает, работать с вами или нет.
Одобрение совета было для меня дополнительным сигналом, что стоит писать.
Когда мне предложили писать научно-просветительскую книгу я изучал вопрос почти месяц и поговорил с несколькими лауреатами премии "Просветитель." Поделюсь с вами тем, что узнал.
## Деньги
Денег не будет. Сразу это обозначим. Если вы работаете с издательством, то получаете роялти около 20% от оптовой цены печатного экземпляра. Если книга стоит 400 руб, то автор получит примерно 20 рублей. Можно задрать цену книги, но тогда ее никто не купит. С электронными и аудио книгами порядок такой же. Успешные по меркам рынка книги продаются всего по несколько тысяч экземпляров, так что можете сами посчитать потенциал.
В случае самиздата вы получаете больше денег с продажи, но скорее всего гораздо меньше продаж.
На Хабре есть статья писательницы, которая выпустила нон-фикшн книгу про карьеру в IT и за два года заработала 26 тысяч рублей. Это выручка, то есть не считая расходы.
## Издательство или самиздат?
Есть два пути.
Самиздат: делаешь, что хочешь и публикуешь рукопись в электронном виде через Ридеро или ЛитРес. Эти площадки предоставляют услуги издательства по модели pay2win. То есть дерут с вас деньги везде, где могут. Вы сами платите за корректуру, редактуру, обложку, иллюстрации, запись аудиокниги и так далее.
Главный плюс этого пути: полный контроль. Второстепенный: вы забираете почти все деньги с продаж. Но денег не будет, так что это не важно.
Меня интересовала такая схема:
1. Публикую книгу в open-source по главам.
2. С выходом каждой главы собираю обратную связь и навожу суету.
3. Когда книга готова публикую через самиздат.
4. Когда книга успешно продаётся через самиздат иду в издательства и предлагаю масштабировать.
Звучало хорошо, но ниже расскажу, почему отказался от этой идеи.
Издательство: вы передаете исключительную лицензию на распространение на 5-7 лет, получаете роялти от продаж в районе 20%, а взамен они делают примерно все кроме написания рукописи от редактуры до продвижения. Последнее важно: издательство может продать вашу книгу в сетевые книжные магазины, а попасть туда самостоятельно у вас фактически нет шансов. Издательство может номинировать книгу на премию "Просветитель", а сами вы этого не можете сделать если не являетесь академиком РАН или кем-то еще очень особенным.
Взамен вы отдаете контроль. Вы больше не можете выбрать название или обложку. Конечно никто не сделает чего-то не спросив вас, но в конце концов решающий голос по многим вопросам у издательства. Так же вы теряете возможность выбирать где и как продается книга на время действия лицензии. Например, вы не можете продавать ее у себя на сайте.
В конечном итоге я решил работать с издательством. Я понял, что для меня критично, чтобы книга случилась, и чтобы ее прочитало как можно больше людей. Для обоих целей лучше писать с издательством.
По части моей схемы с open-source: никто так не делает. Слишком непредсказуемо. Даже если все получится издательства могут не взяться распространять книгу, которая уже лежит в открытом доступе. Мне конечно кажется, что самостоятельно я бы сделал все лучше всех, но объективно это не так. Наконец, я просто не потянул бы целую вторую работу в незнакомой сфере.
К тому же, мне само написало хорошее издательство и мне понравилось с ними взаимодействовать.
## Ты предлагаешь или тебе предлагают
Обычный сценарий написания книги: автору неймётся, он пишет рукопись, потом ходит и пытается кого-то убедить её напечатать. В большинстве случаев издательства отказываются, выдвигают не лучшие условия или делают все за деньги автора.
Другой сценарий этоткогда приходят к вам. Мой случай. Значит о вас узнали и есть запрос. Здесь вы минуете самую болезненную фазу.
Однако это не значит, что все схвачено. Сотрудник издательства предлагает вам писать, но далее вы готовите документ в свободной форме, где продаете свою книгу. Пишете о чем книга, для кого, кто вы, почему вас будут читать, как планируете продвигать и пример текста. Питчдек в мире книг. Редакционный совет издательства читает и решает, работать с вами или нет.
Одобрение совета было для меня дополнительным сигналом, что стоит писать.
👍30❤8🔥7
## Масштабы продаж
Издательство не может просто взять права на распространение, положить их на полку и ничего не выпустить. По договору они обязаны напечатать хотя бы один тираж. Размер этого обязательного тиража намекает на то, каких продаж можно ожидать. Как думаете, сколько? Ответ:2 - 4 тысячи.
Если было продано несколько тысяч экземпляров, то книга считается бестселлером. Подавляющее большинство книг выпускается только в виде первого тиража, который потом утилизируется, потому что не продается.
Продажи книг это мир power law распределений: победитель получает все.
## Сроки
6-9 месяцев вы пишете рукопись. В процессе периодически показываете материал продюсеру от издательства, который дает обратную связь.
Вы сдаёте рукопись и 3-4 месяца идут редактура, корректура, дизайн обложки и прочее. Далее книга появляется в продаже. Примерно за месяц до этого начинается продвижение.
Пока что я пишу слишком медленно и не укладываюсь в сроки, что вызывает трясучку.
В случае самиздата, я уверен, все сроки умножаются на два.
———
В общем, со всех сторон план надёжный как швейцарские часы: денег не будет, продаж можно не ждать (но стремиться к ним я буду!), времени не много, а работы очень много. Зачем тогда? Потому что хочется сделать что-то стоящее и есть основания считать, что у меня получится.
Интересующимся очень советую эту серию постов на Хабре, где девушка описывает весь процесс написания, продаж и продвижения книги как раз по моей схеме от опенсорса к самиздату и до издательств. Она очень подробно разбирает все моменты, сравнивает предложения разных издательств и прочее прочее.
Издательство не может просто взять права на распространение, положить их на полку и ничего не выпустить. По договору они обязаны напечатать хотя бы один тираж. Размер этого обязательного тиража намекает на то, каких продаж можно ожидать. Как думаете, сколько? Ответ:
Если было продано несколько тысяч экземпляров, то книга считается бестселлером. Подавляющее большинство книг выпускается только в виде первого тиража, который потом утилизируется, потому что не продается.
Продажи книг это мир power law распределений: победитель получает все.
## Сроки
6-9 месяцев вы пишете рукопись. В процессе периодически показываете материал продюсеру от издательства, который дает обратную связь.
Вы сдаёте рукопись и 3-4 месяца идут редактура, корректура, дизайн обложки и прочее. Далее книга появляется в продаже. Примерно за месяц до этого начинается продвижение.
Пока что я пишу слишком медленно и не укладываюсь в сроки, что вызывает трясучку.
В случае самиздата, я уверен, все сроки умножаются на два.
———
В общем, со всех сторон план надёжный как швейцарские часы: денег не будет, продаж можно не ждать (но стремиться к ним я буду!), времени не много, а работы очень много. Зачем тогда? Потому что хочется сделать что-то стоящее и есть основания считать, что у меня получится.
Интересующимся очень советую эту серию постов на Хабре, где девушка описывает весь процесс написания, продаж и продвижения книги как раз по моей схеме от опенсорса к самиздату и до издательств. Она очень подробно разбирает все моменты, сравнивает предложения разных издательств и прочее прочее.
1❤39👍22🔥1
Олимпиадники опять не дают делать комментарии под последним постом, так что пишите под этим
Новый поиск в ChatGPT реально хорош.
На запросах вида "как приготовить куриный суп" выдача намного лучше, чем у Google. Просто по делу и не нужно продираться через стену копирайта.
Можно придраться только к цензуре. Поисковик который не хочет искатьпорно какие-то вещи на свое усмотрение это неприятно.
Но не все пока закрыто наглухо, торрент трекеры выдает :)
На запросах вида "как приготовить куриный суп" выдача намного лучше, чем у Google. Просто по делу и не нужно продираться через стену копирайта.
Можно придраться только к цензуре. Поисковик который не хочет искать
Но не все пока закрыто наглухо, торрент трекеры выдает :)