Forwarded from 👾 твой cto
📸 Мы в neural.love в рамках эксперимента сделали сервис, который превращает старые портреты или даже картины и статуи в фотографии, которые выглядят так, будто бы людей только вчера на айфон сфоткали. Ниже пример с моим прадедом (понятно теперь, в кого я такой красивый).
Конечно, нейронки пока не умеют быть исторически достоверными, но эффект путешествия во времени всё равно достигается. На сайте есть ещё примеры, ну и конечно же вы можете попробовать сами ☺️
neural.love/portraits
Конечно, нейронки пока не умеют быть исторически достоверными, но эффект путешествия во времени всё равно достигается. На сайте есть ещё примеры, ну и конечно же вы можете попробовать сами ☺️
neural.love/portraits
Forwarded from Сказки Дядюшки Зомбака
В британской The Guardian потрясающая статья в духе фильма "Особое мнение" о том, как военные в Германии пытались предсказывать будущее, с помощью профессоров литературы в проекте под кодовым названием "Кассандра" (так в древнегреческих мифах звали дочь троянского царя Приама, которая могла предсказывать будущее).
Подход был довольно интересный: брался известный своими конфликтами регион, анализировалась тамошняя литература и текстам выставлялись оценки по девяти параметрам: тематический охват, была ли цензура текста, была ли цензура самого автора, реакция СМИ, скандалы вокруг текста, скандалы вокруг автора, литературные премии для автора, литературные премии для текста и, наконец, нарративная стратегия (подразумевалось поддерживает ли автор какую-либо сторону конфликта или нет). Книгам присваивалась оценка от -1 до +3, чем выше была оценка, тем "опаснее" был текст. Чем больше "опасных" текстов выходит, тем "опаснее" становится регион. Если какого-то автора запрещают и гонят прочь из страны, значит его книге надо прибавить очков по степени "опасности".
В некоторых книгах, прогнозируемое будущее указывает на народные настроения и тягу к переменам, например, в Алжире выходила фантастика, где действие происходит в 2084-м году и там по сути идёт простой пересказ антиутопии Оруэлла "1984", но на арабский лад, в которой исламистский диктатор использует религию, чтобы контролировать язык и ум своего народа. В одном из романов речь идёт о группе людей, которые присоединяются к демонстрации, которую жестко разгоняют силовики. В другом - вспоминают события берберской "черной весны" 1980-х годов. Все эти книги были в Алжире запрещены, что косвенно говорит о том, что эти книги были "опасны" для текущей власти, а значит в регионе может снова состояться или вооруженный конфликт или очередная "цветная революция".
"Проект Кассандра" немцы закрыли в 2020 году, во время пандемии, видимо долгосрочные и не слишком надёжные данные военным Германии были не очень нужны. А может быть просто проект попал под сокращение военного бюджета. Но из достигнутого, например, удалось за год предсказать грядущий конфликт в Армении и Азербайджане. Минкультуры Азербайджана снабдило грузинские библиотеки книгами, которые несли явные антиармянские настроения. Были и признаки, что Азербайджан наращивает пропагандистские усилия и вуаля, год спустя - разразилась война в Нагорном Карабахе, в которой погибло 6000 человек.
При этом, что меня в этой статье The Guardian ещё больше поражает - как косвенно сообщают, что штаб Ангелы Меркель вовсю использует уже сейчас big data, нейросети и ИИ для поиска совпадений. В Мюнхенском университете федеральных вооруженных сил Германии придумали систему Preview (сокращение от Prediction, Visualisation, Early Warning), в которой в ход идут не только книги, но вообще любые тексты онлайн: RSS-ленты новостных сайтов, базы данных военных, записи о гражданских протестах, актах неповиновения, взрывы домов и автомобилей, митинги, народные гуляния и тому подобная активность.
Всё это сопоставляется с данными по доходам на душу населения, данными об образовании и даже об изменении климата. Весь этот огромный массив данных анализирует Watson, платформа анализа big data от IBM, которая преобразовывает полученную кашу из данных в военные карты с проставленными на ней метками: вот тут у нас регион с желтой степенью вероятности развития конфликта, вот тут оранжевый, а вот тут красный, похоже что конфликт уже не за горами.
Один немецкий чиновник утверждает, что эта система прогнозирования за несколько месяцев предупредила правительство Меркель о мятеже повстанцев в северной провинции Мозамбика Кабо-Дельгаду, где силы безопасности сражались с боевиками, которые пытались создать очередное исламское государство. Впрочем, тут же делается вывод, что прогнозы тут были хоть и относительно точные, но не слишком долгосрочные, а "Проект Кассандра" должен был, по уверению его авторов, предсказывать будущие конфликты аж на пять лет вперёд.
В общем, прогнозирование будущего это уже не только удел шарлатанов, а серьёзная политическая движуха.
Подход был довольно интересный: брался известный своими конфликтами регион, анализировалась тамошняя литература и текстам выставлялись оценки по девяти параметрам: тематический охват, была ли цензура текста, была ли цензура самого автора, реакция СМИ, скандалы вокруг текста, скандалы вокруг автора, литературные премии для автора, литературные премии для текста и, наконец, нарративная стратегия (подразумевалось поддерживает ли автор какую-либо сторону конфликта или нет). Книгам присваивалась оценка от -1 до +3, чем выше была оценка, тем "опаснее" был текст. Чем больше "опасных" текстов выходит, тем "опаснее" становится регион. Если какого-то автора запрещают и гонят прочь из страны, значит его книге надо прибавить очков по степени "опасности".
В некоторых книгах, прогнозируемое будущее указывает на народные настроения и тягу к переменам, например, в Алжире выходила фантастика, где действие происходит в 2084-м году и там по сути идёт простой пересказ антиутопии Оруэлла "1984", но на арабский лад, в которой исламистский диктатор использует религию, чтобы контролировать язык и ум своего народа. В одном из романов речь идёт о группе людей, которые присоединяются к демонстрации, которую жестко разгоняют силовики. В другом - вспоминают события берберской "черной весны" 1980-х годов. Все эти книги были в Алжире запрещены, что косвенно говорит о том, что эти книги были "опасны" для текущей власти, а значит в регионе может снова состояться или вооруженный конфликт или очередная "цветная революция".
"Проект Кассандра" немцы закрыли в 2020 году, во время пандемии, видимо долгосрочные и не слишком надёжные данные военным Германии были не очень нужны. А может быть просто проект попал под сокращение военного бюджета. Но из достигнутого, например, удалось за год предсказать грядущий конфликт в Армении и Азербайджане. Минкультуры Азербайджана снабдило грузинские библиотеки книгами, которые несли явные антиармянские настроения. Были и признаки, что Азербайджан наращивает пропагандистские усилия и вуаля, год спустя - разразилась война в Нагорном Карабахе, в которой погибло 6000 человек.
При этом, что меня в этой статье The Guardian ещё больше поражает - как косвенно сообщают, что штаб Ангелы Меркель вовсю использует уже сейчас big data, нейросети и ИИ для поиска совпадений. В Мюнхенском университете федеральных вооруженных сил Германии придумали систему Preview (сокращение от Prediction, Visualisation, Early Warning), в которой в ход идут не только книги, но вообще любые тексты онлайн: RSS-ленты новостных сайтов, базы данных военных, записи о гражданских протестах, актах неповиновения, взрывы домов и автомобилей, митинги, народные гуляния и тому подобная активность.
Всё это сопоставляется с данными по доходам на душу населения, данными об образовании и даже об изменении климата. Весь этот огромный массив данных анализирует Watson, платформа анализа big data от IBM, которая преобразовывает полученную кашу из данных в военные карты с проставленными на ней метками: вот тут у нас регион с желтой степенью вероятности развития конфликта, вот тут оранжевый, а вот тут красный, похоже что конфликт уже не за горами.
Один немецкий чиновник утверждает, что эта система прогнозирования за несколько месяцев предупредила правительство Меркель о мятеже повстанцев в северной провинции Мозамбика Кабо-Дельгаду, где силы безопасности сражались с боевиками, которые пытались создать очередное исламское государство. Впрочем, тут же делается вывод, что прогнозы тут были хоть и относительно точные, но не слишком долгосрочные, а "Проект Кассандра" должен был, по уверению его авторов, предсказывать будущие конфликты аж на пять лет вперёд.
В общем, прогнозирование будущего это уже не только удел шарлатанов, а серьёзная политическая движуха.
the Guardian
‘At first I thought, this is crazy’: the real-life plan to use novels to predict the next war
Three years ago, a small group of academics at a German university launched an unprecedented collaboration with the military – using novels to try to pinpoint the world’s next conflicts. Are they on to something?
#interesting_links
Интересный пост с придуманной (но на основе компиляции опыта нескольких мест) историей. Если кратко - то там про head of ds, который приходит в команду стартапа, который уже достаточно созрел. Но не в плане данных и работы data специалистов. Короче, рекомендуется к прочтению.
Мое мнение - написано разумно. Если не выстроить базовые вещи, то никакого ml и не внедрить нормально. Потому товарищ и набирает data generalists без упоминания модных вещей, строит базовые процессы, поднимает грамотность коллег-смежников. А уже потом идут какие-то около ml поползновения.
Плюсом тут еще и классическая история про "а кто такой data scientist?". Одни понимают под этим R&D и нечто модное и молодёжное. Другие - "crunching the numbers" и больше bi и продуктовую аналитику. Оттого и недопонимание.
Интересный пост с придуманной (но на основе компиляции опыта нескольких мест) историей. Если кратко - то там про head of ds, который приходит в команду стартапа, который уже достаточно созрел. Но не в плане данных и работы data специалистов. Короче, рекомендуется к прочтению.
Мое мнение - написано разумно. Если не выстроить базовые вещи, то никакого ml и не внедрить нормально. Потому товарищ и набирает data generalists без упоминания модных вещей, строит базовые процессы, поднимает грамотность коллег-смежников. А уже потом идут какие-то около ml поползновения.
Плюсом тут еще и классическая история про "а кто такой data scientist?". Одни понимают под этим R&D и нечто модное и молодёжное. Другие - "crunching the numbers" и больше bi и продуктовую аналитику. Оттого и недопонимание.
К слову о том, кто же такой data scientist.
Я считаю, что под это понятие можно подсунуть что угодно. Так что, к сожалению, нужно смотреть на описание должностных обязанностей и проекты (где тоже могут быть враки, но шанс найти нечто подозрительное выше). При этом, смежные специальности в любом случае будут "протекать" из одной специализации в другую. К примеру, какие-то общие аналитические изыскания есть и у data analyst и у data scientist. И в этом нет ничего странного.
Так что, в общем случае, специалисты по работе с данными должны уметь делать многие вещи (может быть не на уровне узких специалистов, но хотя бы на базовом). Главное - четко отделять границу, когда нужно просто помочь в смежной области знаний, а когда вас уже потихоньку приспосабливают к работе другого специалиста, чтобы тупо заткнуть вами дыру (если, конечно, вы не хотите в смежную область, т.к. для такого случая это скорее плюс).
Вообще, мне нравится уже достаточно старое, но полезное видео по этой теме. Такой подход, где есть примерно одинаковые сущности, но разный уровень владения ими, отлично отражает суть.
Я считаю, что под это понятие можно подсунуть что угодно. Так что, к сожалению, нужно смотреть на описание должностных обязанностей и проекты (где тоже могут быть враки, но шанс найти нечто подозрительное выше). При этом, смежные специальности в любом случае будут "протекать" из одной специализации в другую. К примеру, какие-то общие аналитические изыскания есть и у data analyst и у data scientist. И в этом нет ничего странного.
Так что, в общем случае, специалисты по работе с данными должны уметь делать многие вещи (может быть не на уровне узких специалистов, но хотя бы на базовом). Главное - четко отделять границу, когда нужно просто помочь в смежной области знаний, а когда вас уже потихоньку приспосабливают к работе другого специалиста, чтобы тупо заткнуть вами дыру (если, конечно, вы не хотите в смежную область, т.к. для такого случая это скорее плюс).
Вообще, мне нравится уже достаточно старое, но полезное видео по этой теме. Такой подход, где есть примерно одинаковые сущности, но разный уровень владения ими, отлично отражает суть.
Forwarded from Пристанище Дата Сайентиста
Вместе с ребятами из IT Resume подготовили 6 частых вопросов с собеседований по Data Science и ответы на них. Кстати, ребята несколько раз в неделю выкладывают задачи по программированию и Data Science с подробным разбором - отличная тренировка перед собеседованием.
Ребята сейчас разрабатывают полноценную платформу для развития навыков и подготовки к собеседованиям в IT. Скоро первый релиз 😉
Cтатьи ВК
Телеграм
Ребята сейчас разрабатывают полноценную платформу для развития навыков и подготовки к собеседованиям в IT. Скоро первый релиз 😉
Cтатьи ВК
Телеграм
Forwarded from TechSparks
Сегодня стартовала Олимпиада в Токио; а в современном мире знаменитые слова «быстрее, выше, сильнее» означают, что достижения спортсменов должны регистрироваться все более совершенной измерительной техникой. Компания Omega традиционно обслуживает большие соревнования, вот и в этот раз они гордятся далеко не только точностью хронометража.
Теперь в ходу детекторы поз тела в гимнастике, компьютерное зрение, позволяющее измерять кучу параметров пловцов, изощренные датчики на велосипедах и стартовых колодках легкоатлетов… Олимпиада нынче это и парад технологий, и мы ещё почитаем не только про технологии измерений, но и про технологии визуализации и трансляции для максимальной зрелищности, про высокотехнологичный инвентарь и сотрудничество тренеров с ИИ. Нынче спорт высоких достижений — это обязательно спорт высоких технологий ;)
https://www.digitaltrends.com/features/omega-timekeeping-tech-olympics-2021/
Теперь в ходу детекторы поз тела в гимнастике, компьютерное зрение, позволяющее измерять кучу параметров пловцов, изощренные датчики на велосипедах и стартовых колодках легкоатлетов… Олимпиада нынче это и парад технологий, и мы ещё почитаем не только про технологии измерений, но и про технологии визуализации и трансляции для максимальной зрелищности, про высокотехнологичный инвентарь и сотрудничество тренеров с ИИ. Нынче спорт высоких достижений — это обязательно спорт высоких технологий ;)
https://www.digitaltrends.com/features/omega-timekeeping-tech-olympics-2021/
Digital Trends
Quantum clocks and e-pistols: The ultra-precise timekeeping of the Tokyo Games
In the Olympics, a single microsecond can mean the difference between winning and losing a race, so timekeeping systems need to be outrageously accurate.
Forwarded from Denis Sexy IT 🤖
Интересное исследование про еще один перегретый рынок, в этот раз рекламы на ТВ:
За 2019 год различные организации вложили в ТВ рекламу порядка 66 миллиардов долларов, веря, что такие деньги будут способствовать росту продаж. Однако, согласно новому исследованию, более чем для 80% брендов реклама имеет отрицательную рентабельность, что означает чрезмерные и необоснованные инвестиции в продвижение или по простому – деньги на ветер.
Исследователи кафедры маркетинга Kellogg обнаружили, что для более чем 200 потребительских товаров, включая продукты питания, напитки и основные товары для дома, рентабельность инвестиций (ROI) была отрицательной – «Похоже, что подавляющее большинство фирм слишком много рекламируют или тратят слишком много на рекламу».
Проблема кроется в том, что эффективность рекламы на ТВ можно оценивать в основном по деньгам которую реклама принесла. В это же время, многие менеджеры признают, что не очень уверены в своей способности измерить эффективность такой рекламы. В итоге, получается что это рынок который просто едет по рельсам которые проложили в прошлом – компании идут на крупные вложения с сомнительной отдачей. Уже очень долго исследователи пытаются количественно измерить эффективность рекламы различными видами анализа, но по большей части некоторые из способов не эффективны, другие сосредоточены только на одной отрасли и не показывают общей картины, а третьи просто не объективны по причине - ну кто будет говорить об неэффективной рекламе 🌚
Исследователи решили сосредоточить свое внимание на 288 потребительских товаров, названия некоторых из них были нарицательными, что говорит о том, что они хорошо себя зарекомендовали на рынке (например Bounty). Компании по прежнему вливали в телерекламу в среднем по 10,5 миллионов $ в год.
Исследователи получили данные о продажах примерно в 12 000 торговых точек США, а также данные о покупках более чем в 60 000 американских домохозяйствах в 2010-2014 годах, изучив при это данные традиционной ТВ рекламы за этот же период. Само исследование состояло из нескольких сложных частей (если вы часть этой отрасли, то вам будет интересно почитать), но главное что там вывели некий показатель, называемый эластичностью рекламы, он оказался равен 0,01, что означает, что если фирмы удвоят объем телерекламы, продажи возрастут, ну, на 1% примерно.
С нетерпением жду такого же исследования про крупные оффлайн бренды на рынке интернет рекламы и методов такой рекламы – никак не выходит из головы недавний случай который я видел в инсте, где Sprite закупал рекламу у блогеров инстаграма (~от 100к подписчиков, не знаю сколько их было), с какой-то пафосной подводкой в стиле «мой путь» и ссылкой на инсту Sprite Russia – 7к подписчиков в результате. При этом, я не верю, что кто-то побежал в магазин покупать Sprite увидя как какой-то блогер пьет газировку ¯\_(ツ)_/¯
Я понимаю, что на эту аудиторию можно будет в будущем таргетировать всякое, но все же – учитывая бюджеты (не верю что блогеры мало берут), явно цена всей кампании очень большая и типа построить фонтан со спрайтом в центре ВДНХ было бы дешевле ⛲️💦
За 2019 год различные организации вложили в ТВ рекламу порядка 66 миллиардов долларов, веря, что такие деньги будут способствовать росту продаж. Однако, согласно новому исследованию, более чем для 80% брендов реклама имеет отрицательную рентабельность, что означает чрезмерные и необоснованные инвестиции в продвижение или по простому – деньги на ветер.
Исследователи кафедры маркетинга Kellogg обнаружили, что для более чем 200 потребительских товаров, включая продукты питания, напитки и основные товары для дома, рентабельность инвестиций (ROI) была отрицательной – «Похоже, что подавляющее большинство фирм слишком много рекламируют или тратят слишком много на рекламу».
Проблема кроется в том, что эффективность рекламы на ТВ можно оценивать в основном по деньгам которую реклама принесла. В это же время, многие менеджеры признают, что не очень уверены в своей способности измерить эффективность такой рекламы. В итоге, получается что это рынок который просто едет по рельсам которые проложили в прошлом – компании идут на крупные вложения с сомнительной отдачей. Уже очень долго исследователи пытаются количественно измерить эффективность рекламы различными видами анализа, но по большей части некоторые из способов не эффективны, другие сосредоточены только на одной отрасли и не показывают общей картины, а третьи просто не объективны по причине - ну кто будет говорить об неэффективной рекламе 🌚
Исследователи решили сосредоточить свое внимание на 288 потребительских товаров, названия некоторых из них были нарицательными, что говорит о том, что они хорошо себя зарекомендовали на рынке (например Bounty). Компании по прежнему вливали в телерекламу в среднем по 10,5 миллионов $ в год.
Исследователи получили данные о продажах примерно в 12 000 торговых точек США, а также данные о покупках более чем в 60 000 американских домохозяйствах в 2010-2014 годах, изучив при это данные традиционной ТВ рекламы за этот же период. Само исследование состояло из нескольких сложных частей (если вы часть этой отрасли, то вам будет интересно почитать), но главное что там вывели некий показатель, называемый эластичностью рекламы, он оказался равен 0,01, что означает, что если фирмы удвоят объем телерекламы, продажи возрастут, ну, на 1% примерно.
С нетерпением жду такого же исследования про крупные оффлайн бренды на рынке интернет рекламы и методов такой рекламы – никак не выходит из головы недавний случай который я видел в инсте, где Sprite закупал рекламу у блогеров инстаграма (~от 100к подписчиков, не знаю сколько их было), с какой-то пафосной подводкой в стиле «мой путь» и ссылкой на инсту Sprite Russia – 7к подписчиков в результате. При этом, я не верю, что кто-то побежал в магазин покупать Sprite увидя как какой-то блогер пьет газировку ¯\_(ツ)_/¯
Я понимаю, что на эту аудиторию можно будет в будущем таргетировать всякое, но все же – учитывая бюджеты (не верю что блогеры мало берут), явно цена всей кампании очень большая и типа построить фонтан со спрайтом в центре ВДНХ было бы дешевле ⛲️💦
Wiley Online Library
Econometrica | Econometric Society Journal | Wiley Online Library
We estimate the distribution of television advertising elasticities and the distribution of the advertising return on investment (ROI) for a large number of products in many categories. Our results r...
Forwarded from partially unsupervised
Прочитал прекрасный лонгрид про Трампа современное де-факто кастовое строение общества (очень рекомендую осилить целиком). Самые нетерпеливые читатели могут уже возмутиться "эй, мне обещали, что это канал про ML и software engineering, верните мои деньги!". Но погодите отписываться, это пост на самом деле про карьеру в software.
Вырву цитату из этой статьи:
Олред рассказывает, что за годы работы школы они поняли, что учеников надо научить не только правильно кодировать, но и правильно разговаривать, правильно одеваться и даже правильно выбирать имейл-адрес — иначе с устройством на работу возникают проблемы. У тех, кто приходит в Lambda, чтобы научиться кодировать, и у IT-менеджеров, которые их нанимают, просто разные культурные коды, и чтобы тебе доверяли как программисту, нужно не только программировать как программист, но и вести себя как программист. То есть показать, что ты принадлежишь к определенному социальному классу.
Этот тезис обязателен для осознания многим, например:
- тем, кто пытается вкатиться в индустрию без релевантного образования (а таких людей очень много);
- тем, кто в этом помогает (авторы всяких курсов программирования);
- тем, кто застрял в карьере на уровне code monkey (и недоволен этим).
Действительно, ставшие популярными behavioral интервью проверяют не только, не мудак ли кандидат, но и является ли он частью "касты технарей". Это необязательно значит быть архетипичным нердом, но какие-то общие ценности ожидаются. Знаменитое fake it till you make it - как раз про то, чтобы успешно мимикрировать под эту касту, и потом уже влиться в нее по-настоящему.
Разумеется, все вышесказанное никак не противоречит необходимости ботать алгоритмы, уметь пользоваться современными инструментами, сколько-то знать математику и в целом уметь программировать. Но этого недостаточно: при прочих равных из двух кандидатов, закончивших одинаковые курсы, пролиставших одинаковые учебники и сделавших одинаковые пет-проекты, первым получит работу тот, кто в свободное время читает научпоп про космос и играет в видеоигры, а не тот, кто с юности любит музеи современного искусства и артхаусное кино.
Вырву цитату из этой статьи:
Олред рассказывает, что за годы работы школы они поняли, что учеников надо научить не только правильно кодировать, но и правильно разговаривать, правильно одеваться и даже правильно выбирать имейл-адрес — иначе с устройством на работу возникают проблемы. У тех, кто приходит в Lambda, чтобы научиться кодировать, и у IT-менеджеров, которые их нанимают, просто разные культурные коды, и чтобы тебе доверяли как программисту, нужно не только программировать как программист, но и вести себя как программист. То есть показать, что ты принадлежишь к определенному социальному классу.
Этот тезис обязателен для осознания многим, например:
- тем, кто пытается вкатиться в индустрию без релевантного образования (а таких людей очень много);
- тем, кто в этом помогает (авторы всяких курсов программирования);
- тем, кто застрял в карьере на уровне code monkey (и недоволен этим).
Действительно, ставшие популярными behavioral интервью проверяют не только, не мудак ли кандидат, но и является ли он частью "касты технарей". Это необязательно значит быть архетипичным нердом, но какие-то общие ценности ожидаются. Знаменитое fake it till you make it - как раз про то, чтобы успешно мимикрировать под эту касту, и потом уже влиться в нее по-настоящему.
Разумеется, все вышесказанное никак не противоречит необходимости ботать алгоритмы, уметь пользоваться современными инструментами, сколько-то знать математику и в целом уметь программировать. Но этого недостаточно: при прочих равных из двух кандидатов, закончивших одинаковые курсы, пролиставших одинаковые учебники и сделавших одинаковые пет-проекты, первым получит работу тот, кто в свободное время читает научпоп про космос и играет в видеоигры, а не тот, кто с юности любит музеи современного искусства и артхаусное кино.
Гиперболея
Новые касты
Лонгрид Конца Света №2
Forwarded from Мишин Лернинг 🇺🇦🇮🇱
Нейросеть Codex от OpenAI: увольняйте ваших Data Scientist’ов
Будущее наступило! Нейросеть Codex (gpt 3 для генерации кода) позволяет решать data science задачи на естественном языке!
https://youtu.be/Ru5fQZ714x8
Будущее наступило! Нейросеть Codex (gpt 3 для генерации кода) позволяет решать data science задачи на естественном языке!
https://youtu.be/Ru5fQZ714x8
YouTube
Data Science with OpenAI Codex
Learn more: https://openai.com/blog/openai-codex
Появился НейроПутин.
Потестил - словно прямую линию посмотрел. Ответы весьма похожие получаются.
Поговорить с ним можно тут: @neural_chat_bot.
Потестил - словно прямую линию посмотрел. Ответы весьма похожие получаются.
Поговорить с ним можно тут: @neural_chat_bot.
#books
Прочитал книгу "Это норм!
Книга о поисках себя, кризисах карьеры и самоопределении".
Очень разумные мысли, хорошая подача. Некоторые вещи и у самого на языке крутились, но не мог сформулировать правильно. После прочтения некоторые идеи и мысли куда яснее теперь вижу.
В общем, рекомендую к прочтению .
Прочитал книгу "Это норм!
Книга о поисках себя, кризисах карьеры и самоопределении".
Очень разумные мысли, хорошая подача. Некоторые вещи и у самого на языке крутились, но не мог сформулировать правильно. После прочтения некоторые идеи и мысли куда яснее теперь вижу.
В общем, рекомендую к прочтению .
Forwarded from Мишин Лернинг 🇺🇦🇮🇱
∞-former: Infinite Memory Transformer
Представлен трансформер, не просто решающий проблему квадратичной сложности механизма внимания за линейное время, а пытающийся найти решение за константу.
Основная идея в том, чтобы аппроксимировать вектора токенов последовательности различной длины фиксированным набором континуальных радиальных базисов.
По факту, вместо привычной матрицы [длина последовательности, размерность токенов] получается набор континуальных функций размерностью [константа. размерность токенов]. Интуиция - компрессия временной составляющей.
За счет использования механизма непрерывного внимания для работы с такой долговременной памятью, сложность внимания ∞-former становится независимой от длины контекста.
Метод не такой изящный, как perceiver io, но определено интересный.
📄 paper
Представлен трансформер, не просто решающий проблему квадратичной сложности механизма внимания за линейное время, а пытающийся найти решение за константу.
Основная идея в том, чтобы аппроксимировать вектора токенов последовательности различной длины фиксированным набором континуальных радиальных базисов.
По факту, вместо привычной матрицы [длина последовательности, размерность токенов] получается набор континуальных функций размерностью [константа. размерность токенов]. Интуиция - компрессия временной составляющей.
За счет использования механизма непрерывного внимания для работы с такой долговременной памятью, сложность внимания ∞-former становится независимой от длины контекста.
Метод не такой изящный, как perceiver io, но определено интересный.
📄 paper