#education
Курс Test-Driven Development with FastAPI and Docker.
Достаточно хороший курс. Стоит 25$, но вполне приличный за свои деньги (так что не жалею, что купил). Покрыт весь набор шагов от создания APIшки, до покрытия тестами, контейниризации, настройки CI/CD, деплоя. Все с примерами и пояснениями.
Список тем:
- Develop an asynchronous RESTful API with Python and FastAPI
- Practice Test-Driven Development
- Test a FastAPI app with pytest
- Interact with a Postgres database asynchronously
- Containerize FastAPI and Postgres inside a Docker container
- Run unit and integration tests with code coverage inside a Docker container
- Check your code for any code quality issues via a linter
- Configure GitHub Actions for continuous integration and deployment
- Use GitHub Packages to store Docker Images
Speed up a Docker-based CI build with Docker Cache
- Deploy FastAPI, Uvicorn, and Postgres to Heroku with Docker
- Parameterize test functions and mock functionality in tests with pytest
- Run tests in parallel with pytest-xdist
- Document a RESTful API with Swagger/OpenAPI
- Run a background process outside the request/response flow
Курс Test-Driven Development with FastAPI and Docker.
Достаточно хороший курс. Стоит 25$, но вполне приличный за свои деньги (так что не жалею, что купил). Покрыт весь набор шагов от создания APIшки, до покрытия тестами, контейниризации, настройки CI/CD, деплоя. Все с примерами и пояснениями.
Список тем:
- Develop an asynchronous RESTful API with Python and FastAPI
- Practice Test-Driven Development
- Test a FastAPI app with pytest
- Interact with a Postgres database asynchronously
- Containerize FastAPI and Postgres inside a Docker container
- Run unit and integration tests with code coverage inside a Docker container
- Check your code for any code quality issues via a linter
- Configure GitHub Actions for continuous integration and deployment
- Use GitHub Packages to store Docker Images
Speed up a Docker-based CI build with Docker Cache
- Deploy FastAPI, Uvicorn, and Postgres to Heroku with Docker
- Parameterize test functions and mock functionality in tests with pytest
- Run tests in parallel with pytest-xdist
- Document a RESTful API with Swagger/OpenAPI
- Run a background process outside the request/response flow
Forwarded from Big Data, AI and Machine Learning
Искусственный интеллект выпустил "новую" песню Nirvana
Специалисты компании Over the Bridge воспользовались нейросетью Magenta, созданной Google, и разработали на ее базе алгоритм. Они дали ему изучить порядка 30 песен Nirvana, в результате чего получилась “новая” песня культовой группы.
Известно, что алгоритм, созданный на базе искусственного интеллекта, тщательно изучил отличительные черты музыки Nirvana: стиль игры музыкантов, гитарные рифы, тексты и прочие моменты.
https://www.ferra.ru/news/techlife/iskusstvennyi-intellekt-vypustil-novuyu-pesnyu-nirvana-07-04-2021.htm
Специалисты компании Over the Bridge воспользовались нейросетью Magenta, созданной Google, и разработали на ее базе алгоритм. Они дали ему изучить порядка 30 песен Nirvana, в результате чего получилась “новая” песня культовой группы.
Известно, что алгоритм, созданный на базе искусственного интеллекта, тщательно изучил отличительные черты музыки Nirvana: стиль игры музыкантов, гитарные рифы, тексты и прочие моменты.
https://www.ferra.ru/news/techlife/iskusstvennyi-intellekt-vypustil-novuyu-pesnyu-nirvana-07-04-2021.htm
www.ferra.ru
Искусственный интеллект выпустил "новую" песню Nirvana
Специалисты компании Over the Bridge воспользовались нейросетью Magenta, созданной Google, и разработали на ее базе алгоритм. Они дали ему изучить порядка 30 песен Nirvana, в результате чего получилась “новая” песня культовой группы.
Forwarded from Техно Фил
This media is not supported in your browser
VIEW IN TELEGRAM
Оцените картинку, которая получается у лидара от стартапа AI Argo. По конструкции он похож на популярный Velodyne (используются чуть ли не в каждом беспилотнике) — то есть набор лазеров, который быстро вращается вокруг своей оси.
Но у Argo лазеры расположены таким образом, что образуют практически вертикальную полоску. Таким образом получается более детализированная картинка — например, лидар легко «ловит» разметку на дороге или объявления на столбе.
Но у Argo лазеры расположены таким образом, что образуют практически вертикальную полоску. Таким образом получается более детализированная картинка — например, лидар легко «ловит» разметку на дороге или объявления на столбе.
Что-то в последнее время у меня напряженка с графиком. Потому канал затих. Пока не могу сказать, сколь скоро опять будет возможность наполнять канал материалами.
Постараюсь хотя бы раз в неделю-две что-то выкладывать, чтобы совсем пусто не было (но это не точно).
До новых встреч на просторах тележки ;)
Постараюсь хотя бы раз в неделю-две что-то выкладывать, чтобы совсем пусто не было (но это не точно).
До новых встреч на просторах тележки ;)
Запись моего выступления на митапе X5 Data Driven MeetUp, который прошел 02.04. Рассказывал достаточно общий материал про data-driven организации и принятие решений на основе данных.
Помимо моего выступления, в той же записи есть выступления от коллег: "Data-driven рекомендациях и персональных предложениях в ритейле" и "Data-driven подход или как не нужно проводить АБ тестирование" от Димы Шипилова и Саши Сахнова соответственно.
Помимо моего выступления, в той же записи есть выступления от коллег: "Data-driven рекомендациях и персональных предложениях в ритейле" и "Data-driven подход или как не нужно проводить АБ тестирование" от Димы Шипилова и Саши Сахнова соответственно.
Forwarded from 👾 твой cto
TL;DR Это пересказ разных статей о FLoC — фиче, которую Google запускает на смену скриптам аналитики. Google заявляет, что их решение направлено на увеличение приватности, но интернет-сообщество с ними не согласно.
30 марта 2021 года Google объявила о запуске бета-тестирования новой фичи под названием Federated Learning of Cohorts (FLoC). Google сами решили, кто будет участником тестирования, выбрав случайных пользователей браузера Chrome из разных стран (что примечательно, из тех, где нет суровых законов о защите персональных данных типа GDPR) и включив им FLoC по умолчанию.
Не так давно я писал), что обороты набирает тренд на privacy-first подход. Он заключается в том, что компания, которая оказывает вам услуги, отказывается от сбора персональных данных, которые ей напрямую не нужны, а также принимает все меры, чтобы не допустить передачи персональных данных своих клиентов всяким третьим сторонам. Началось всё, пожалуй, с Павла Дурова, который поставил приватность во главу угла в позиционировании Telegram, тренд подхватили ProtonMail, Hey.com, DuckDuckGo и, конечно же, Apple. На другом конце полюса компании вроде Facebook, которые регулярно попадают в истории вроде этой).
Люди начали отказываться от Google Analytics на своих сайтах, многие используют адблокеры, чтобы защититься от трекинговых маячков, а Safari и Firefox включили блокировку third-party cookies по умолчанию. Google, кажется, не хочет становиться изгоем, поэтому тоже перенимает эту тактику, вот только копать) себе могилу они не собираются, можно не беспокоиться.
Как работает FLoC?
На основе данных, которые собирает Google Chrome о своём пользователе, ему будет присвоена определённая когорта (группа) с тысячами других, очень похожих на него пользователей. По идее никакие данные, кроме случайного ID когорты не покидает браузер пользователя, то есть история посещений остаётся в безопасности. Но есть одно "но" — идентификатор вашей когорты будет передан всем сайтам, на которые вы заходите.
Это страшно не только потому что при первом же посещении любой достаточно крупный сайт УЖЕ будет знать о вас кучу интересных подробностей, а интернет-трекеры будут знать о нас ещё чуточку больше, но ещё и потому что в конечном итоге где-нибудь утечёт ваш email с привязкой к когорте.
В чём проблема?
Представьте какой-нибудь большой сайт, например, поисковик или социальную сеть. И представьте двух пользователей, Максима и Степана.
Во вторник Максим заходит на наш большой сайт, и мы видим, что Google присвоил ему когорту #12345. Максим вступает в группу борющихся с депрессией или ищет описание назначенного ему антидепрессанта в поиске.
Пока всё нормально.
На следующий день к нам на сайт заходит Степан, и мы видим, что Google назначил ему ту же когорту #12345. Почему бы не показать ему контекстную рекламу про антидепрессанты, да? А если он на неё ещё и кликнет?
Так и запишем, когорта #12345 — это люди с депрессией.
Большим компаниям собрать такие данные будет не очень сложно, а ведь можно ещё и обмениваться ими между собой. И представьте, что случится, если (точнее, когда) эта база попадёт в открытый доступ?
Не хотите нажать на ссылочку в персональном письме? Ой, смотрите, наш Java-разработчик находится в когорте любителей BDSM!
В общем, гуглу не стоило называть это Privacy-First подходом. Ничего про приватность тут нет, а нам пытаются продать ровно тот же самый трекинг пользователя, только под другим соусом. Кстати, если вы пользователь Google Chrome, стоит провериться вот тут) — может быть вы уже стали частью эксперимента.
Ну а моя любимая вишенка на торте — Google пообещал, что от FLoC в своём браузере можно будет отказаться, но они зарелизили бета-тест без этой функции.
30 марта 2021 года Google объявила о запуске бета-тестирования новой фичи под названием Federated Learning of Cohorts (FLoC). Google сами решили, кто будет участником тестирования, выбрав случайных пользователей браузера Chrome из разных стран (что примечательно, из тех, где нет суровых законов о защите персональных данных типа GDPR) и включив им FLoC по умолчанию.
Не так давно я писал), что обороты набирает тренд на privacy-first подход. Он заключается в том, что компания, которая оказывает вам услуги, отказывается от сбора персональных данных, которые ей напрямую не нужны, а также принимает все меры, чтобы не допустить передачи персональных данных своих клиентов всяким третьим сторонам. Началось всё, пожалуй, с Павла Дурова, который поставил приватность во главу угла в позиционировании Telegram, тренд подхватили ProtonMail, Hey.com, DuckDuckGo и, конечно же, Apple. На другом конце полюса компании вроде Facebook, которые регулярно попадают в истории вроде этой).
Люди начали отказываться от Google Analytics на своих сайтах, многие используют адблокеры, чтобы защититься от трекинговых маячков, а Safari и Firefox включили блокировку third-party cookies по умолчанию. Google, кажется, не хочет становиться изгоем, поэтому тоже перенимает эту тактику, вот только копать) себе могилу они не собираются, можно не беспокоиться.
Как работает FLoC?
На основе данных, которые собирает Google Chrome о своём пользователе, ему будет присвоена определённая когорта (группа) с тысячами других, очень похожих на него пользователей. По идее никакие данные, кроме случайного ID когорты не покидает браузер пользователя, то есть история посещений остаётся в безопасности. Но есть одно "но" — идентификатор вашей когорты будет передан всем сайтам, на которые вы заходите.
Это страшно не только потому что при первом же посещении любой достаточно крупный сайт УЖЕ будет знать о вас кучу интересных подробностей, а интернет-трекеры будут знать о нас ещё чуточку больше, но ещё и потому что в конечном итоге где-нибудь утечёт ваш email с привязкой к когорте.
В чём проблема?
Представьте какой-нибудь большой сайт, например, поисковик или социальную сеть. И представьте двух пользователей, Максима и Степана.
Во вторник Максим заходит на наш большой сайт, и мы видим, что Google присвоил ему когорту #12345. Максим вступает в группу борющихся с депрессией или ищет описание назначенного ему антидепрессанта в поиске.
Пока всё нормально.
На следующий день к нам на сайт заходит Степан, и мы видим, что Google назначил ему ту же когорту #12345. Почему бы не показать ему контекстную рекламу про антидепрессанты, да? А если он на неё ещё и кликнет?
Так и запишем, когорта #12345 — это люди с депрессией.
Большим компаниям собрать такие данные будет не очень сложно, а ведь можно ещё и обмениваться ими между собой. И представьте, что случится, если (точнее, когда) эта база попадёт в открытый доступ?
Не хотите нажать на ссылочку в персональном письме? Ой, смотрите, наш Java-разработчик находится в когорте любителей BDSM!
В общем, гуглу не стоило называть это Privacy-First подходом. Ничего про приватность тут нет, а нам пытаются продать ровно тот же самый трекинг пользователя, только под другим соусом. Кстати, если вы пользователь Google Chrome, стоит провериться вот тут) — может быть вы уже стали частью эксперимента.
Ну а моя любимая вишенка на торте — Google пообещал, что от FLoC в своём браузере можно будет отказаться, но они зарелизили бета-тест без этой функции.
Forwarded from 👾 твой cto
📸 Мы в neural.love в рамках эксперимента сделали сервис, который превращает старые портреты или даже картины и статуи в фотографии, которые выглядят так, будто бы людей только вчера на айфон сфоткали. Ниже пример с моим прадедом (понятно теперь, в кого я такой красивый).
Конечно, нейронки пока не умеют быть исторически достоверными, но эффект путешествия во времени всё равно достигается. На сайте есть ещё примеры, ну и конечно же вы можете попробовать сами ☺️
neural.love/portraits
Конечно, нейронки пока не умеют быть исторически достоверными, но эффект путешествия во времени всё равно достигается. На сайте есть ещё примеры, ну и конечно же вы можете попробовать сами ☺️
neural.love/portraits
Forwarded from Сказки Дядюшки Зомбака
В британской The Guardian потрясающая статья в духе фильма "Особое мнение" о том, как военные в Германии пытались предсказывать будущее, с помощью профессоров литературы в проекте под кодовым названием "Кассандра" (так в древнегреческих мифах звали дочь троянского царя Приама, которая могла предсказывать будущее).
Подход был довольно интересный: брался известный своими конфликтами регион, анализировалась тамошняя литература и текстам выставлялись оценки по девяти параметрам: тематический охват, была ли цензура текста, была ли цензура самого автора, реакция СМИ, скандалы вокруг текста, скандалы вокруг автора, литературные премии для автора, литературные премии для текста и, наконец, нарративная стратегия (подразумевалось поддерживает ли автор какую-либо сторону конфликта или нет). Книгам присваивалась оценка от -1 до +3, чем выше была оценка, тем "опаснее" был текст. Чем больше "опасных" текстов выходит, тем "опаснее" становится регион. Если какого-то автора запрещают и гонят прочь из страны, значит его книге надо прибавить очков по степени "опасности".
В некоторых книгах, прогнозируемое будущее указывает на народные настроения и тягу к переменам, например, в Алжире выходила фантастика, где действие происходит в 2084-м году и там по сути идёт простой пересказ антиутопии Оруэлла "1984", но на арабский лад, в которой исламистский диктатор использует религию, чтобы контролировать язык и ум своего народа. В одном из романов речь идёт о группе людей, которые присоединяются к демонстрации, которую жестко разгоняют силовики. В другом - вспоминают события берберской "черной весны" 1980-х годов. Все эти книги были в Алжире запрещены, что косвенно говорит о том, что эти книги были "опасны" для текущей власти, а значит в регионе может снова состояться или вооруженный конфликт или очередная "цветная революция".
"Проект Кассандра" немцы закрыли в 2020 году, во время пандемии, видимо долгосрочные и не слишком надёжные данные военным Германии были не очень нужны. А может быть просто проект попал под сокращение военного бюджета. Но из достигнутого, например, удалось за год предсказать грядущий конфликт в Армении и Азербайджане. Минкультуры Азербайджана снабдило грузинские библиотеки книгами, которые несли явные антиармянские настроения. Были и признаки, что Азербайджан наращивает пропагандистские усилия и вуаля, год спустя - разразилась война в Нагорном Карабахе, в которой погибло 6000 человек.
При этом, что меня в этой статье The Guardian ещё больше поражает - как косвенно сообщают, что штаб Ангелы Меркель вовсю использует уже сейчас big data, нейросети и ИИ для поиска совпадений. В Мюнхенском университете федеральных вооруженных сил Германии придумали систему Preview (сокращение от Prediction, Visualisation, Early Warning), в которой в ход идут не только книги, но вообще любые тексты онлайн: RSS-ленты новостных сайтов, базы данных военных, записи о гражданских протестах, актах неповиновения, взрывы домов и автомобилей, митинги, народные гуляния и тому подобная активность.
Всё это сопоставляется с данными по доходам на душу населения, данными об образовании и даже об изменении климата. Весь этот огромный массив данных анализирует Watson, платформа анализа big data от IBM, которая преобразовывает полученную кашу из данных в военные карты с проставленными на ней метками: вот тут у нас регион с желтой степенью вероятности развития конфликта, вот тут оранжевый, а вот тут красный, похоже что конфликт уже не за горами.
Один немецкий чиновник утверждает, что эта система прогнозирования за несколько месяцев предупредила правительство Меркель о мятеже повстанцев в северной провинции Мозамбика Кабо-Дельгаду, где силы безопасности сражались с боевиками, которые пытались создать очередное исламское государство. Впрочем, тут же делается вывод, что прогнозы тут были хоть и относительно точные, но не слишком долгосрочные, а "Проект Кассандра" должен был, по уверению его авторов, предсказывать будущие конфликты аж на пять лет вперёд.
В общем, прогнозирование будущего это уже не только удел шарлатанов, а серьёзная политическая движуха.
Подход был довольно интересный: брался известный своими конфликтами регион, анализировалась тамошняя литература и текстам выставлялись оценки по девяти параметрам: тематический охват, была ли цензура текста, была ли цензура самого автора, реакция СМИ, скандалы вокруг текста, скандалы вокруг автора, литературные премии для автора, литературные премии для текста и, наконец, нарративная стратегия (подразумевалось поддерживает ли автор какую-либо сторону конфликта или нет). Книгам присваивалась оценка от -1 до +3, чем выше была оценка, тем "опаснее" был текст. Чем больше "опасных" текстов выходит, тем "опаснее" становится регион. Если какого-то автора запрещают и гонят прочь из страны, значит его книге надо прибавить очков по степени "опасности".
В некоторых книгах, прогнозируемое будущее указывает на народные настроения и тягу к переменам, например, в Алжире выходила фантастика, где действие происходит в 2084-м году и там по сути идёт простой пересказ антиутопии Оруэлла "1984", но на арабский лад, в которой исламистский диктатор использует религию, чтобы контролировать язык и ум своего народа. В одном из романов речь идёт о группе людей, которые присоединяются к демонстрации, которую жестко разгоняют силовики. В другом - вспоминают события берберской "черной весны" 1980-х годов. Все эти книги были в Алжире запрещены, что косвенно говорит о том, что эти книги были "опасны" для текущей власти, а значит в регионе может снова состояться или вооруженный конфликт или очередная "цветная революция".
"Проект Кассандра" немцы закрыли в 2020 году, во время пандемии, видимо долгосрочные и не слишком надёжные данные военным Германии были не очень нужны. А может быть просто проект попал под сокращение военного бюджета. Но из достигнутого, например, удалось за год предсказать грядущий конфликт в Армении и Азербайджане. Минкультуры Азербайджана снабдило грузинские библиотеки книгами, которые несли явные антиармянские настроения. Были и признаки, что Азербайджан наращивает пропагандистские усилия и вуаля, год спустя - разразилась война в Нагорном Карабахе, в которой погибло 6000 человек.
При этом, что меня в этой статье The Guardian ещё больше поражает - как косвенно сообщают, что штаб Ангелы Меркель вовсю использует уже сейчас big data, нейросети и ИИ для поиска совпадений. В Мюнхенском университете федеральных вооруженных сил Германии придумали систему Preview (сокращение от Prediction, Visualisation, Early Warning), в которой в ход идут не только книги, но вообще любые тексты онлайн: RSS-ленты новостных сайтов, базы данных военных, записи о гражданских протестах, актах неповиновения, взрывы домов и автомобилей, митинги, народные гуляния и тому подобная активность.
Всё это сопоставляется с данными по доходам на душу населения, данными об образовании и даже об изменении климата. Весь этот огромный массив данных анализирует Watson, платформа анализа big data от IBM, которая преобразовывает полученную кашу из данных в военные карты с проставленными на ней метками: вот тут у нас регион с желтой степенью вероятности развития конфликта, вот тут оранжевый, а вот тут красный, похоже что конфликт уже не за горами.
Один немецкий чиновник утверждает, что эта система прогнозирования за несколько месяцев предупредила правительство Меркель о мятеже повстанцев в северной провинции Мозамбика Кабо-Дельгаду, где силы безопасности сражались с боевиками, которые пытались создать очередное исламское государство. Впрочем, тут же делается вывод, что прогнозы тут были хоть и относительно точные, но не слишком долгосрочные, а "Проект Кассандра" должен был, по уверению его авторов, предсказывать будущие конфликты аж на пять лет вперёд.
В общем, прогнозирование будущего это уже не только удел шарлатанов, а серьёзная политическая движуха.
the Guardian
‘At first I thought, this is crazy’: the real-life plan to use novels to predict the next war
Three years ago, a small group of academics at a German university launched an unprecedented collaboration with the military – using novels to try to pinpoint the world’s next conflicts. Are they on to something?
#interesting_links
Интересный пост с придуманной (но на основе компиляции опыта нескольких мест) историей. Если кратко - то там про head of ds, который приходит в команду стартапа, который уже достаточно созрел. Но не в плане данных и работы data специалистов. Короче, рекомендуется к прочтению.
Мое мнение - написано разумно. Если не выстроить базовые вещи, то никакого ml и не внедрить нормально. Потому товарищ и набирает data generalists без упоминания модных вещей, строит базовые процессы, поднимает грамотность коллег-смежников. А уже потом идут какие-то около ml поползновения.
Плюсом тут еще и классическая история про "а кто такой data scientist?". Одни понимают под этим R&D и нечто модное и молодёжное. Другие - "crunching the numbers" и больше bi и продуктовую аналитику. Оттого и недопонимание.
Интересный пост с придуманной (но на основе компиляции опыта нескольких мест) историей. Если кратко - то там про head of ds, который приходит в команду стартапа, который уже достаточно созрел. Но не в плане данных и работы data специалистов. Короче, рекомендуется к прочтению.
Мое мнение - написано разумно. Если не выстроить базовые вещи, то никакого ml и не внедрить нормально. Потому товарищ и набирает data generalists без упоминания модных вещей, строит базовые процессы, поднимает грамотность коллег-смежников. А уже потом идут какие-то около ml поползновения.
Плюсом тут еще и классическая история про "а кто такой data scientist?". Одни понимают под этим R&D и нечто модное и молодёжное. Другие - "crunching the numbers" и больше bi и продуктовую аналитику. Оттого и недопонимание.
К слову о том, кто же такой data scientist.
Я считаю, что под это понятие можно подсунуть что угодно. Так что, к сожалению, нужно смотреть на описание должностных обязанностей и проекты (где тоже могут быть враки, но шанс найти нечто подозрительное выше). При этом, смежные специальности в любом случае будут "протекать" из одной специализации в другую. К примеру, какие-то общие аналитические изыскания есть и у data analyst и у data scientist. И в этом нет ничего странного.
Так что, в общем случае, специалисты по работе с данными должны уметь делать многие вещи (может быть не на уровне узких специалистов, но хотя бы на базовом). Главное - четко отделять границу, когда нужно просто помочь в смежной области знаний, а когда вас уже потихоньку приспосабливают к работе другого специалиста, чтобы тупо заткнуть вами дыру (если, конечно, вы не хотите в смежную область, т.к. для такого случая это скорее плюс).
Вообще, мне нравится уже достаточно старое, но полезное видео по этой теме. Такой подход, где есть примерно одинаковые сущности, но разный уровень владения ими, отлично отражает суть.
Я считаю, что под это понятие можно подсунуть что угодно. Так что, к сожалению, нужно смотреть на описание должностных обязанностей и проекты (где тоже могут быть враки, но шанс найти нечто подозрительное выше). При этом, смежные специальности в любом случае будут "протекать" из одной специализации в другую. К примеру, какие-то общие аналитические изыскания есть и у data analyst и у data scientist. И в этом нет ничего странного.
Так что, в общем случае, специалисты по работе с данными должны уметь делать многие вещи (может быть не на уровне узких специалистов, но хотя бы на базовом). Главное - четко отделять границу, когда нужно просто помочь в смежной области знаний, а когда вас уже потихоньку приспосабливают к работе другого специалиста, чтобы тупо заткнуть вами дыру (если, конечно, вы не хотите в смежную область, т.к. для такого случая это скорее плюс).
Вообще, мне нравится уже достаточно старое, но полезное видео по этой теме. Такой подход, где есть примерно одинаковые сущности, но разный уровень владения ими, отлично отражает суть.