tgoop.com/data_days/371
Last Update:
🍎 Andy Pavlo & Amazon Redshift
а теперь к деталям: в Кларне — AWS, поэтому хранилище тут на Redshift. для знакомства с технологией посмотрел соответствующую серию из курса:
https://youtu.be/T9-MM8oHzsM
⌘⌘⌘
в нулевых было несколько проектов по параллелизации Постгреса и к 2010 оставался только один, который не купили.
В 2010 Амазон решила порядочно сэкономить: вместо покупки целого стартапа, они просто в него инвестировали. Это позволило ей получить лицензию на сам код.
→ в 2013 выходит Redshift как продукт
→ в 2016 запускается Athena — доступ через SQL к данным на S3 (типа как Hive, да?)
→ в 2017 добавляется Spectrum — Redshift может напрямую читать данные с S3 без предварительного инджеста данных в свою файловую систему
⌘⌘⌘
ещё Энди высказывает мнение, что Snowflake был «лучше на старте», но у AWS есть привычка измерять всё на свете и на основе данных постоянно улучшать продукт.
по оценке Энди Redshift приносит AWS «миллиарды»; хотя открытых данных нет, но Энди делает оценки исходя из общего профита и примерной доли. Неплохой профит за небольшую инвестицию в 2010-м!
одно из преимуществ AWS — доступ ко всем-всем логам инфры. Отдельный кастомер может мониторить и тюнить свои запросы, а хозяин инфры видит всё и может сравнивать на всей совокупности.
BY data будни
Share with your friend now:
tgoop.com/data_days/371