Как ускорить выполнение SQL-запросов и написать чистый SQL-код?
В этой статье мы собираемся изучить, как оптимизировать SQL-запросы и повысить производительность запросов, используя советы и методы оптимизации SQL-запросов и многие другие.
Прежде чем перейти к основной теме оптимизации SQL-запросов, давайте сначала разберемся с фактической обработкой запроса:
https://medium.com/@mohamad.ashour203/how-to-speed-your-sql-queries-and-write-clean-sql-code-f8636d7eb245
В этой статье мы собираемся изучить, как оптимизировать SQL-запросы и повысить производительность запросов, используя советы и методы оптимизации SQL-запросов и многие другие.
Прежде чем перейти к основной теме оптимизации SQL-запросов, давайте сначала разберемся с фактической обработкой запроса:
https://medium.com/@mohamad.ashour203/how-to-speed-your-sql-queries-and-write-clean-sql-code-f8636d7eb245
Medium
How to speed your SQL queries and write clean SQL code?
In the article, we are going to examine how to optimize SQL queries and improve query performance by using SQL query optimization tips and…
[Перевод] Как был создан потоковый SQL-движок
Возможно, вы какраз их тех, кто, просыпаясь каждое утро, задаёт себе три самых вечных жизненных вопроса: 1) какмне сделать потоковый SQL‑движок? 2) Чтоэто такое— потоковый SQL‑движок? 3) Способенли Господь наш сбрасывать те таблицы, коими владеет иной пользователь?
Я тоже ловил себя натом, чтозадаю себе эти вопросы, и порой они неоставляют меня даже восне. Мне снятся различные SQL‑операторы, которые тычут вменя пальцем, насмехаются над моей некомпетентностью, ая умоляю их, чтобы они ответили наэти вопросы.
Так вот, где‑то год назад я (довольно смело, если «смелость»— это вообще променя) снарядился какследует и пустился вдолгий и тернистый путь, искать ответы наэти вопросы. Я шёл отмонаха кпресвитеру, аоттого— кжрецу макаронного монстра, и только вужасе осознавал, сколь жалкие вопросы их занимают— например, каков смысл жизни, и какобрести мир ссамим собой. Но, вконце концов, потерявшись вглубочайших расщелинах моего разума, я набрёл начасовенку, над входом которой значилось: «Epsio Labs». Тут я преисполнился откровения и вошёл вдвери этого храма.
Друзья, сегодня я поделюсь свами теми таинствами, которые познал там (за исключением тех, чтоподпадают подмногочисленные NDA).
https://habr.com/ru/articles/775156/
Возможно, вы какраз их тех, кто, просыпаясь каждое утро, задаёт себе три самых вечных жизненных вопроса: 1) какмне сделать потоковый SQL‑движок? 2) Чтоэто такое— потоковый SQL‑движок? 3) Способенли Господь наш сбрасывать те таблицы, коими владеет иной пользователь?
Я тоже ловил себя натом, чтозадаю себе эти вопросы, и порой они неоставляют меня даже восне. Мне снятся различные SQL‑операторы, которые тычут вменя пальцем, насмехаются над моей некомпетентностью, ая умоляю их, чтобы они ответили наэти вопросы.
Так вот, где‑то год назад я (довольно смело, если «смелость»— это вообще променя) снарядился какследует и пустился вдолгий и тернистый путь, искать ответы наэти вопросы. Я шёл отмонаха кпресвитеру, аоттого— кжрецу макаронного монстра, и только вужасе осознавал, сколь жалкие вопросы их занимают— например, каков смысл жизни, и какобрести мир ссамим собой. Но, вконце концов, потерявшись вглубочайших расщелинах моего разума, я набрёл начасовенку, над входом которой значилось: «Epsio Labs». Тут я преисполнился откровения и вошёл вдвери этого храма.
Друзья, сегодня я поделюсь свами теми таинствами, которые познал там (за исключением тех, чтоподпадают подмногочисленные NDA).
https://habr.com/ru/articles/775156/
Хабр
Как был создан потоковый SQL-движок
Возможно, вы как раз их тех, кто, просыпаясь каждое утро, задаёт себе три самых вечных жизненных вопроса: 1) как мне сделать потоковый SQL‑движок? 2) Что это такое — потоковый...
Zabbix, PostgreSQL и pg_stat_statements.
Я хочу поделиться своим опытом использования Zabbix для анализа проблем с производительностью PostgreSQL, используя расширение pg_stat_statements.
Читать далее https://habr.com/ru/companies/domclick/articles/771712
Я хочу поделиться своим опытом использования Zabbix для анализа проблем с производительностью PostgreSQL, используя расширение pg_stat_statements.
Читать далее https://habr.com/ru/companies/domclick/articles/771712
Хабр
Zabbix, PostgreSQL и pg_stat_statements
Я хочу поделиться своим опытом использования Zabbix для анализа проблем с производительностью PostgreSQL, используя расширение pg_stat_statements. pg_stat_statements Что такое Zabbix, объяснять, я...
Что происходит при сбое баз данных? (3 минуты чтения) Базы данных хранят таблицы и индексы в файлах, записывая их на страницы данных в памяти, которые затем записываются на диск. Проблема возникает в случае потери питания или сбоя во время записи, что приводит к повреждению файлов. Для решения этой задачи в базах данных используется журнал опережающей записи (WAL). В этой статье описывается, как WAL используется в качестве источника истины, помогающего базе данных восстановить работоспособность после сбоя. подробнее→ https://medium.com/@hnasr/what-happens-when-databases-crash-74540fd97ea9
Medium
What happens when databases crash?
Databases have tables and indexes stored in files. As you create rows, the database system writes to data pages in memory which is then written to data files on disk. There is a problem though, what…
Порядок выполнения SQL
Как SQL-запрос выполняется внутри
https://code.likeagirl.io/sqls-order-of-execution-f64d639ce4ec
Как SQL-запрос выполняется внутри
https://code.likeagirl.io/sqls-order-of-execution-f64d639ce4ec
Medium
SQL’s Order of Execution
How a SQL query is executed internally
Многие объяснения JOIN неверны, и люди запутываются.
Давайте попробуем это исправить.
https://minimalmodeling.substack.com/p/many-explanations-of-join-are-wrong
SQL форматтер
Инструмент под названием SQL Formatter, который помогает разработчикам форматировать код SQL для обеспечения читаемости и согласованности.
https://sql-formatter-org.github.io/sql-formatter
Давайте попробуем это исправить.
https://minimalmodeling.substack.com/p/many-explanations-of-join-are-wrong
SQL форматтер
Инструмент под названием SQL Formatter, который помогает разработчикам форматировать код SQL для обеспечения читаемости и согласованности.
https://sql-formatter-org.github.io/sql-formatter
Substack
Many explanations of JOIN are wrong, and people get confused
Most common explanations of JOIN are incomplete and build the wrong mental model. As the result, people get confused. In this post we discuss the generalized case of LEFT JOIN.
Создание более быстрой хеш-таблицы для высокопроизводительных SQL-соединений
https://questdb.io/blog/building-faster-hash-table-high-performance-sql-joins/
https://questdb.io/blog/building-faster-hash-table-high-performance-sql-joins/
questdb.io
Building a faster hash table for high performance SQL joins
Why is a fast hash table important for optimal SQL performance? We answer this question and explain how the QuestDB team designed FastMap, our hash table specialized for SQL execution.
LMQL — SQL для языковых моделей
SQL — это распространенный способ взаимодействия с вашими данными в базе данных. Поэтому неудивительно, что предпринимаются попытки использовать аналогичный подход для программ LLM. В этой статье я хотел бы рассказать вам об одном таком подходе под названием LMQL. https://towardsdatascience.com/lmql-sql-for-language-models-d7486d88c541
SQL — это распространенный способ взаимодействия с вашими данными в базе данных. Поэтому неудивительно, что предпринимаются попытки использовать аналогичный подход для программ LLM. В этой статье я хотел бы рассказать вам об одном таком подходе под названием LMQL. https://towardsdatascience.com/lmql-sql-for-language-models-d7486d88c541
Medium
LMQL — SQL for Language Models
Yet another tool that could help you with LLM applications
Сравнение базы данных/sql, GORM, sqlx и sqlc
https://blog.jetbrains.com/go/2023/04/27/comparing-db-packages
https://blog.jetbrains.com/go/2023/04/27/comparing-db-packages
PowerSync (веб-сайт)
PowerSync - это сервис, который синхронизирует внутренние базы данных SQL с базами данных на устройствах, встроенными в SDK. В настоящее время он поддерживает Postgres и имеет SDK для Flutter, React Native и JavaScript в Интернете. SDK работают на стороне клиента, чтобы синхронизировать базы данных SQL на стороне клиента и на стороне сервера. Обычно база данных на стороне клиента представляет собой базу данных SQLite.
подробнее→ https://www.powersync.com/
PowerSync - это сервис, который синхронизирует внутренние базы данных SQL с базами данных на устройствах, встроенными в SDK. В настоящее время он поддерживает Postgres и имеет SDK для Flutter, React Native и JavaScript в Интернете. SDK работают на стороне клиента, чтобы синхронизировать базы данных SQL на стороне клиента и на стороне сервера. Обычно база данных на стороне клиента представляет собой базу данных SQLite.
подробнее→ https://www.powersync.com/
Powersync
PowerSync: Backend DB - SQLite sync engine | For Postgres, MongoDB, MySQL
Automatically sync your backend database with in-app SQLite and avoid the complexities of using APIs to move app state over the network.
Масштабирование баз данных SQL: 8 проблем горизонтального масштабирования баз данных SQL
Преодоление сложностей горизонтального масштабирования в базах данных SQL
https://www.designgurus.io/blog/Scaling-SQL-Databases
Преодоление сложностей горизонтального масштабирования в базах данных SQL
https://www.designgurus.io/blog/Scaling-SQL-Databases
Design Gurus: One-Stop Portal For Tech Interviews.
Scaling SQL Databases: 8 Challenges of Horizontally Scaling SQL Databases
Navigating the Complexities of Horizontal Scaling in SQL Databases
Полное руководство по освоению «CASE WHEN» в SQL для мастеров данных
https://medium.com/illumination/mastering-conditional-logic-in-sql-a-deep-dive-into-case-when-statements-52f0aca9890c
https://medium.com/illumination/mastering-conditional-logic-in-sql-a-deep-dive-into-case-when-statements-52f0aca9890c
Medium
The Ultimate Guide to Mastering “CASE WHEN” in SQL for Data Wizards
CASE WHEN Magic: Transform Your SQL Skills Instantly!
Как порядок выполнения SQL различается в разных базах данных
https://towardsdatascience.com/how-sql-execution-orders-varies-across-databases-b5b949f34f31
https://towardsdatascience.com/how-sql-execution-orders-varies-across-databases-b5b949f34f31
Medium
How SQL Execution Orders Varies Across Databases
Why you can’t GROUP BY ordinal positions in SQL Server but can in others
Почему никогда не следует использовать UUID в качестве первичного ключа в базах данных SQL
https://dev.to/frederik_vl/why-you-should-never-use-an-uuid-as-the-primary-key-in-sql-databases-147b
https://dev.to/frederik_vl/why-you-should-never-use-an-uuid-as-the-primary-key-in-sql-databases-147b
DEV Community
Why you should never use an UUID as the primary key in SQL Databases
Using a UUID (Universally Unique Identifier) as a primary key in SQL databases has both advantages...
Forwarded from Шпаргалки для айтишников
This media is not supported in your browser
VIEW IN TELEGRAM
Как работают SQL-соединения? На диаграмме ниже подробно показано, как работают 4 типа SQL-соединений.
🔹INNER JOIN Возвращает совпадающие строки в обеих таблицах.
🔹LEFT JOIN Возвращает все записи из левой таблицы и соответствующие записи из правой таблицы.
🔹RIGHT JOIN Возвращает все записи из правой таблицы и соответствующие записи из левой таблицы.
🔹FULL OUTER JOIN Возвращает все записи, в которых есть совпадения, в левой или правой таблице.
🔹INNER JOIN Возвращает совпадающие строки в обеих таблицах.
🔹LEFT JOIN Возвращает все записи из левой таблицы и соответствующие записи из правой таблицы.
🔹RIGHT JOIN Возвращает все записи из правой таблицы и соответствующие записи из левой таблицы.
🔹FULL OUTER JOIN Возвращает все записи, в которых есть совпадения, в левой или правой таблице.
Основы работы с базами данных.
Около года назад я пытался подумать, какую базу данных мне выбрать для своего следующего проекта, и пришел к выводу, что недостаточно разбираюсь в различиях баз данных. Я заходил на разные сайты баз данных и видел в основном маркетинг и слова, которые я не понимаю.
Именно тогда я решил прочитать отличные книги Database Internals Алекса Петрова и Designing Data-Intensive Applications Мартина Клеппмана.
Эти книги пробудили мое любопытство настолько, что я создал собственную небольшую базу данных, которую я назвал dbeel.
Эта статья представляет собой краткое изложение этих книг с акцентом на фундаментальные проблемы, о которых инженер баз данных думает в душе.
https://tontinton.com/posts/database-fundementals/
Около года назад я пытался подумать, какую базу данных мне выбрать для своего следующего проекта, и пришел к выводу, что недостаточно разбираюсь в различиях баз данных. Я заходил на разные сайты баз данных и видел в основном маркетинг и слова, которые я не понимаю.
Именно тогда я решил прочитать отличные книги Database Internals Алекса Петрова и Designing Data-Intensive Applications Мартина Клеппмана.
Эти книги пробудили мое любопытство настолько, что я создал собственную небольшую базу данных, которую я назвал dbeel.
Эта статья представляет собой краткое изложение этих книг с акцентом на фундаментальные проблемы, о которых инженер баз данных думает в душе.
https://tontinton.com/posts/database-fundementals/
SQL на волю: 7 ошибок SQL, которых следует избегать
SQL — это удобный способ управления данными и запроса к ним, но плохо написанные запросы могут привести к перегрузке вашей базы данных. Вот семь распространенных ловушек SQL и способы их избежать.
https://www.infoworld.com/article/3209665/sql-unleashed-7-sql-mistakes-to-avoid.html
SQL — это удобный способ управления данными и запроса к ним, но плохо написанные запросы могут привести к перегрузке вашей базы данных. Вот семь распространенных ловушек SQL и способы их избежать.
https://www.infoworld.com/article/3209665/sql-unleashed-7-sql-mistakes-to-avoid.html
InfoWorld
SQL unleashed: 7 SQL mistakes to avoid
SQL is a convenient way to manage and query your data, but badly written queries can tie up your database. Here are seven common SQL traps and how to avoid them.
Архивная репликация в PostgreSQL: пошаговая инструкция
Разбираем c Григорием Тарасенко, инженером команды SQL на примере, как реплицировать базы без использования слотов репликации.
https://habr.com/ru/articles/781892/
Разбираем c Григорием Тарасенко, инженером команды SQL на примере, как реплицировать базы без использования слотов репликации.
https://habr.com/ru/articles/781892/
Хабр
Архивная репликация в PostgreSQL: пошаговая инструкция
Привет! Меня зовут Григорий Тарасенко, я инженер команды SQL в Авито. Сегодня мы разберём, как построить архивную репликацию в PostgreSQL. Кратко про репликацию в PostgreSQL Практически все решения...
Настройка естественного языка для генератора кода SQL с помощью Python
Это пошаговое руководство по настройке генератора кода SQL на естественном языке с помощью Python с использованием API OpneAI. https://medium.com/@rami.krispin/setting-a-natural-language-to-sql-code-generator-with-python-d267f40d7218
Это пошаговое руководство по настройке генератора кода SQL на естественном языке с помощью Python с использованием API OpneAI. https://medium.com/@rami.krispin/setting-a-natural-language-to-sql-code-generator-with-python-d267f40d7218
Medium
Setting a Natural Language to SQL Code Generator with Python
This is a step-by-step guide for setting up a natural language to SQL code generator with Python using the OpneAI API.
[Перевод] Использование Postgres-триггеров для исторических таблиц.
В динамичной среде управления базами данных постоянно присутствует необходимость фиксировать и понимать изменения данных с течением времени. Начните управлять временем с использованием Postgres-триггеров, которые открывают легкий путь к сложному решению — историческим таблицам.
Представьте себе мир, в котором каждое изменение вашей базы данных оставляет след, фиксирующую эволюцию ваших данных. В этом заключаются перспективы исторических таблиц — концепции, которая выходит за рамки традиционных ограничений проектирования баз данных. В этом исследовании мы углубимся во временное измерение PostgreSQL, раскроем возможности Postgres-триггеров и их ключевую роль в создании и обслуживании исторических таблиц.
Читать далее https://habr.com/ru/articles/783560
В динамичной среде управления базами данных постоянно присутствует необходимость фиксировать и понимать изменения данных с течением времени. Начните управлять временем с использованием Postgres-триггеров, которые открывают легкий путь к сложному решению — историческим таблицам.
Представьте себе мир, в котором каждое изменение вашей базы данных оставляет след, фиксирующую эволюцию ваших данных. В этом заключаются перспективы исторических таблиц — концепции, которая выходит за рамки традиционных ограничений проектирования баз данных. В этом исследовании мы углубимся во временное измерение PostgreSQL, раскроем возможности Postgres-триггеров и их ключевую роль в создании и обслуживании исторических таблиц.
Читать далее https://habr.com/ru/articles/783560
Хабр
Использование Postgres-триггеров для исторических таблиц
В динамичной среде управления базами данных постоянно присутствует необходимость фиксировать и понимать изменения данных с течением времени. Начните управлять временем с использованием...