В ЧЕМ ПРОБЛЕМА ЗАПРОСА N+1 И КАК ЕЕ ОБНАРУЖИТЬ?
В этой статье мы подробно рассмотрим проблему запросов N + 1 на практическом примере, ее влияние на производительность приложений и то, как инновационные решения могут помочь обнаружить и смягчить проблему запросов N + 1. https://digma.ai/blog/n1-query-problem-and-how-to-detect-it/
В этой статье мы подробно рассмотрим проблему запросов N + 1 на практическом примере, ее влияние на производительность приложений и то, как инновационные решения могут помочь обнаружить и смягчить проблему запросов N + 1. https://digma.ai/blog/n1-query-problem-and-how-to-detect-it/
Digma
What is the N+1 query problem and how to detect it?
What is the N+1 query problem? How to detect and mitigate its effects on application performance: using a practical example.
Путь 11 страданий: это не ДЗЕН и не ДАО — это выбор российского BI
Привет, Хабр! Мне, наконец, есть чем поделиться с вами. И это результаты практически годового процесса выбора BI-системы из числа российских разработок на замену одной из западных платформ. За это время мне стало очевидно, что примерно 50% действий, которые мы сделали, можно было и не делать, а 20% не стоило делать вовсе. В итоге получилась практически инструкция “как не надо” выбирать себе BI-систему, если вы хотите, чтобы она действительно начала приносить вам пользу ASAP.
https://habr.com/ru/articles/757954/
Привет, Хабр! Мне, наконец, есть чем поделиться с вами. И это результаты практически годового процесса выбора BI-системы из числа российских разработок на замену одной из западных платформ. За это время мне стало очевидно, что примерно 50% действий, которые мы сделали, можно было и не делать, а 20% не стоило делать вовсе. В итоге получилась практически инструкция “как не надо” выбирать себе BI-систему, если вы хотите, чтобы она действительно начала приносить вам пользу ASAP.
https://habr.com/ru/articles/757954/
Хабр
Путь 11 страданий: это не ДЗЕН и не ДАО — это выбор российского BI
Привет, Хабр! Мне, наконец, есть чем поделиться с вами. И это результаты практически годового процесса выбора BI-системы из числа российских разработок на замену одной из западных платформ. За это...
Точная настройка GPT-3.5-Turbo для естественного языка на SQL
На прошлой неделе OpenAI открыла GPT-3.5-turbo для тонкой настройки. В этом посте мы настроим нашу собственную модель NL-to-SQL и сравним ее производительность с современным подходом RAG. В качестве тестового эталона мы будем использовать набор данных Spider из Йельского университета. https://medium.com/dataherald/fine-tuning-gpt-3-5-turbo-for-natural-language-to-sql-4445c1d37f7c
На прошлой неделе OpenAI открыла GPT-3.5-turbo для тонкой настройки. В этом посте мы настроим нашу собственную модель NL-to-SQL и сравним ее производительность с современным подходом RAG. В качестве тестового эталона мы будем использовать набор данных Spider из Йельского университета. https://medium.com/dataherald/fine-tuning-gpt-3-5-turbo-for-natural-language-to-sql-4445c1d37f7c
Medium
Fine-tuning GPT-3.5-Turbo for Natural Language to SQL
Tutorial and comparison with RAG methods
JSONB и hstore: использование специальных типов данных PostgreSQL для работы с полуструктурированными данными
В современной разработке программного обеспечения, где данные играют ключевую роль, понятие "полуструктурированные данные" заняло особое место. Эти данные сочетают в себе гибкость документов и строгость таблиц, что позволяет эффективно моделировать сложные информационные потоки. Однако работа с такими данными требует специальных подходов и инструментов.
Полуструктурированные данные — это неотъемлемая часть современных приложений, работающих с разнообразной информацией. Они позволяют представить данные в формате, близком к человеческому восприятию, в то время как классические реляционные базы данных предоставляют ограниченные возможности для хранения и извлечения такого типа информации. Примерами могут быть структуры JSON, XML и другие форматы, которые могут содержать вложенные поля, дополнительные атрибуты и даже массивы данных.
https://habr.com/ru/articles/758010/
В современной разработке программного обеспечения, где данные играют ключевую роль, понятие "полуструктурированные данные" заняло особое место. Эти данные сочетают в себе гибкость документов и строгость таблиц, что позволяет эффективно моделировать сложные информационные потоки. Однако работа с такими данными требует специальных подходов и инструментов.
Полуструктурированные данные — это неотъемлемая часть современных приложений, работающих с разнообразной информацией. Они позволяют представить данные в формате, близком к человеческому восприятию, в то время как классические реляционные базы данных предоставляют ограниченные возможности для хранения и извлечения такого типа информации. Примерами могут быть структуры JSON, XML и другие форматы, которые могут содержать вложенные поля, дополнительные атрибуты и даже массивы данных.
https://habr.com/ru/articles/758010/
Хабр
JSONB и hstore: использование специальных типов данных PostgreSQL для работы с полуструктурированными данными
В современной разработке программного обеспечения, где данные играют ключевую роль, понятие "полуструктурированные данные" заняло особое место. Эти данные сочетают в себе гибкость документов и...
Представляем freeCodeCamp Press — бесплатные книги для разработчиков
Сообщество freeCodeCamp за годы опубликовало более 10 000 руководств. Но в последнее время мы сосредоточились на создании еще более объемных ресурсов для изучения математики, программирования и информатики.
Вот почему мы создали freeCodeCamp Press — подразделение freeCodeCamp, где мы публикуем полноформатные книги и справочники — все они доступны каждому бесплатно. https://www.freecodecamp.org/news/freecodecamp-press-books-handbooks/
Сообщество freeCodeCamp за годы опубликовало более 10 000 руководств. Но в последнее время мы сосредоточились на создании еще более объемных ресурсов для изучения математики, программирования и информатики.
Вот почему мы создали freeCodeCamp Press — подразделение freeCodeCamp, где мы публикуем полноформатные книги и справочники — все они доступны каждому бесплатно. https://www.freecodecamp.org/news/freecodecamp-press-books-handbooks/
freeCodeCamp.org
Introducing freeCodeCamp Press – Free Books for Developers
The freeCodeCamp community has published more than 10,000 tutorials on our publication over the years. But lately we've focused on creating even longer resources for learning math, programming, and computer science. This is why we've created freeCode...
Что происходит в СУБД при записи регистра накопления 1С?.
Данная публикация – результат попытки разобраться в механизмах записи регистра накопления. Как влияют вид и настройки регистра, режим записи? Что происходит, когда используются агрегаты?
В статье рассмотрены запросы, выполняемые на стороне СУБД при записи регистров накопления остатков и оборотов с разделением итогов и без.
Все примеры выполнены на платформе 1С 8.3.23 в связки с MSSQL.
Читать далее https://habr.com/ru/articles/759070/
Данная публикация – результат попытки разобраться в механизмах записи регистра накопления. Как влияют вид и настройки регистра, режим записи? Что происходит, когда используются агрегаты?
В статье рассмотрены запросы, выполняемые на стороне СУБД при записи регистров накопления остатков и оборотов с разделением итогов и без.
Все примеры выполнены на платформе 1С 8.3.23 в связки с MSSQL.
Читать далее https://habr.com/ru/articles/759070/
Хабр
Что происходит в СУБД при записи регистра накопления 1С?
Данная публикация – результат попытки разобраться в механизмах записи регистра накопления на стороне СУБД. Какие запросы генерирует платформа в зависимости от вида и настроек регистра, режима записи,...
Справочник по SQL — бесплатный курс для веб-разработчиков
SQL сегодня повсюду. Независимо от того, изучаете ли вы серверную разработку , инженерию данных, DevOps или науку о данных, SQL — это навык, который вам понадобится в вашем арсенале.
Это бесплатный и открытый текстовый справочник.https://www.freecodecamp.org/news/a-beginners-guide-to-sql/
SQL сегодня повсюду. Независимо от того, изучаете ли вы серверную разработку , инженерию данных, DevOps или науку о данных, SQL — это навык, который вам понадобится в вашем арсенале.
Это бесплатный и открытый текстовый справочник.https://www.freecodecamp.org/news/a-beginners-guide-to-sql/
freeCodeCamp.org
The SQL Handbook – A Free Course for Web Developers
SQL is everywhere these days. Whether you're learning backend development, data engineering, DevOps, or data science, SQL is a skill you'll want in your toolbelt. This a free and open text-based handbook. If you want to get started, just scroll down ...
Выбор идеальной базы данных для ваших микросервисов
Как выбрать лучшую базу данных для микросервиса?
Чтобы ответить на этот вопрос, вам необходимо понимать, что разные типы баз данных создаются для разных целей и требований.
Поэтому в процессе принятия решений вы должны учитывать такие факторы, как производительность, надежность и требования к моделированию данных, чтобы убедиться, что вы выбрали правильную базу данных. https://amplication.com/blog/picking-the-perfect-database-for-your-microservices
Как выбрать лучшую базу данных для микросервиса?
Чтобы ответить на этот вопрос, вам необходимо понимать, что разные типы баз данных создаются для разных целей и требований.
Поэтому в процессе принятия решений вы должны учитывать такие факторы, как производительность, надежность и требования к моделированию данных, чтобы убедиться, что вы выбрали правильную базу данных. https://amplication.com/blog/picking-the-perfect-database-for-your-microservices
Forwarded from Daily Dev Jokes. Юмор.
This media is not supported in your browser
VIEW IN TELEGRAM
Понимая, что я собираюсь удалить производственную базу данных
Настройка бэкапов Mssql с резервированием на s3 (Selectel).
Настройка резервного копирования с помощью плана обслуживания с загрузкой бэкапов на s3 ресурс selectel.
https://habr.com/ru/articles/759960
Настройка резервного копирования с помощью плана обслуживания с загрузкой бэкапов на s3 ресурс selectel.
https://habr.com/ru/articles/759960
Хабр
Настройка бэкапов Mssql с резервированием на s3 (Selectel)
Данная статья не относится к HOW-TO, но я все равно постараюсь подробно описать процесс создания/подключения бакета и настройки бэкапов напрямую с Mssql. Важно: поддержка загрузки на s3 описана для...
Forwarded from Шпаргалки для айтишников
Хранение паролей в базе данных открытым текстом - не самая лучшая идея.
Любой человек, имеющий внутренний доступ к базе данных, может их увидеть и получить.
Кроме того, хэширование паролей и хранение хэш-значений недостаточно, поскольку они могут быть взломаны.
Стандартным решением для защиты от таких атак является использование соли.
Соль - это случайно сгенерированная уникальная строка, которая добавляется к каждому паролю в процессе хэширования.
Выше приведен процесс хранения и проверки пароля с использованием соли:
1. Соль хранится в базе данных в виде обычного текста, что обеспечивает уникальность результата хэширования для каждого пароля.
2. Пароли хранятся в базе данных, хэшируются с помощью соли.
3. Клиент вводит свой пароль.
4. Система считывает соль из базы данных
5. Система комбинирует соль с паролем и хэширует его
6. Система сравнивает вычисленные значения хэша с теми, что хранятся в базе данных. Если они равны, то пароль действителен.
Любой человек, имеющий внутренний доступ к базе данных, может их увидеть и получить.
Кроме того, хэширование паролей и хранение хэш-значений недостаточно, поскольку они могут быть взломаны.
Стандартным решением для защиты от таких атак является использование соли.
Соль - это случайно сгенерированная уникальная строка, которая добавляется к каждому паролю в процессе хэширования.
Выше приведен процесс хранения и проверки пароля с использованием соли:
1. Соль хранится в базе данных в виде обычного текста, что обеспечивает уникальность результата хэширования для каждого пароля.
2. Пароли хранятся в базе данных, хэшируются с помощью соли.
3. Клиент вводит свой пароль.
4. Система считывает соль из базы данных
5. Система комбинирует соль с паролем и хэширует его
6. Система сравнивает вычисленные значения хэша с теми, что хранятся в базе данных. Если они равны, то пароль действителен.
7 аргументов почему UUID лучше, чем автоинкрементные идентификаторы
В мире баз данных идентификаторы имеют решающее значение для уникальной идентификации записей. Традиционно многие разработчики предпочитали автоматически увеличивающиеся целочисленные идентификаторы. Однако есть еще один вариант, который набирает популярность: универсально уникальные идентификаторы (UUID). В этой статье мы рассмотрим, почему UUID часто являются лучшим выбором по сравнению с автоматически увеличивающимися идентификаторами.
https://habr.com/ru/articles/760272/
В мире баз данных идентификаторы имеют решающее значение для уникальной идентификации записей. Традиционно многие разработчики предпочитали автоматически увеличивающиеся целочисленные идентификаторы. Однако есть еще один вариант, который набирает популярность: универсально уникальные идентификаторы (UUID). В этой статье мы рассмотрим, почему UUID часто являются лучшим выбором по сравнению с автоматически увеличивающимися идентификаторами.
https://habr.com/ru/articles/760272/
Хабр
7 аргументов почему UUID лучше, чем автоинкрементные идентификаторы
В мире баз данных идентификаторы имеют решающее значение для уникальной идентификации записей. Традиционно многие разработчики предпочитали автоматически увеличивающиеся целочисленные идентификаторы....
Sqlite и Rails в производстве
При развертывании приложения Rails в рабочей среде редко кто подвергает сомнению идею использования базы данных Postgres или MySQL для сохранения данных и Redis для кэширования, фоновой обработки заданий и WebSockets, но что, если все это можно было бы сделать без запуска этих сервисов? https://fly.io/ruby-dispatch/sqlite-and-rails-in-production/
При развертывании приложения Rails в рабочей среде редко кто подвергает сомнению идею использования базы данных Postgres или MySQL для сохранения данных и Redis для кэширования, фоновой обработки заданий и WebSockets, но что, если все это можно было бы сделать без запуска этих сервисов? https://fly.io/ruby-dispatch/sqlite-and-rails-in-production/
Fly
SQLite & Rails in Production
Documentation and guides from the team at Fly.io.
Django ORM: полное руководство по оптимизированному взаимодействию с базой данных
В этой статье мы углубимся в Django ORM, изучим его функции, преимущества и лучшие практики взаимодействия с базами данных в ваших веб-приложениях. https://python.plainenglish.io/django-orm-a-definitive-handbook-for-streamlined-database-interaction-303df2228712
В этой статье мы углубимся в Django ORM, изучим его функции, преимущества и лучшие практики взаимодействия с базами данных в ваших веб-приложениях. https://python.plainenglish.io/django-orm-a-definitive-handbook-for-streamlined-database-interaction-303df2228712
Medium
Django ORM: A Definitive Handbook for Streamlined Database Interaction
Django, a high-level Python web framework, has gained immense popularity among developers for its efficiency and ease of use. One of the…
Выпущена PostgreSQL 16!
PostgreSQL 16 повышает свою производительность благодаря заметным улучшениям в параллелизме запросов, массовой загрузке данных и логической репликации. В этом выпуске имеется множество функций как для разработчиков, так и для администраторов, в том числе расширенный синтаксис SQL/JSON, новая статистика мониторинга ... https://www.postgresql.org/about/news/postgresql-16-released-2715/
PostgreSQL 16 повышает свою производительность благодаря заметным улучшениям в параллелизме запросов, массовой загрузке данных и логической репликации. В этом выпуске имеется множество функций как для разработчиков, так и для администраторов, в том числе расширенный синтаксис SQL/JSON, новая статистика мониторинга ... https://www.postgresql.org/about/news/postgresql-16-released-2715/
PostgreSQL News
PostgreSQL 16 Released!
September 14, 2023 - The PostgreSQL Global Development Group today announced the release of PostgreSQL 16, the latest version of …
Варианты соединения SQL
SQL-соединения — это нечто большее, чем вы думаете. Давайте их немного изучим. https://antonz.org/sql-join/
SQL-соединения — это нечто большее, чем вы думаете. Давайте их немного изучим. https://antonz.org/sql-join/
antonz.org
SQL join flavors
The many faces of JOIN in SQL.
Возможности индексации в базах данных
В мире баз данных эффективность имеет ключевое значение. Независимо от того, работаете ли вы с небольшим приложением или с массивной корпоративной системой, производительность вашей базы данных может улучшить или разрушить ваше приложение. Одним из самых мощных инструментов в вашем распоряжении для оптимизации производительности базы данных является индексирование. https://towardsdev.com/the-power-of-indexing-in-databases-a52c26c11d86
Откажитесь от SQL — пусть этим займётся Ванна!
Пользователи SQL будут заменены этим инструментом искусственного интеллекта в кратчайшие сроки. Вот как.
https://levelup.gitconnected.com/ditch-sql-let-vanna-handle-it-f14289d0a32f
Настройка производительности PostgreSQL, часть I: как определить размер базы данных
https://www.timescale.com/blog/postgresql-performance-tuning-part-i-how-to-size-your-database/
В мире баз данных эффективность имеет ключевое значение. Независимо от того, работаете ли вы с небольшим приложением или с массивной корпоративной системой, производительность вашей базы данных может улучшить или разрушить ваше приложение. Одним из самых мощных инструментов в вашем распоряжении для оптимизации производительности базы данных является индексирование. https://towardsdev.com/the-power-of-indexing-in-databases-a52c26c11d86
Откажитесь от SQL — пусть этим займётся Ванна!
Пользователи SQL будут заменены этим инструментом искусственного интеллекта в кратчайшие сроки. Вот как.
https://levelup.gitconnected.com/ditch-sql-let-vanna-handle-it-f14289d0a32f
Настройка производительности PostgreSQL, часть I: как определить размер базы данных
https://www.timescale.com/blog/postgresql-performance-tuning-part-i-how-to-size-your-database/
Medium
The Power of Indexing in Databases
In the world of databases, efficiency is key. Whether you’re working with a small application or a massive enterprise system, the…
Как не потерять производительность при секционировании в MS SQL.
Рассмотрим достаточно распространенную ситуацию. Имеется огромная таблица примерно следующей структуры:
Читать далее https://habr.com/ru/articles/762674
Рассмотрим достаточно распространенную ситуацию. Имеется огромная таблица примерно следующей структуры:
Читать далее https://habr.com/ru/articles/762674
Хабр
Как не потерять производительность при секционировании в MS SQL
Постановка задачи Рассмотрим достаточно распространенную ситуацию. Имеется огромная таблица примерно следующей структуры: CREATE TABLE SomeOperations ( OperationId bigint NOT NULL, OperDate datetime...