🖥 Как ускорить высокопараллельные вставки строк в SQL Server за считанные часы!

🌟 В этой статье автор столкнулся с серьезным замедлением при массовой загрузке данных в базу данных SQL Server. Причина кроется в том, что процесс добавления новых записей сталкивается с так называемыми "блокировками", которые замедляют всю операцию. Автор статьи предлагает несколько решений для оптимизации этого процесса и ускорения загрузки данных

🔗 Ссылка: *клик*

@sqlhub

🖥 Эта статья описывает лучшие практики работы с MongoDB в .NET. Автор объясняет, как настроить MongoDB в ASP.NET Core, регистрировать зависимости через DI-контейнер и работать с ID-шниками в MongoDB

🌟 Статья также включает примеры работы с коллекциями, демонстрирует использование Guid для идентификаторов и предлагает удобную организацию кода через класс MongoDbContext. В конце статьи даны рекомендации по сериализации данных и использовании camelCase для полей

🔗 Ссылка: *клик*

@sqlhub

🖥 Google использовал большую языковую модель для выявления уязвимости в SQLite

Исследователи из подразделений Google Project Zero и Google DeepMind опубликовали отчёт о развитии AI-системы Big Sleep, построенной на базе большой языковой модели Gemini 1.5 Pro и предназначенной для определения уязвимостей в исходном коде. Достижением проекта стало выявление с использованием Big Sleep первой пригодной для эксплуатации и ранее неизвестной уязвимости в существующем проекте. Уязвимость выявлена в результате проверки AI-системой кодовой базы СУБД SQLite и приводит к переполнению за нижнюю границу буфера в стеке (buffer underflow). Проблема обнаружена в недавно принятом коде и устранена до его попадания в финальный релиз SQLite 3.47.0.

Модель может использоваться как вспомогательный инструмент в областях, в которых требуется проведение трудозатратного ручного рецензирования, а также для организации автоматической проверки нового кода с целью выявления уязвимостей на ранних стадиях разработки (до попадания проблемного кода в финальные релизы). Предполагается, что развиваемая AI-модель позволит выявлять связанные с безопасностью проблемы в коде, которые проблематично определять путём fuzzing-тестирования.

Дополнительно можно отметить заявление генерального директора Google о том, что в настоящее время более четверти (25%) всего создаваемого в компании кода генерируется с использованием больших языковых моделей Gemini, после чего данный код рецензируется и принимается инженерами. Отмечается, что подобное применение AI позволило существенно ускорить процесс разработки продуктов.

https://googleprojectzero.blogspot.com/2024/10/from-naptime-to-big-sleep.html

@sqlhub

🔥 ds-cheatsheet — репозиторий на Github с огромным количеством всевозможных шпаргалок по Data Science!

🔐 Лицензия: MIT

🖥 Github

@sqlhub

🖥 Weaviate — это векторная база данных на Go с открытым исходным кодом, оптимизированная для поиска и машинного обучения. Она позволяет хранить данные в виде векторов, что делает её полезной для приложений, работающих с семантическим поиском, NLP, и рекомендательными системами

🌟 Weaviate поддерживает различные источники данных и легко интегрируется с ML моделями, автоматически индексируя данные для быстрого поиска и анализа

🔐 Лицензия: BSD-3-Clause

🖥 Github

@sqlhub

📖 Бесплатная книга: "Математика для компьютерных наук" от MIT!

🌟 Эта книга охватывает дискретную математику, включая теорию множеств, комбинаторику, графы и доказательства. Она создана для студентов компьютерных наук и рассматривает математические основы, важные для алгоритмов, анализа данных и логики программирования, акцентируя внимание на строгом доказательном подходе

🔥 В книге 1048 страниц, и все абсолютно бесплатно!

📖 Читать: *клик*

@sqlhub

🖥 ChartDB — это бесплатный и открытый редактор диаграмм баз данных. Он позволяет визуализировать и проектировать структуру базы данных через один запрос!

🌟 ChartDB поддерживает работу с несколькими типами баз данных, включая PostgreSQL, MySQL и SQLite. ChartDB использует AI для экспорта данных и позволяет редактировать схемы, адаптируя их для разных диалектов SQL, что удобно для миграции между базами данных.

🔐 Лицензия: AGPL-3.0

🖥 Github
🔗 Сайт проекта: *клик*

@sqlhub

🖥 Teable — это no-code платформа, построенная на основе Postgres, которая служит аналогом Airtable.

🌟 Teable предназначена для работы с данными, облегчая создание таблиц, связей и настроек без необходимости программирования. Teable позволяет пользователям управлять базами данных через удобный интерфейс, автоматизировать обработку данных и разворачивать приложения. Поддержка Postgres делает платформу масштабируемой и подходящей для гибкого использования как для начинающих, так и для профессионалов в сфере управления данными.

🔐 Лицензия: AGPL-3.0

🖥 Github

@sqlhub

👣 sqlseeder — инструмент на Go для генерации SQL-запросов INSERT из данных в форматах JSON и Excel. Он поддерживает отношения «один ко многим» и «многие ко многим» между таблицами и позволяет настраивать разделители для удобной обработки данных. Пользователи могут генерировать SQL-запросы, используя JSON- или Excel-данные, и применять шаблоны Go для гибкой настройки SQL-выхода.

🖥 Github

@sqlhub

🖥 Golang RESTful API с Gin, Gorm и PostgreSQL!

💡 В этой статье содержится полный пример сервиса Golang RESTful API, который использует gin для маршрутизации, gorm для ORM и PostgreSQL в качестве базы данных. Этот пример включает следующие функции PostgreSQL: создание базы данных и таблиц, вставка и запрос данных, разбиение данных, индексация, функции и хранимые процедуры, триггеры, представления, CTE, транзакции, ограничения и обработка JSON

🔗 Ссылка: *клик*

@sqlhub

🖥 Appsmith — это инструмент для создания внутренних приложений и панелей администратора, который позволяет пользователям без опыта программирования разрабатывать интерфейсы!

🌟 Платформа включает визуальный редактор с виджетами (таблицы, графики, формы и т.д.), а также возможность интеграции со многими базами данных и сторонними API. JavaScript поддерживается для написания логики, что помогает при создании сложных интерфейсов. Appsmith фокусируется на быстром создании инструментов, улучшении бизнес-процессов и снижении затрат на разработку.

🔐 Лицензия: Apache-2.0

🖥 Github

@sqlhub

🖥 Книга по работе с SQL! (62 главы!)

🔗 Ссылка: *клик*

@sqlhub

👩‍💻 WhoDB

Легкий инструмент для работы с данными нового поколения - Postgres, MySQL, SQLite, MongoDB, Redis, MariaDB и ElasticSearch с удобным интерфейсом.

Hobby - это легкий (~ 20 МБ), мощный и удобный в использовании инструмент управления базами данных, предназначенный для упрощения задач администрирования баз данных.

Сочетая простоту Adminer с улучшенным интерфейсом и производительностью, WhoDB создан на GoLang для обеспечения оптимальной скорости и эффективности работы с данными.

Благодаря таким функциям, как интерактивная визуализация схем и встроенное редактирование, WhoDB подходит как для небольших проектов, так и для сложных корпоративных систем.

WhoDB предоставляет вам возможность общаться с вашими данными, используя естественный язык, благодаря интеграции с Ollama, ChatGPT и Anthropic.

Эта функция позволяет выполнять запросы и управлять вашими данными с помощью диалога вместо SQL запросов.

▪ Github

@sqlhub

👣 K4 — высокопроизводительный встроенный движок хранения данных с поддержкой транзакций и встроенным удобным инструментарием. Он ориентирован на минимизацию задержек при операциях записи и чтения и использует LSM-дерево с журналом записи (WAL)

🌟 K4 поддерживает атомарные транзакции, уплотнение данных, блокировку страниц и фильтрацию Блума для ускорения поиска, также реализует TTL для автоматического удаления устаревших данных

🔐 Лицензия: BSD-3-Clause

@sqlhub

🤓 Изучите основы Git – Справочник по повседневным задачам разработки!

💡 Независимо от того, являетесь ли вы опытным разработчиком или только начинаете свой путь в программировании, понимание Git необходимо для получения надлежащего контроля над своим кодом, эффективного управления проектами и совместной работы с другими.

🌟 В этом руководстве вы познакомитесь с основами Git, охватывая все: от базового рабочего процесса до продвинутых стратегий ветвления и методов перебазирования.

🌟 К концу этого руководства вы будете иметь четкое представление об основных концепциях Git, а также будете уверены в себе и будете хорошо вооружены навыками, необходимыми для эффективного использования Git в процессе разработки.

🔗 Ссылка: *клик*

@sqlhub

🖥 Sqlite-web

Это удобная веб-админка для управления базами данных SQLite, разработанная на Python.

$ pip install sqlite-web

🖥 GitHub: https://github.com/coleifer/sqlite-web

@sqlhub

🖥 Эта статья рассказывает о настройке и использовании PostGIS с Go для управления геоданными!

💡 PostGIS — это расширение PostgreSQL, которое добавляет функции для хранения, индексации и запроса геоданных.

⭐️ Автор шаг за шагом объясняет, как развернуть PostGIS с помощью Docker, создать таблицы для хранения географических точек и маршрутов, настроить проект Go для взаимодействия с PostGIS и выполнять запросы для нахождения точек, находящихся рядом с маршрутом. Статья также затрагивает кодирование и декодирование геометрических данных с использованием библиотеки pgx и функций PostGIS, таких как ST_DISTANCE.

🔗 Ссылка: *клик*

@sqlhub

🖥 Yaak — это современный десктопный клиент для работы с API, который позиционируется как лёгкая и интуитивная альтернатива Postman и Insomnia!

⭐️ Приложение Yaak позволяет пользователям организовывать и отправлять запросы для REST, GraphQL, SSE и gRPC, сохраняя простоту интерфейса. Оно поддерживает функции работы в оффлайн-режиме, использование переменных окружения, импорт команд curl и запросов из других инструментов, таких как Postman и OpenAPI.

🔐 Лицензия: MIT

🖥 GitHub

@sqlhub

🔥 DataEase — это open-source BI-инструмент, который предоставляет возможности для создания интерактивной визуализации данных и анализа бизнес-метрик!

⭐️ Он разработан для упрощения доступа к BI-аналитике, предлагая интуитивный интерфейс для работы с данными, основанный на перетаскивании элементов. DataEase поддерживает интеграцию с различными источниками данных, включая базы данных, API и файлы, и позволяет пользователям создавать отчеты и дашборды, не требующие написания кода.

🔐 Лицензия: GPL-3.0

🖥 GitHub

@sqlhub

🖥 Atlas — это инструмент управления схемой базы данных как кодом. Он поддерживает декларативное описание схем, миграции и автоматическое управление ими для различных СУБД, включая MySQL и PostgreSQL.

🔐 Лицензия: Apache-2.0

🖥 Github
🔗 Сайт проекта: *клик*

@sqlhub