Секреты внутреннего устройства планировщика Go

Таймкоды:
00:00 - Введение
03:00 - Потоки операционной системы
07:34 - Легковесные потоки
10:16 - Основные концепции рантайма Go
15:21 - Шасштабирование рантайма Go
18:45 - Локальные очереди
21:45 - Work sharing и work stealing
26:08 - Syscalls в планировщике Go
27:41 - Handoff
34:50 - Netpoller
37:33 - Очереди в планировщике Go
42:28 - Примитивы синхронизации
48:57 - Циклы
52:27 - Курс по Concurrency в Go

источник

👉 @golang_lib

Rill — это набор инструментов для языка Go, предназначенный для создания чистого, компонуемого и основанного на каналах параллелизма. Он упрощает разработку параллельных программ, позволяя строить их из простых и повторно используемых компонентов. Rill снижает объем шаблонного кода, сохраняя при этом естественную модель каналов Go.

Основные возможности Rill:

- Упрощение общих задач параллелизма: Предоставляет более чистый и безопасный способ решения распространенных проблем параллелизма, таких как параллельное выполнение задач или обработка событий в реальном времени. Устраняет необходимость в шаблонном коде и абстрагирует сложности управления горутинами, каналами и ошибками. При этом разработчики сохраняют полный контроль над уровнем параллелизма для всех операций.

- Компонентность и чистота кода: Большинство функций библиотеки принимают каналы Go в качестве входных данных и возвращают новые, преобразованные каналы в качестве выходных данных. Это позволяет объединять их различными способами для построения повторно используемых конвейеров из более простых частей, аналогично Unix-пайпам. В результате параллельные программы становятся последовательностями понятных и повторно используемых операций.

- Централизованная обработка ошибок: Ошибки автоматически распространяются через конвейер и могут быть обработаны в одном месте в конце. Для более сложных сценариев Rill также предоставляет инструменты для перехвата и обработки ошибок в любой точке конвейера.

- Упрощение обработки потоков: Благодаря каналам Go встроенные функции могут обрабатывать потенциально бесконечные потоки, обрабатывая элементы по мере их поступления. Это делает Rill удобным инструментом для обработки данных в реальном времени или работы с большими наборами данных, которые не помещаются в памяти.

- Решения для сложных задач: Библиотека включает готовые функции для пакетной обработки, упорядоченного объединения потоков, map-reduce, разделения потоков, слияния и многого другого. Конвейеры, хотя обычно линейные, могут иметь любую безцикловую топологию (DAG).

- Поддержка пользовательских расширений: Поскольку Rill работает на стандартных каналах Go, легко писать пользовательские функции, совместимые с библиотекой.

- Легковесность: Rill имеет небольшой, типобезопасный API, основанный на каналах, и не имеет зависимостей, что делает его простым для интеграции в существующие проекты. Он также экономно использует ресурсы, гарантируя, что количество выделений памяти и горутин не растет с увеличением размера входных данных.

Быстрый старт:

Рассмотрим практический пример: получение пользователей из API, их активация и сохранение изменений. Он демонстрирует, как контролировать параллелизм на каждом этапе, сохраняя код чистым и управляемым. Функция ForEach завершает выполнение при первой ошибке, а отмена контекста через defer останавливает все оставшиеся операции получения.

func main() {
    ctx, cancel := context.WithCancel(context.Background())
    defer cancel()

    // Преобразуем срез идентификаторов пользователей в канал
    ids := rill.FromSlice([]int{1, 2, 3, 4, 5, 6, 7, 8, 9, 10}, nil)

    // Получаем пользователей из API.
    // Параллелизм = 3
    users := rill.Map(ids, 3, func(id int) (*mockapi.User, error) {
        return mockapi.GetUser(ctx, id)
    })

    // Активируем пользователей.
    // Параллелизм = 2
    err := rill.ForEach(users, 2, func(u *mockapi.User) error {
        if u.IsActive {
            fmt.Printf("Пользователь %d уже активен\n", u.ID)
            return nil
        }

        u.IsActive = true
        err := mockapi.SaveUser(ctx, u)
        if err != nil {
            return err
        }

        fmt.Printf("Пользователь сохранен: %+v\n", u)
        return nil
    })

    // Обработка ошибок
    fmt.Println("Ошибка:", err)
}

Этот пример демонстрирует, как Rill упрощает построение параллельных конвейеров обработки данных, делая код более читаемым и поддерживаемым.

https://github.com/destel/rill

👉 @golang_lib

🔒🚨Микросервисы — это будущее, а их защита — ваше преимущество!

Узнайте, как настроить аутентификацию и авторизацию с помощью OAuth2, JWT и Keycloak на открытом вебинаре «Практика аутентификации и авторизации в микросервисной архитектуре».

Сделайте свои проекты безопасными и удобными! Примените полученные знания на практике и узнайте о лучших подходах от экспертов.

🔴 Встречаемся 20 февраля в 20:00 мск, участники получат скидку на участие в курсе «Microservice Architecture»: https://vk.cc/cIcVGx

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru

Как на самом деле устроены каналы в Golang?

Разбираемся со внутренним устройством каналов: как реализована потокобезопасноть, как в буферизированном канале хранятся данные, какие интересные оптимизации там есть, как работает оператор Select, как каналы закрываются и др.

00:00 Вступление
00:38 Какие свойства каналов интересно изучить?
01:22 Проектирование каналов
01:32 В какой области памяти хранятся каналы?
02:00 Структура канала
04:08 Реализация свойств: goroutine-safe и FIFO
05:04 Как работают буфер канала и mutex
07:18 Передача данных в канал
08:21 Получение данных из канала
08:38 Переполнение буфера
09:05 Как устроен планировщик (Scheduler)
10:14 Как поставить горутину на паузу
10:56 Как разбудить горутину: очередь спящих горутин - sendq
13:49 Чтение из переполненного канала
15:57 Пробуждение спящей горутины Sender
17:43 Чтение из пустого канала
18:44 Передача данных напрямую между стэками двух горутин
19:11 Небуферизированные каналы
19:37 Итоги по изучению интересных свойств каналов
20:35 Изучаем код реализации каналов
28:22 Изучаем поведение канала вживую с помощью дебагера
35:23 Как работает Select
37:14 Закрытие канала
38:13 Код закрытия канала
39:20 Итоги: почему каналы спроектированны именно так?
40:48 Заключение

источник

👉 @golang_lib

Этот репозиторий Bubble-table содержит TUI-таблицу для терминала, написанную на Go с использованием библиотеки Bubble Tea. Она позволяет создавать настраиваемые таблицы с поддержкой сортировки, выделения строк и динамического обновления.

📌 Ключевые особенности:
- Полная совместимость с TUI-экосистемой Bubble Tea.
- Поддержка кастомных стилей и оформления.
- Управление с клавиатуры.
- Возможность добавления анимаций.

Если работаешь с TUI-приложениями на Go, обязательно загляни в репозиторий!

https://github.com/Evertras/bubble-table

👉 @golang_lib

Хотите писать высокопроизводительный код на Go?

Go — это язык, который сделал параллельное программирование проще и мощнее. Горутины, каналы и лучшие практики — всё это на нашем открытом уроке.

Узнайте, как создавать быстрые и эффективные приложения, овладейте основами многопоточности и сделайте шаг к карьере востребованного Go-разработчика.

Регистрируйтесь на открытый вебинар «Паттерны параллельного программирования» уже сегодня и получите скидку на курс «Go Developer Basic»!

Встречаемся 13 февраля в 20:00: https://vk.cc/cItGqy

Реклама. ООО «Отус онлайн-образование», ОГРН 117774661857

Прикладное введение в eBPF с использованием Go

Автор подробно рассматривает использование eBPF в сочетании с языком Go. eBPF (extended Berkeley Packet Filter) — это мощный инструмент для наблюдения и отладки в ядре Linux, позволяющий выполнять безопасный байт-код в пространстве ядра.

В статье представлены практические примеры, демонстрирующие, как писать и загружать eBPF программы с использованием Go. Автор объясняет, как настроить окружение, установить необходимые зависимости и создать простую eBPF программу, которая отслеживает системные вызовы или сетевой трафик.

Кроме того, рассматриваются инструменты и библиотеки, такие как bpf2go, облегчающие интеграцию eBPF с Go.

https://sazak.io/articles/an-applied-introduction-to-ebpf-with-go-2024-06-06

👉 @golang_lib

Ваш код на Go страдает от хаоса в зависимостях?

Новые версии ломают сборку, а приватные репозитории вызывают головную боль?

💡 На открытом вебинаре разберём управление модулями в Go:

▫️Прокси
▫️Локальный кэш
▫️Контроль версий
▫️Безопасность
▫️Оптимизация сборок

🎯 Разберитесь в Semantic Import Versioning и научитесь управлять зависимостями так, чтобы проект был стабильным и предсказуемым.

📅 Встречаемся на открытом вебинаре 27 февраля в 20:00 (мск)!

Все участники получат скидку на большое обучение «Golang Developer. Professional».

🔗 Регистрация открыта: https://vk.cc/cINs62

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Код на Golang: форматирование и линтинг

00:00 | Вступление
00:08 | Зачем нужно форматирование кода на Go
00:45 | Форматер кода fmt
01:51 | Зачем нужен линтер кода на Go
02:08 | Линтер vet
03:52 | Линтер golangci-lint
06:40 | Линтер gofumpt
06:59 | Запускаем линтер gofumpt в режиме исправления ошибок
07:27 | Конфигурационный файл для golangci-lint
08:09 | Git Hooks
08:34 | Устанавливаем Left Hook
09:29 | Настраиваем запуск golangci-lint перед коммитом
09:37 | Коммитим изменения
09:54 | Заключение

источник

👉 @golang_lib

Распределенное файловое хранилище на Go – Полный курс

Изучите, как создать децентрализованную, полностью распределенную систему хранения файлов с адресацией по содержимому на Go, способную обрабатывать и передавать очень большие файлы. Курс охватывает системное проектирование, низкоуровневое программирование и сетевые протоколы, а также создание высокопрактичного и масштабируемого приложения.

00:00:00 - Building a Decentralized File Storage System
00:16:47 - Accept and Listen
00:37:13 - Hard Handshakes and Error Handling
01:17:28 - Developing a Custom Decoder for TCP Transport
01:20:38 - Implementing Custom Peer-to-Peer Package
01:39:39 - Fixing a Network Connection Error
02:17:41 - Storing and Retrieving Data
02:20:07 - Removing Files and Folders
02:45:27 - Cleaning up code
03:04:03 - Debugging and Helper Functions in Go
03:23:06 - Implementing File Server Options
03:43:01 - Server Configuration Errors
04:02:08 - Debugging and troubleshooting the program
04:36:42 - Broadcasting File to the Network
04:41:25 - Broadcasting and Encoding Data
04:58:35 - Sending and receiving data messages
05:18:19 - Running the Program
05:35:57 - Storing Messages
06:17:40 - Storing the Data
06:19:42 - Buffering and Broadcasting
06:39:03 - Debugging and file retrieval issues
06:59:01 - Dealing with Streams in the Code
07:18:34 - Learning from Mistakes
07:35:07 - Reading and Writing Files
08:12:00 - Encrypting the File
08:14:16 - Caso de prueba para copy decrypt function
08:34:59 - Encrypting and Decrypting Files
09:14:26 - Implementing Distributed File Server
09:18:09 - Implementing a copy function
09:36:05 - Refactoring for Storing and Retrieving Files
09:56:50 - End of Livestream

📺 https://www.youtube.com/watch?v=IoY6bE--A54

👉 @golang_lib

🤔 Хотите писать гибкий, эффективный и чистый код, но дженерики в Go всё ещё кажутся чем-то непонятным? На бумаге всё выглядит просто, но на практике возникают вопросы: когда их использовать, какие подводные камни и как правильно применять? 🧐

🚀 На открытом вебинаре «Дженерики в Go» 11 марта в 20:00 (мск) разберём:

— Как работают дженерики в Go на практике
— Когда их использовать, а когда не нужно
— Как читать и писать код с дженериками без боли

💡 Хватит обходиться без мощного инструмента!

🎁 Всем участникам — скидка на большое обучение «Golang Developer. Professional».

📌 Регистрируйтесь и переходите на следующий уровень разработки: https://vk.cc/cJlmW7

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576

Паттерн Outbox - теория и практика | Архитектура Микросервисов

Transactional Outbox - паттерн, который обеспечивает атомарность двух операций - сохранения измений в БД и отправки сообщения об этих изменениях в другой сервис.
В этом видео мы подробно разберемся, почему решаемая им проблема важна, как он устроен, а затем реализуем его самостоятельно на языке Go

00:00 Какую проблему мы решаем
05:47 Нам нужна атомарность
07:03 Про Two-Phase Commit
07:36 NoSQL базы данных
09:59 Гарантия доставки - "At Least Once"
11:48 Практика: пишем Outbox для сокращателя ссылок
12:43 Storage: сохраняем сообщения в таблицу
28:01 Event Sender: отправка сообщений из таблицы
36:52 Подключаем Event Sender
39:09 Тестируем отправку сообщений
41:12 Итоги
42:07 Мой Телеграм-канал: почему он важен
43:05 Заключение

источник

👉 @golang_lib

Goschedviz — Визуализация работы планировщика Go

Инструмент для визуализации работы планировщика Go в терминале. Помогает понять поведение планировщика Go через отображение метрик в реальном времени.

⚠️ Важно: Этот инструмент предназначен только для образовательных целей. Он разработан для помощи в понимании работы планировщика Go и не должен использоваться в продакшен-окружении или критически важных проектах. В нём могут быть ошибки и он не оптимизирован для производительности.

Возможности
🔹Мониторинг метрик планировщика Go в реальном времени с использованием GODEBUG schedtrace
🔹Мониторинг количества горутин через runtime метрики
🔹Консольный интерфейс с несколькими виджетами:
🔹Таблица текущих значений планировщика
🔹Диаграммы локальных очередей (LRQ)
🔹Индикаторы для GRQ, горутин, потоков и простаивающих процессоров
🔹Два графика истории (линейная и логарифмическая шкалы)
🔹Цветовая легенда метрик
🔹Поддержка мониторинга любой Go-программы

https://github.com/JustSkiv/goschedviz/blob/main/docs/README.ru.md

👉 @golang_lib

Как работает автоматическое переключение на резервный сервер в случае сбоя основного? 

Разберем концепцию высокой доступности баз данных и автоматического failover на практике

Приглашаем на открытый практический урок «Отказоустойчивый кластер Patroni» в рамках курса PostgreSQL для администраторов баз данных и разработчиков

✅ Практика: настройка кластер Patroni, включая конфигурацию DCS, настройку PostgreSQL и HAProxy. 

Освойте основные команды Patroni для управления кластером, такие как переключение ролей, перезагрузка, реинициализация и настройка синхронной репликации. 

Навыки полученные на уроке позволят создать отказоустойчивые решения для своих баз данных и эффективно администрировать отказоустойчивые кластеры PostgreSQL.

👉 Регистрация и подробности: 
https://vk.cc/cJxU84

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru