Big Data AI

🦙 go-llama.cpp — запускаем LLM в Go без лишних зависимостей. Этот проект предлагает минималистичные Go-биндинги для llama.cpp, позволяя работать с локальными языковыми моделями прямо из Go-кода. В отличие от других решений, здесь основная логика остаётся в C/C++ для максимальной производительности, а Go выступает лишь удобной обёрткой.

Инструмент выделяется поддержкой различных бэкендов — от OpenBLAS до Metal на Apple Silicon. Проект уже перешёл на новый формат GGUF, что делает его совместимым с современными версиями llama.cpp.

🤖 GitHub

❤5

www.tgoop.com/bigdatai/1368

1.66K viewsJul 2 at 11:02

🦙 go-llama.cpp — запускаем LLM в Go без лишних зависимостей. Этот проект предлагает минималистичные Go-биндинги для llama.cpp, позволяя работать с локальными языковыми моделями прямо из Go-кода. В отличие от других решений, здесь основная логика остаётся в C/C++ для максимальной производительности, а Go выступает лишь удобной обёрткой.

Инструмент выделяется поддержкой различных бэкендов — от OpenBLAS до Metal на Apple Silicon. Проект уже перешёл на новый формат GGUF, что делает его совместимым с современными версиями llama.cpp.

🤖 GitHub

BY Big Data AI