Создаем собственного AI-помощника для кодинга в JupyterLab с использованием Ollama и Hugging Face

Недавно я исследовал возможности создания собственного AI-помощника для написания кода. Цель — иметь полноценного помощника, работающего локально, без зависимости от облака и внешних API.

Вот как я это сделал:


🧠 Что такое Ollama?

Ollama — это инструмент для локального запуска LLM (Large Language Models). Он поддерживает модели вроде codellama, llama2, mistral и другие. Всё работает на вашем компьютере, без необходимости обращаться к внешним сервисам.

Пример установки и запуска:

curl -fsSL https://ollama.com/install.sh | sh
ollama run codellama

После запуска вы можете взаимодействовать с моделью через CLI или REST API.



🤖 Интерфейс с JupyterLab

Теперь объединим Ollama с JupyterLab, чтобы создать AI-помощника, с которым можно взаимодействовать прямо в ноутбуке.

Установка расширения:

Устанавливаем jupyter-ai, который интегрируется с LLM в Jupyter:

pip install jupyter-ai
jupyter labextension install @jupyterlab/ai-extension
jupyter ai init

Настройка Ollama в Jupyter AI

Файл jupyter_ai_config.toml:

[jupyter_ai]
default_provider = "ollama"

[jupyter_ai.providers.ollama]
url = "http://localhost:11434"
model = "codellama"

Теперь ваш JupyterLab знает, куда отправлять запросы.



🚀 Использование в Jupyter

Теперь можно использовать магические команды:

%%ai
Напиши функцию на Python, которая сортирует список по возрастанию.

Или вызвать помощника в чате справа от ноутбука.



🧩 Альтернатива: Hugging Face + Text Generation Inference

Если вы хотите использовать модели из Hugging Face — можно установить text-generation-inference, который поддерживает множество моделей, оптимизированных для inference.

Команда запуска:

docker run --gpus all -p 8080:80 ghcr.io/huggingface/text-generation-inference \
--model-id bigcode/starcoder2 \
--quantize gptq

В конфиге JupyterAI:

[jupyter_ai.providers.huggingface_tgi]
url = "http://localhost:8080"
model = "bigcode/starcoder2"

💡 Итоги

Теперь у вас есть полностью локальный AI-кодинг помощник, работающий в JupyterLab, без отправки данных в облако. Отличное решение для конфиденциальной работы, кастомизации и обучения.

https://towardsdatascience.com/build-your-own-ai-coding-assistant-in-jupyterlab-with-ollama-and-hugging-face/

👉 @bigdata_1