LARAVEL_IT Telegram 2690
Forwarded from The Dragon Code News
🚀 Быстрый запуск локального ИИ ассистента в PhpStorm

Для этого Вам нужна видеокарта с RTX ядрами от NVidia или RDNA от Radeon, иначе скорость работы нейронки будет низкой.

Также нужен Docker.


Теперь можно выполнить консольные команды:

docker run -d -p 11434:11434 --gpus=all -v ollama:/root/.ollama --name ollama --restart always ollama/ollama

docker exec ollama ollama run gemma3:12b


где gemma3:12b - это модель и её размер с сайта Ollama. Размер модели выбирайте не больше размера видеопамяти. Например, в карточке с 12 Гб VRAM самой большой моделью будет gemma3:12b иначе все вычисления лягут на CPU, а это очень-очень медленно. Если не нравится модель gemma3, тогда можете выбрать любую другую на сайте.

После того как запустили Ollama в докере и загрузили в неё модель, устанавливаем плагин ProxyAI в PhpStorm (раньше плагин назывался CodeGPT) и легко настраиваем.

Настройки плагина находятся в разделе File | Settings | Tools | ProxyAI.

1. Выбираем провайдер "Ollama (local)";
2. В разделе "Ollama (local)" жмём кнопку "Refresh models" для обновления списка доступных моделей и выбора нужной.

Нюанс один - не все модели отвечают на русском языке. Например, gemma3 принципиально отвечает только по-английски, хотя понимает русский язык.
47



tgoop.com/laravel_it/2690
Create:
Last Update:

🚀 Быстрый запуск локального ИИ ассистента в PhpStorm

Для этого Вам нужна видеокарта с RTX ядрами от NVidia или RDNA от Radeon, иначе скорость работы нейронки будет низкой.

Также нужен Docker.


Теперь можно выполнить консольные команды:

docker run -d -p 11434:11434 --gpus=all -v ollama:/root/.ollama --name ollama --restart always ollama/ollama

docker exec ollama ollama run gemma3:12b


где gemma3:12b - это модель и её размер с сайта Ollama. Размер модели выбирайте не больше размера видеопамяти. Например, в карточке с 12 Гб VRAM самой большой моделью будет gemma3:12b иначе все вычисления лягут на CPU, а это очень-очень медленно. Если не нравится модель gemma3, тогда можете выбрать любую другую на сайте.

После того как запустили Ollama в докере и загрузили в неё модель, устанавливаем плагин ProxyAI в PhpStorm (раньше плагин назывался CodeGPT) и легко настраиваем.

Настройки плагина находятся в разделе File | Settings | Tools | ProxyAI.

1. Выбираем провайдер "Ollama (local)";
2. В разделе "Ollama (local)" жмём кнопку "Refresh models" для обновления списка доступных моделей и выбора нужной.

Нюанс один - не все модели отвечают на русском языке. Например, gemma3 принципиально отвечает только по-английски, хотя понимает русский язык.

BY Laravel World







Share with your friend now:
tgoop.com/laravel_it/2690

View MORE
Open in Telegram


Telegram News

Date: |

To view your bio, click the Menu icon and select “View channel info.” 3How to create a Telegram channel? Commenting about the court's concerns about the spread of false information related to the elections, Minister Fachin noted Brazil is "facing circumstances that could put Brazil's democracy at risk." During the meeting, the information technology secretary at the TSE, Julio Valente, put forward a list of requests the court believes will disinformation. best-secure-messaging-apps-shutterstock-1892950018.jpg bank east asia october 20 kowloon
from us


Telegram Laravel World
FROM American