tgoop.com/radiotimur/415
Last Update:
Если вы искали простое приложение, которое может запуститься на iOS и локально гонять для вас LLM (текстовую нейросеть), то тут на днях вышло очень красивое минималистичное приложение Full Moon, которое на данный момент позволяет запускать Llama 3.2 в версии на 1 млрд параметров и на 3 млрд параметров.
Приложение доступно и на iOS, и на iPad OS, и на macOS.
На iPhone 14 Pro 3-миллиардная моделька работает более менее шустро – ответ про Севилью она мне сгенерировала секунд за 10-15.
На M1 Max раз в восемь быстрее :)
Хорошая отправная точка для тех, кто не очень умеет пользоваться LM Studio, веб-интерфейсными решениями и прочими кастомами. Но самое главное – она гоняется локально, а потому будет работать даже тогда, когда у вас нет интернета.
PS. Можно задавать свои систем-промты и есть разбивка по чатам.
PPS. Не реклама!
https://fullmoon.app
BY Radio Timur

Share with your friend now:
tgoop.com/radiotimur/415