TurboLLM: Offline AI Chat

TurboLLM покреће праве велике језичке моделе директно на процесору вашег Андроид телефона — без облака, без налога, без претплате и без интернет везе након преузимања модела.

ЗАШТО ЛОКАЛНА ВИ

Већина апликација за „ВИ ћаскање“ су танки омотач око туђег cloud API-ја: ваши упити напуштају ваш телефон, ваши разговори се налазе на серверу који не контролишете, а апликација престаје да ради чим изгубите сигнал. TurboLLM је другачији. Модел ради у правом механизму за закључивање на уређају (llama.cpp, компајлиран за Андроид) и ваш разговор никада не мора да напусти ваш телефон.

ШТА МОЖЕТЕ ДА УРАДИТЕ

- Ћаскајте са локалним LLM-овима отворене тежине — Llama, Qwen, Gemma и било којим другим GGUF моделом — потпуно офлајн, чак и у режиму авиона.
- Откријте и преузмите моделе директно из Hugging Face-а, директно унутар апликације, једним додиром.
- Механизам за закључивање се аутоматски инсталира први пут када вам затреба — без ручног подешавања, без компајлирања, без терминала.
- Креирајте прилагођене AI агенте са сопственим системским упитом и приступом вештинама/алатима, за различите задатке — помоћ при кодирању, писање, истраживање или потпуно празан лист без убризганих инструкција.
- Пратите сопствену употребу током времена: сесије, поруке, укупан број генерисаних токена, низове и ваш најкоришћенији модел — све се израчунава локално из ваше историје.
- Фино подешавање генерисања помоћу контрола за сваки ћаскање: буџет за размишљање, узорковање и напор за расуђивање, за моделе који их подржавају.
- Исти интерфејс као и TurboLLM-ова десктоп апликација (Windows, Mac, Linux) — ако сте користили TurboLLM на рачунару, ваш телефон ради потпуно на исти начин.

ПРИВАТНОСТ ПО ДИЗАЈНУ

- Нема налога, нема пријављивања, нема cloud backend-а за ваше разговоре.
- Нема телеметрије, нема аналитике, нема SDK-а за извештавање о падовима који се јавља кући у овој верзији.
- Ћаскања и преузети модели се налазе само у приватној меморији ове апликације на вашем уређају.
- Ваши упити, датотеке и тежине модела се никада не шаљу нама нити било коме другом. Једини мрежни захтеви које ова апликација прави су они које сте сами покренули: преузимање модела који сте изабрали, преузимање бинарног програма за закључивање први пут када је потребан или позив алата који сте експлицитно одобрили.

ВРЕДИ ЗНАТИ

Закључивање се покреће на процесору вашег телефона, тако да брзина зависи од вашег чипсета и величине модела коју изаберете — мањи модели (параметри 1-4B) делују најбрже на већини телефона, а већи су ту ако их ваш хардвер може поднети. Активно генерисање је прави рачунарски посао, па очекујте нормално оптерећење батерије и топлоте, исто као и сваки задатак вештачке интелигенције на уређају.

ЗА КОГА ЈЕ НАМЕЊЕНО

Корисници који воде рачуна о приватности, ентузијасти за локалну вештачку интелигенцију, програмери који већ покрећу TurboLLM или llama.cpp на рачунару и сви који су радознали како се осећа истински офлајн LLM ћаскање на телефону — под вашом контролом, на вашем хардверу, без икаквог напуштања уређаја.