LM Studio

Az LM Studio segítségével lokálisan, internetkapcsolat nélkül futtathatunk nyílt forráskódú AI nyelvi modelleket (LLM-eket). Grafikus felületén közvetlenül kereshetünk és tölthetünk le modelleket a Hugging Face-ről, a beépített chatfelületén pedig azonnal használatba is vehetjük őket.

A szoftver képes helyi API-szerver indítására is, így a modellek könnyen integrálhatók más fejlesztői környezetekbe. Pontosan szabályozhatjuk a videókártya (GPU/VRAM) és a processzor közötti terheléselosztást is, miközben minden adatunk garantáltan a saját gépünkön marad.

Az LM Link funkcióval távoli LM Studio példányokhoz is csatlakozhatunk. Ha van egy erősebb (például dedikált GPU-val szerelt) gépünk a hálózaton, akkor az azon futó modellt egy gyengébb laptopról is simán elérhetjük és használhatjuk, teljesen biztonságos, végpontok közötti titkosítással.