LM Studio, l'Intelligenza Artificiale installata sul pc

Da qualche settimana ho scaricato LM Studio; per ora ci sto solo giocando un po' nel tempo libero ma mi sembra un prodotto molto interessante, da condivdere.

LM Studio è una piattaforma gratuita che consente di eseguire modelli di linguaggio avanzati (LLM) direttamente sul proprio pc, senza la necessità di una connessione internet attiva. Questo risulta particolarmente utile per chi ha esigenze specifiche di privacy o per chi lavora in ambienti con accesso limitato al web. Supporta modelli come Llama, Mistral e Phi, ed è compatibile con i principali sistemi operativi come Windows, macOS e Linux.

Al momento sto provando due modelli molto leggeri - Llama 3.1 nella versione da 8B e Gemma 2 nella versione da 2B - ed entrambi funzionano senza problemi su di un pc, tutto sommato, non particolarmente corrazzato (il processore è un Intel Core i7-12700H, 16GB RAM, scheda video GeForce RTX 3050 con 4GB di memoria dedicata). Anche se i risultati, soprattutto con Gemma, non sono ancora entusiasmanti (e inevitabilmente lontani da quelli che si possono ottenere ad esempio con Chat GPT), è un ottimo strumento per fare esperienza e sperimentare con modelli diversi. 

Il vero punto di forza di LM Studio è la possibilità di gestire i modelli in locale: tutti i dati restano sul proprio dispositivo, garantendo che nessuna informazione venga inviata a server esterni. Questo aspetto lo rende una soluzione ideale per chi lavora con dati sensibili o in settori che richiedono standard elevati di sicurezza. La piattaforma offre anche un alto livello di personalizzazione, consentendo agli utenti di ottimizzare l’uso delle risorse del proprio hardware, adattando il modello alle capacità del sistema. LM Studio è una soluzione eccellente per chi necessita di privacy e controllo sui propri dati!

Un altro vantaggio è la possibilità di fare chiamate API su un server locale di LM Studio, il che significa che si può integrare la piattaforma nelle proprie applicazioni aziendali, senza dipendere da servizi cloud esterni. Io lo sto provando in combinazione con Knime.

Anche l'utilizzo è piuttosto immediato: si scarica e installa il software, si sceglie quale modello scaricare (se ne può scaricare più di uno, usandoli in alternativa anche nel corso della stessa chat), e si è operativ.

Tuttavia, ci sono anche alcuni limiti. Il primo riguarda i requisiti hardware, soprattutto se si vogliono usare modelli di grandi dimensioni. Per i modelli più leggeri, come ho già detto, non ci sono problemi particolari.

Il secondo riguarda le prestazioni in tempo reale che possono essere inferiori rispetto ai modelli online, che hanno accesso a infrastrutture di calcolo molto più potenti.

Chi vuole provarlo può scaricare LM Studio (https://lmstudio.ai/) da questo link, e poi condividere le sue impressioni qui sotto nei commenti.