Foto di Nahrizul Kadri.

Su GitHub è apparso uno strumento - gratuito e open source -- interessante per quanti vorrebbero utilizzare un LLM in locale, al riparo non soltanto dai costi degli abbonamenti ma anche dalla possibilità che qualche realtà troppo curiosa metta il naso nei loro dati: si chiama LLM Checker e consente di identificare quali modelli di intelligenza artificiale possano essere eseguiti localmente sul proprio computer, analizzando in modo automatico i requisiti hardware e confrontandoli con le specifiche del sistema.

Lo strumento è stato sviluppato per semplificare la valutazione della compatibilità tra modelli LLM e hardware disponibile, un'operazione che richiede normalmente la consultazione di documentazione tecnica, benchmark e tabelle di quantizzazione. LLM Checker automatizza questo processo raccogliendo informazioni sul sistema, come quantità di RAM, VRAM, tipo di GPU, supporto alle istruzioni AVX e capacità di calcolo, e confrontandole con un database di modelli supportati. Il software è distribuito come applicazione desktop e come script eseguibile, con versioni disponibili per Windows, macOS e Linux. Una volta avviato, esegue una scansione del sistema e genera un elenco di modelli compatibili, indicando per ciascuno la dimensione del file, il tipo di quantizzazione supportata e il livello di prestazioni atteso. L'interfaccia mostra anche i modelli non compatibili, specificando quali requisiti non vengono soddisfatti.

LLM Checker supporta modelli basati su architetture come LLaMA, Mistral, Gemma, Phi e Qwen, includendo varianti quantizzate in formati come GGUF e GPTQ. Il database dei modelli è aggiornato tramite repository pubblici e può essere esteso manualmente dagli utenti. Lo strumento non scarica automaticamente i modelli, ma fornisce link diretti alle fonti ufficiali. L'autore del progetto ha spiegato su GitHub di aver creato lo strumento per rispondere alla crescente domanda di soluzioni locali. Nel repository si legge: «Molti utenti non sanno quali modelli possano funzionare sul loro hardware. Questo strumento automatizza il controllo e riduce il rischio di scaricare file inutilizzabili». Il codice è pubblicato sotto licenza MIT e può essere modificato liberamente.

LLM Checker include anche una funzione di benchmark opzionale che permette di stimare la velocità di generazione del modello selezionato. Il test misura i token al secondo, l'utilizzo della memoria e il carico sulla GPU, fornendo un'indicazione preliminare delle prestazioni reali. Questa funzione è disattivata di default per evitare consumi elevati. Il software rileva automaticamente la presenza di GPU NVIDIA, AMD e Apple Silicon, adattando i suggerimenti in base al backend disponibile, come CUDA, ROCm o Metal. In assenza di accelerazione hardware, LLM Checker segnala che l'esecuzione dei modelli avverrà tramite CPU e indica quali modelli risultano comunque utilizzabili con prestazioni accettabili.

Articoli raccomandati:

Vendere Eliza come ricetta per il successo

In morte del sistema operativo

Token, è finita la pacchia!

Wikipedia chiude all'AI: vietata la creazione di articoli con LLM

Il tool è pensato anche per chi utilizza framework come Ollama o LM Studio. LLM Checker identifica i modelli compatibili con questi ambienti e segnala eventuali limitazioni, come la necessità di versioni specifiche del runtime o la mancanza di supporto per alcune quantizzazioni. Lo strumento non modifica le configurazioni esistenti e non installa componenti aggiuntivi. Il repository GitHub include istruzioni dettagliate per l'installazione, esempi di output e una sezione dedicata ai contributi della community. Lo sviluppatore invita gli utenti a segnalare modelli mancanti o incompatibilità non documentate, con l'obiettivo di mantenere il database aggiornato rispetto all'evoluzione rapida degli LLM open source.

LLM Checker è in fase di sviluppo attivo e riceve aggiornamenti frequenti. Le note di rilascio indicano che le prossime versioni includeranno un sistema di plugin per aggiungere nuovi modelli e un modulo per verificare la compatibilità con pipeline di inferenza ottimizzate. Lo strumento è già utilizzato da utenti che vogliono valutare la fattibilità dell'esecuzione locale prima di scaricare modelli di grandi dimensioni.

Articoli suggeriti:

Amazon, troppa IA nello sviluppo causa una settimana di disservizi

AMD presenta Ryzen AI 400, i primi processori desktop pronti per Microsoft Copil...

Venti minuti per ingannare l'IA: ChatGPT e Gemini preda della disinformazion...

Meta brevetta una IA per postare anche dopo la morte su Facebook, Instagram e Wh...

Spunti di approfondimento:

OpenClaw, perché adesso? Perché così?

Agente Openclaw, agente Smith

LLM, algoritmi e debito tecnologico

IA, il pericolo dell'antropomorfizzazione