Foto di Raymond Chiu.

Qualche tempo fa Anthropic aveva rivelato che, per valutare le capacità di ragionamento della propria IA Claude 3.7, aveva utilizzato il videogioco Pokémon: in questo modo l'azienda poteva valutare la capacità del modello di trovare le soluzioni migliori.

Ora però i ricercatori dell'Hao AI Lab (parte dell'Università della California a San Driego) sostengono che la scelta del gioco da usare per valutare la IA non sia stata vincente: sarebbe infatti stato meglio usare Super Mario Bros.

Per dimostrarlo hanno costretto quattro diversi modelli a giocare allo storico gioco o, meglio, a una sua incarnazione recente: tramite il framework GamingAgent hanno garantito alle quattro IA in questione il controllo di un clone di Super Mario.

Le IA messe alla prova sono state il già citato Claude 3.7, Claude 3.5, Gemini 1.5 Pro (Google) e GPT-4o (OpenAI).

Non perderti anche:

SuperMario

Per poco il Game Boy non divenne il primo smartphone

Studio rivela: i videogiochi fanno bene alla salute mentale

Vivaldi si aggiorna e guadagna un videogioco in stile anni '80

I ricercatori hanno fornito le indicazioni di base - che cosa fare quando si incontra un ostacolo o un nemico - ma sostengono che ogni modello ha poi dovuto imparare da sé come gestire il gioco, sviluppando strategie complesse e adattandosi di volta in volta alle diverse sfide proposte dall'avanzamento di Super Mario nel livello.

Ed è qui che si dimostrerebbe la superiorità di Super Mario Bros su Pokémon come strumento per valutare le capacità della IA: un platform, infatti, richiede - sempre secondo i ricercatori lo sviluppo di manovre complicate e di diverse strategie di gioco, ma anche di reagire rapidamente alle situazioni.

Proprio quest'ultima caratteristica avrebbe causato la caduta dei modelli che "ragionano", come GPT-4o e Claude 3.7, rispetto a quelli standard: per arrivare al miglior risultato, il "ragionamento" richiede alcuni secondi per essere sviluppato; ma in un gioco come Super Mario anche un solo secondo può fare la differenza tra il completamento del livello e la perdita di una vita.

Non perderti anche:

Copia sigillata di Super Mario Bros. va all'asta per una cifra da record

Cartuccia di Super Mario Bros venduta all'asta per 100.000 dollari

L'emulatore che converte i vecchi giochi per NES in widescreen

Pokémon Go, il videogioco che uccide nella vita reale

Ecco perché i modelli tradizionali nel test di Super Mario si sono comportati meglio: anche se più imprecisi rispetto ai loro colleghi più evoluti, hanno saputo avere tempi di reazione inferiori.

Non tutti gli esperti di IA sono però d'accordo con le conclusioni dei ricercatori californiani né, se è per quello, con quelle di Anthropic: ritengono infatti che la capacità di gestire un videogioco non sia poi così importante per definire la bontà di un modello di IA.

Richard Socher, ex responsabile della IA per Salesforce e fondatore di You.com, ha di recente commentato: «Penso proprio che i giochi tendano a entusiasmare parecchio le persone, che è qualcosa in cui si possono immedesimare. Hanno giocato a quei giochi e si ricordano quant'erano difficili. Ma è un po' come entusiasmarsi perché un computer sa moltiplicare numeri molto grandi: alla fine quei sistemi non sono poi così intelligenti. Non si crea un vero valore, al di là del gioco».

Sullo stesso tema:

La donna resa cieca da un videogioco

Nintendo ci riprova con lo Snes Classic Mini

Nintendo contro i retrogamer di Super Mario e Final Fantasy

Il forno a microonde per videogiocare

Anche Andrej Karpathy, di OpenAI, ha dubbi in proposito: «La mia reazione è che ci sia una crisi di valutazione» ha scritto su X. «Non so proprio quali metriche considerare in questo momento».

Se anche gli esperti non sono d'accordo su ciò che consente di definire "efficace" una IA diventa particolarmente difficile credere agli annunci del marketing e alle promesse che tutti gli attori del settore fanno quasi quotidianamente.

Ti raccomandiamo anche:

Crescono i videogiochi in Italia

A Berlino il parco di Donkey Kong

Super Mario compie 30 anni

Il controller che ti succhia il sangue quando perdi ai videogiochi