Immagine: Microsoft

Microsoft sta portando l'integrazione dell'intelligenza artificiale in Windows a un nuovo livello con Copilot Vision: è una funzionalità che è stata annunciata lo scorso mese e che permette all'assistente di "vedere" ciò che è visualizzato sullo schermo del PC e offrendo aiuto in tempo reale. Copilot Vision è attualmente in fase di test per gli utenti del programma Windows Insider: è disponibile nella versione 1.25071.125 dell'app Copilot su Windows 10 e 11. La funzione si attiva manualmente tramite l'icona a forma di occhiali nell'app Copilot; essa consente agli utenti di condividere fino a due applicazioni oppure l'intero desktop, permettendo all'IA di analizzare contenuti, fornire suggerimenti e guidare gli utenti in svariate attività: per esempio la modifica delle foto, il gioco o la gestione di documenti.

Copilot Vision si presenta come una funzione opt-in: gli utenti devono attivarla di proposito; è un aspetto enfatizzato da una Microsoft probabilmente scottata dalle critiche ricevute per la funzione Recall nel 2024, attivata di default. Una volta attivata, l'IA può analizzare il contenuto visualizzato, rispondere a domande contestuali e offrire indicazioni passo-passo: per esempio può suggerire come regolare l'illuminazione in Adobe Photoshop, o come superare un livello in un videogioco. La funzione Highlights consente di chiedere a Copilot «mostrami come» per ricevere istruzioni visive direttamente nell'app, evidenziando pulsanti o menu pertinenti, come riportato dal blog ufficiale di Microsoft.

La capacità di lavorare con due applicazioni contemporaneamente è uno dei punti di forza di Copilot Vision: in questo modo è infatti in grado di mettere in relazione i contenuti delle due app tra di loro per fornire suggerimenti adeguati al contesto. Per esempio un utente può condividere un calendario e una pagina web con eventi, chiedere a Copilot di trovare date disponibili e aggiungere un evento. Microsoft sottolinea che la funzione non interagisce direttamente con il web né esegue azioni come clic o inserimento di testo: si limita a fornire risposte e suggerimenti vocali o testuali. L'azienda garantisce che i dati degli utenti, come input, immagini o contenuti delle app, non vengono memorizzati o utilizzati per addestrare i modelli: vengono eliminati al termine della sessione vocale. Solo le risposte di Copilot sono registrate per monitorare le «interazioni non sicure».

Nonostante le promesse di privacy, la funzione solleva comunque qualche preoccupazione: questo soprattutto se consideriamo il modo piuttosto "allegro" in cui Microsoft ha trattato questo tema in passato. Le critiche ovviamente si intensificano alla luce delle precedenti controversie su Recall, che aveva sollevato timori di sorveglianza di massa; come ricordavamo, è probabilmente per questo che Microsoft ha deciso di rendere Copilot Vision rigorosamente opt-in.

Consigliamo la lettura di:

Microsoft consiglia ai dipendenti licenziati di farsi consolare da ChatGPT e Cop...

Grok sfida Microsoft Excel: l'editor per fogli di calcolo è interattivo...

Recall si rinnova: homepage più intuitiva con app e siti più utilizzat...

Copilot Vision osserva lo schermo: la IA di Microsoft assiste l'utente in te...

Dal punto di vista tecnico, Copilot Vision si affianca ad altre novità recenti dell'app Copilot come la ricerca avanzata di file: questa supporta formati come .docx, .xlsx, .pdf e .json, permettendo di trovare documenti con comandi in linguaggio naturale. Per esempio è possibile ordinare all'assistente «Trova il mio curriculum» o «Apri il documento di pianificazione del viaggio della scorsa settimana». Questa funzione è disponibile per gli Insider in tutto il mondo a differenza di Copilot Vision, che invece è limitato per ora agli Stati Uniti; prossimamente sarà estesa ad altri Paesi ma continuerà a escludere l'Europa.

I primi test hanno rivelato alcune lacune. Un'esperienza pratica descritta riportata da Windows Central mostra come Copilot Vision possa essere impreciso: per esempio ha fornito indicazioni errate su come cambiare il font predefinito in Blocco Note, confondendo le versioni dell'app. In ogni caso la direzione tracciata è chiara: Microsoft è impegnata a integrare Copilot sempre più profondamente in Windows, con l'obiettivo di competere con assistenti AI come Google Gemini e Apple Intelligence.

Proposte di lettura:

Signal si sfila da Recall di Windows 11

Windows 11, la IA si attiva con ''Ehi, Copilot!''

Copilot si installa nel menu contestuale di Windows 11

Windows 11, ora Copilot può agire sulle impostazioni