Come insegnare agli agenti AI a testare le app mobile in autonomia

Situazione familiare: chiedi a un assistente AI come Cursor o Claude di scrivere una funzionalità per un'app mobile, lui sputa fuori un sacco di codice, lo copi, e poi... apri il simulatore e fai clic manualmente su ogni schermata per verificare se il layout si è rotto. In quel momento, sembra che l'automazione abbia preso una direzione sbagliata. L'AI può scrivere codice, ma è "cieca" all'interfaccia reale al di fuori dell'editor di testo.

I ragazzi di Callstack hanno risolto questo problema rilasciando agent-device. È uno strumento CLI che trasforma un agente AI da teorico a pratico. Ora l'agente può aprire l'app su un simulatore iOS o emulatore Android, guardare gli elementi dello schermo e toccare i pulsanti giusti.

Perché preoccuparsi quando hai Appium o Maestro

Potresti pensare che ci siano già molti strumenti di automazione mobile. Ma ecco il problema: Appium e Maestro sono stati progettati per gli esseri umani. Un agente AI non ha bisogno di scrivere scenari YAML complessi o armeggiare con i selettori nell'albero XML. Ha bisogno di un modo veloce, economico e diretto per interagire con l'hardware.

agent-device funziona in modo diverso. Cattura screenshot non solo come immagini, ma come alberi di accessibilità strutturati. Invece di inviare screenshot pesanti a un modello multimodale e bruciare token, l'agente riceve una descrizione testuale degli elementi con riferimenti brevi come @e1, @e2. Questo riduce i costi e velocizza il processo.

Cosa può fare questo strumento

Lo strumento si posiziona come "mani e occhi" dell'agente. Ecco le funzionalità principali che hanno attirato la mia attenzione:

1. Screenshot intelligenti. Il comando snapshot -i restituisce solo gli elementi interattivi. L'agente vede un elenco: @e1 [button] "Sign In", @e2 [text-field] "Email". Nessuna ipotesi su dove toccare.
2. Multi-piattaforma out of the box. Lo stesso flusso di lavoro funziona per iOS, Android, TV (tvOS e Android TV) e persino app desktop su macOS e Linux.
3. Raccolta di prove. Se qualcosa va storto, l'agente può avviare la registrazione video, acquisire i log o estrarre il traffico di rete in autonomia. Questo è prezioso per il debug di bug che si manifestano solo durante l'esecuzione.
4. Integrazione React Native. Dato che Callstack è dietro questo progetto, c'è un supporto RN profondo: puoi ispezionare l'albero dei componenti e profilare i render.

Come funziona in pratica

Immagina di configurare un server MCP (Model Context Protocol) per il tuo agente AI. Ora può eseguire comandi direttamente nel terminale.

Prima, verifichiamo l'ambiente:

agent-device doctor

Se tutto è a posto, l'agente può avviare l'app:

agent-device open "MyApp" --platform ios

Poi si guarda intorno:

agent-device snapshot -i

Una volta che ha l'elenco degli elementi, simula semplicemente le azioni dell'utente:

agent-device fill @e3 "[email protected]"
agent-device tap @e2

Fatto. Nessuna attesa per la compilazione o cambio manuale delle finestre.

Sotto il cofano

Lo strumento non tenta di reinventare la ruota dove gli standard funzionano già. Per iOS usa XCTest, per Android è ADB combinato con un helper personalizzato per gli screenshot. Per il web, Playwright gira sotto il cofano (in particolare la logica da vercel/agent-browser).

Interessante è che agent-device può convertire le sue sessioni in formato Maestro. Questo significa che l'agente può redigere un test mentre "esplora" l'app, e poi puoi salvarlo come test E2E completo per la CI.

Chi dovrebbe provarlo

Vedo diversi scenari in cui questo farà davvero risparmiare tempo:

• Sviluppatori React Native ed Expo. Se stai usando Cursor o Windsurf, aggiungi la documentazione di agent-device al contesto. L'agente può verificare le proprie modifiche senza interromperti.
• Ingegneri QA. Puoi delegare la scrittura di test smoke di base all'AI. Troverà da solo i pulsanti e verificherà che le transizioni funzionino.
• Team che lavorano con piattaforme TV. L'automazione TV è sempre una seccatura, e qui è inclusa.

Il progetto è in fase di sviluppo attivo, e mentre la documentazione è ancora in fase di completamento in alcuni punti, la CLI principale funziona in modo stabile. Se credi nel concetto di Agentic Workflows, questo strumento merita sicuramente di dedicargli una serata.

Puoi iniziare con la loro documentazione ufficiale, che descrive dettagliatamente come integrare la CLI con i popolari agenti AI.