Ricercatori di Cambridge hanno sviluppato un’applicazione di realtà virtuale utilizzando l’apprendimento automatico per dare agli utenti la capacità ‘sovrannaturale’ di aprire e controllare strumenti nella realtà virtuale

Ricercatori di Cambridge creano un'app di realtà virtuale con IA per dare agli utenti un potere sovrannaturale di aprire e controllare strumenti nella realtà virtuale

“`html

I tasti rapidi sono scorciatoie da tastiera tipicamente presenti nelle applicazioni desktop tradizionali. Un team di ricercatori dell’Università di Cambridge esplora cosa può essere un’alternativa valida ai tasti rapidi in uno spazio di interazione 3D in cui l’input da tastiera non è più l’unica opzione. Gli scienziati hanno creato un programma VR che consente agli utenti di accedere e utilizzare più strumenti di modellazione 3D con il semplice movimento della mano. Il team dell’Università di Cambridge ha utilizzato il machine learning per creare un sistema chiamato “HotGestures” che funziona in modo simile alle scorciatoie da tastiera presenti sul desktop di un computer.

Gli esseri umani sono principalmente creature visive. Pertanto, i gesti delle mani sono un modo naturale per trasmettere informazioni e creare relazioni tra le parole. HotGestures consente agli utenti di accedere e utilizzare rapidamente gli strumenti virtuali attraverso semplici gesti delle mani. Questo metodo funziona bene in combinazione con la navigazione di menu standard. Attraverso due test di utilizzo, i ricercatori sono in grado di valutare il potenziale di HotGestures e scoprire che la tecnica basata sui gesti offre una selezione rapida ed efficiente degli strumenti e delle scorciatoie. HotGestures è stato ben accolto dai partecipanti per la sua unicità, velocità e facilità d’uso e perché integrava l’interazione basata su menu più tradizionale. HotGestures consente agli utenti di creare figure e forme di realtà virtuale senza interagire con un menu, consentendo loro di mantenere l’attenzione senza distrazioni.

Nonostante anni di hype, il potenziale della realtà virtuale (VR) e delle applicazioni associate deve ancora essere completamente realizzato al di fuori dell’industria dei videogiochi. I tasti rapidi, o scorciatoie dei comandi come ctrl+c e ctrl+v, sono pane quotidiano per chiunque abbia utilizzato applicazioni desktop. Queste scorciatoie risparmiano tempo eliminando la necessità di cercare tra i menu la funzione desiderata, ma sono utili solo se l’utente conosce già il comando appropriato. Il team di ricercatori ha sviluppato il concetto di ‘HotGestures’ per sostituire i tasti rapidi negli ambienti di realtà virtuale 3D.

Ad esempio, lo strumento delle forbici viene attivato con un movimento di taglio e il flacone spray con un movimento di spruzzo. L’utente può accedere direttamente alla funzione desiderata senza dover cercare nei menu o memorizzare scorciatoie da tastiera. Gli utenti possono passare rapidamente e facilmente tra gli strumenti senza interrompere ciò che stanno facendo per aprire un menu o premere un pulsante su un controller o una tastiera.

Lo studio ha sviluppato un sistema di riconoscimento dei gesti tramite una rete neurale che può identificare i gesti effettuando previsioni su un flusso di dati contenente le posizioni delle articolazioni della mano dell’utente. Il software è stato sviluppato per ricordare dieci azioni distinte legate alla creazione di modelli 3D, compreso l’utilizzo di una penna, un cubo, un cilindro, una sfera, una tavolozza, uno spray, un taglio, una scala, un duplicato e una cancellazione.

Il gruppo ha condotto due prove preliminari con 30 partecipanti che hanno utilizzato HotGestures, istruzioni di menu o entrambi. Il metodo basato sui gesti ha consentito un accesso rapido e facile agli strumenti utilizzati più frequentemente. HotGestures è stato ben accolto dai partecipanti per la sua unicità, velocità e facilità d’uso e perché integrava l’interazione basata su menu più tradizionale. I ricercatori hanno garantito che non ci fossero attivazioni accidentali progettando un sistema in grado di distinguere tra comandi e movimenti naturali delle mani. Nel complesso, il sistema basato sui gesti ha superato quello basato su menu in termini di velocità. I ricercatori hanno reso disponibili il dataset e il codice sorgente correlato in modo che gli sviluppatori di applicazioni VR possano includerli nelle loro attività.

“`