Sebbene i sistemi di intelligenza artificiale attuali eccellano in svariate attività, essi fanno ancora fatica in quelle che richiedono un livello più elevato di comprensione del contesto fisico. Ad esempio, nel campo delle lingue, questi modelli non consentono di tradurre in simultanea in ambienti problematici, quali spazi affollati, rumorosi e con più interlocutori. I sistemi tradizionali faticano a identificare chi sta parlando, mentre gli esseri umani individuano facilmente la persona giusta utilizzando segnali visivi e acustici, come la direzione dello sguardo, l'orientamento del viso, il volume della voce e la distanza. I sistemi di traduzione limitati all’audio funzionano male in questi contesti perché mancano di consapevolezza contestuale. DVPS, al contrario, combina input visivi, l'audio spaziale e il direzionamento degli interlocutori per identificare correttamente il parlante e fornire traduzioni più accurate.
Le potenziali applicazioni spaziano in diversi ambiti: nel campo linguistico, consentendo la traduzione in simultanea di un'ampia selezione di lingue, grazie alla comprensione del testo, del parlato, dei gesti e del contesto fisico; nella sanità, favorendo la diagnosi precoce dei rischi cardiovascolari con la creazione di un gemello digitale 3D del cuore generato dai sistemi di diagnostica per immagini; e per l'ambiente, rafforzando la risposta alle calamità attraverso la previsione delle inondazioni basata sui dati satellitari e dei droni, combinati con i segnali di osservazione in tempo reale.
L'iniziativa è guidata da Translated, che coordina la visione e la realizzazione del progetto.
Il team fondatore di DVPS è composto da 70 tra i migliori scienziati europei nel campo dell'IA, selezionati tra i seguenti partner:
- Ricerca: Università di Oxford, The Alan Turing Institute, École Polytechnique Fédérale de Lausanne, ETH Zurich, Imperial College London, Fondazione Bruno Kessler, Karlsruhe Institute of Technology, Universitat de Barcelona e Vlaamse Instelling voor Technologisch Onderzoek
- Partner specializzati verticalmente: Heidelberg University Hospital, Vall d'Hebron Institut de Recerca e Amsterdam University Medical Centers, Deepset, Sistema e MEEO, Lynkeus, Data Valley e Pi School of AI
- High-performance computing (addestramento dei modelli): Cyfronet, centro nazionale polacco per il calcolo ad alte prestazioni
