I si una pel·lícula poguera fer-nos sentir el vent, percebre aromes o notar vibracions sincronitzades amb l’acció que veiem en pantalla? Encara que puga semblar ciència-ficció, aquesta idea forma part d’un camp d’investigació en plena expansió conegut com a mulsemedia o multimèdia multisensorial. Un recent treball de personal investigador del Campus de Gandia de la Universitat Politècnica de València presenta, d’una banda, una proposta d’arquitectura per a la distribució i consum de continguts audiovisuals enriquits amb efectes sensorials i, per un altre, un simulador que facilita el desenvolupament i la validació d’aquesta mena d’experiències immersives sense disposar d’equipament real.

El treball, que ha estat publicat en les revistes Journal of Network and Computer Applications (Ed. Elsevier), y Multimedia Systems (Ed. Springer), ha sigut realitzat per membres del grup d’investigació Immersive Interactive Meda (IIM) R&D group del Campus de Gandia, el responsable del qual és Fernando Boronat, professor del campus. En el primer article es presenta la proposta d’arquitectura per a una plataforma basada en tecnologia web i equips de baix cost, que inclou un simulador tridimensional, presentat detalladament en el segon article, i permet recrear, avaluar o simular experiències audiovisuals capaces d’estimular diversos sentits més enllà de la vista i l’oïda. El treball realitzat constitueix un pas important per a dissenyar i validar experiències multimèdia multisensorials.

Més enllà de l’àudio i el vídeo

Tradicionalment, els sistemes multimèdia han estat limitats a la reproducció d’imatges i so. No obstant això, diversos estudis han demostrat que incorporar estímuls addicionals, com vibracions, efectes de vent, canvis de temperatura, il·luminació especial o fins i tot aromes, pot augmentar significativament la sensació d’immersió i la qualitat d’experiència percebuda per les persones usuàries.

Aquesta visió multisensorial resulta especialment interessant en àmbits tan diversos com l’entreteniment, l’educació, el turisme virtual, els videojocs o les aplicacions de realitat virtual i augmentada. L’objectiu és que la persona que use aquest tipus de plataformes no sols observe una escena, sinó que l’experimente d’una forma molt més completa.

No obstant això, dissenyar i provar sistemes d’aquest tipus presenta importants dificultats. Per a realitzar experiments reals és necessari disposar d’infraestructura dedicada i de nombrosos dispositius físics distribuïts al voltant de l’usuari: ventiladors, vibradors, generadors d’aromes, sistemes d’il·luminació ambiental i altres equips especialitzats. Aquesta infraestructura implica costos elevats i limita la flexibilitat durant les fases de desenvolupament i investigació.

Un laboratori virtual per al multimedia multisensorial

Amb la finalitat de superar aquestes limitacions, l’equip del Campus de Gandia, a més d’implementar un prototip de plataforma demostrant la viabilitat de l’arquitectura proposada, també ha desenvolupat i ha inclòs, en aquesta plataforma, un simulador 3D compatible amb l’estàndard internacional MPEG-V, una norma que permet descriure i incloure efectes sensorials en aplicacions multimèdia, facilitant la seua sincronització amb el contingut audiovisual.

Per tant, la nova plataforma integra tant el control real de dispositius capaços de generar sensacions físiques durant la reproducció de continguts audiovisuals com la seua simulació. D’una banda, permet reproduir contingut audiovisual mentre s’experimenten en temps real els diferents efectes sensorials associats a aquest contingut que existisquen en l’entorn físic al voltant de l’usuari. D’aquesta manera, és possible coordinar efectes com el vent, vibracions, il·luminació, canvis de temperatura, boira, polvorització d’aigua o aromes sincronitzades amb el vídeo reproduït.

D’altra banda, el simulador va més enllà, inclou una interfície gràfica amb elements tridimensionals interactius i permet comprovar quan s’activen o desactiven aquests efectes i des de quina posició es generen al voltant de l’usuari sense necessitat de disposar d’un sistema real implementat. L’estàndard MPEG-V contempla fins a 45 ubicacions diferents per a la col·locació de dispositius sensorials, totes elles representades en el simulador virtual. La simulació permet validar configuracions, detectar errors de sincronització i estudiar el comportament de sistemes multisensorials abans de realitzar inversions en maquinari físic. Admet fins a nou tipus diferents d’efectes sensorials procedents de qualsevol de les 45 posicions espacials definides per l’estàndard, així com també inclou un mòdul per a gestionar dispositius comercials per a generar aquests efectes en un entorn real.

La solució proposada es basa en tecnologies web i dispositius IoT de baix cost, la qual cosa facilita el seu desplegament en entorns domèstics o experimentals sense necessitat d’equipament especialitzat. A més, manté la compatibilitat amb l’estàndard internacional MPEG-V, garantint la interoperabilitat entre continguts, aplicacions i dispositius sensorials.

Avaluació amb usuaris reals

La plataforma va ser avaluada per 40 persones usuàries, que van confirmar una correcta sincronització entre els efectes sensorials i el contingut audiovisual. Els resultats van mostrar que la incorporació d’aquests estímuls addicionals augmenta la sensació d’immersió, realisme i gaudi, millorant significativament la qualitat d’experiència percebuda. Així mateix, la interfície gràfica va obtenir una valoració d’usabilitat qualificada com a excel·lent segons l’escala LES SEUES (System Usability Scale).

Aquests avanços consoliden al Campus de Gandia com un dels grups de referència en l’àmbit de la multimèdia multisensorial o mulsemedia. La combinació d’eines de simulació, plataformes obertes i sistemes compatibles amb estàndards internacionals contribueix a acostar tecnologies que podrien formar part de futures aplicacions d’entreteniment, formació, turisme virtual, realitat estesa i sistemes immersius de pròxima generació.

Més informació

Boronat, F., Sáez, C., Simó, L. & Pastor, J. (2026). Web-based MPEG-V standard-compliant platform for multimedia content consumption with multisensory effects. Journal of Network and Computer Applications, 253, 104515. https://doi.org/10.1016/j.jnca.2026.104515 

Boronat, F., Villashagñay, E., Simó, L., González, J. MPEG-V compliant 3D simulation tool for multimedia playback with sensory effects. Multimedia Systems 32, 468 (2026). https://doi.org/10.1007/s00530-026-02553-x