¿Y si una película pudiera hacernos sentir el viento, percibir aromas o notar vibraciones sincronizadas con la acción que vemos en pantalla? Aunque pueda parecer ciencia ficción, esta idea forma parte de un campo de investigación en plena expansión conocido como mulsemedia o multimedia multisensorial. Un reciente trabajo de personal investigador del Campus de Gandia de la Universitat Politècnica de València presenta, por un lado, una propuesta de arquitectura para para la distribución y consumo de contenidos audiovisuales enriquecidos con efectos sensoriales y, por otro, un simulador que facilita el desarrollo y la validación de este tipo de experiencias inmersivas sin disponer de equipamiento real.

El trabajo, que ha sido publicado en las revistas Journal of Network and Computer Applications (Ed. Elsevier), y Multimedia Systems (Ed. Springer), ha sido realizado por miembros del grupo de investigación Immersive Interactive Meda (IIM) R&D group del Campus de Gandia, cuyo responsable es Fernando Boronat, profesor del campus. En el primer artículo se presenta la propuesta de arquitectura para una plataforma basada en tecnología web y equipos de bajo coste, que incluye un simulador tridimensional, presentado en detalle en el segundo artículo, y permite recrear, evaluar o simular experiencias audiovisuales capaces de estimular varios sentidos más allá de la vista y el oído. El trabajo realizado constituye un paso importante para diseñar y validar experiencias multimedia multisensoriales.

Más allá del audio y el vídeo

Tradicionalmente, los sistemas multimedia han estado limitados a la reproducción de imágenes y sonido. Sin embargo, diversos estudios han demostrado que incorporar estímulos adicionales, como vibraciones, efectos de viento, cambios de temperatura, iluminación especial o incluso aromas, puede aumentar significativamente la sensación de inmersión y la calidad de experiencia percibida por las personas usuarias.

Esta visión multisensorial resulta especialmente interesante en ámbitos tan diversos como el entretenimiento, la educación, el turismo virtual, los videojuegos o las aplicaciones de realidad virtual y aumentada. El objetivo es que la persona que use este tipo de plataformas no solo observe una escena, sino que la experimente de una forma mucho más completa.

No obstante, diseñar y probar sistemas de este tipo presenta importantes dificultades. Para realizar experimentos reales es necesario disponer de infraestructura dedicada y de numerosos dispositivos físicos distribuidos alrededor del usuario: ventiladores, vibradores, generadores de aromas, sistemas de iluminación ambiental y otros equipos especializados. Esta infraestructura implica costes elevados y limita la flexibilidad durante las fases de desarrollo e investigación.

Un laboratorio virtual para el multimedia multisensorial

Con el fin de superar estas limitaciones, el equipo del Campus de Gandia, además de implementar un prototipo de plataforma demostrando la viabilidad de la arquitectura propuesta, también ha desarrollado e incluido en la misma un simulador 3D compatible con el estándar internacional MPEG-V, una norma que permite describir e incluir efectos sensoriales en aplicaciones multimedia, facilitando su sincronización con el contenido audiovisual.

Por tanto, la nueva plataforma integra tanto el control real de dispositivos capaces de generar sensaciones físicas durante la reproducción de contenidos audiovisuales como su simulación. Por un lado, permite reproducir contenido audiovisual mientras se experimentan en tiempo real los distintos efectos sensoriales asociados a dicho contenido que existan en el entorno físico alrededor del usuario. De esta manera, es posible coordinar efectos como viento, vibraciones, iluminación, cambios de temperatura, niebla, pulverización de agua o aromas sincronizados con el vídeo reproducido.

Por otro lado, el simulador va más allá, incluye una interface gráfica con elementos tridimensionales interactivos y permite comprobar cuándo se activan o desactivan dichos efectos y desde qué posición se generan alrededor del usuario sin necesidad de disponer de un sistema real implementado. El estándar MPEG-V contempla hasta 45 ubicaciones diferentes para la colocación de dispositivos sensoriales, todas ellas representadas en el simulador virtual. La simulación permite validar configuraciones, detectar errores de sincronización y estudiar el comportamiento de sistemas multisensoriales antes de realizar inversiones en hardware físico. Admite hasta nueve tipos diferentes de efectos sensoriales procedentes de cualquiera de las 45 posiciones espaciales definidas por el estándar, así como también incluye un módulo para gestionar dispositivos comerciales para generar dichos efectos en un entorno real.

La solución propuesta se basa en tecnologías web y dispositivos IoT de bajo coste, lo que facilita su despliegue en entornos domésticos o experimentales sin necesidad de equipamiento especializado. Además, mantiene la compatibilidad con el estándar internacional MPEG-V, garantizando la interoperabilidad entre contenidos, aplicaciones y dispositivos sensoriales.

Evaluación con usuarios reales

La plataforma fue evaluada por 40 personas usuarias, que confirmaron una correcta sincronización entre los efectos sensoriales y el contenido audiovisual. Los resultados mostraron que la incorporación de estos estímulos adicionales aumenta la sensación de inmersión, realismo y disfrute, mejorando significativamente la calidad de experiencia percibida. Asimismo, la interface gráfica obtuvo una valoración de usabilidad calificada como excelente según la escala SUS (System Usability Scale).

Estos avances consolidan al Campus de Gandia como uno de los grupos de referencia en el ámbito de la multimedia multisensorial o mulsemedia. La combinación de herramientas de simulación, plataformas abiertas y sistemas compatibles con estándares internacionales contribuye a acercar tecnologías que podrían formar parte de futuras aplicaciones de entretenimiento, formación, turismo virtual, realidad extendida y sistemas inmersivos de próxima generación.

Más información

Boronat, F., Sáez, C., Simó, L. & Pastor, J. (2026). Web-based MPEG-V standard-compliant platform for multimedia content consumption with multisensory effects. Journal of Network and Computer Applications, 253, 104515. https://doi.org/10.1016/j.jnca.2026.104515  

Boronat, F., Villashagñay, E., Simó, L., González, J. MPEG-V compliant 3D simulation tool for multimedia playback with sensory effects. Multimedia Systems 32, 468 (2026). https://doi.org/10.1007/s00530-026-02553-x