Interacción tangible

  • Eloi Maduell i García

    Ingeniero informático especialista en la creación audiovisual en directo. Desde hace más de 12 años explora e investiga las posibilidades de la creación digital en directo. Miembro fundador de la Asociación Cultural Telenoika, que desde hace más de 10 años dinamiza la escena audiovisual más independiente de nuestro país a través de sus actividades en el campo de las artes audiovisuales y las nuevas tecnologías de la comunicación. Con el equipo de Telenoika Mapping ha desarrollado proyectos de vídeo-mapping desde el año 2009. Coordinador del Festival de Audiovisuales y Nuevas Tecnologías: VideA, durante los años 2000, 2001 y 2002, uno de los festivales pioneros a nivel mundial en difundir explícitamente el trabajo de los Video-Jockeys más conocidos actualmente. Realizador de cortometrajes de creación audiovisual, como Telenoia (1998), Eco (2000) o Somni de Terra i Aigua (2003). Con el sobrenombre de 'pause vj' ha actuado en todo tipo de festivales de creación audiovisual por todo el territorio, a nivel nacional e internacional desde el año 2002 al año 2006. Ganó en el 2005 el Premio Vjology en Holanda. Director técnico del Festival VAD desde el año 2006, de cuya organización técnica se encarga actualmente y lleva la programación más experimental y joven. Desde hace unos años, imparte cursos y talleres de creación audiovisual en directo y vídeo-mapping en centros cívicos, instituciones, festivales, universidades y posgrados. Desarrollador dentro del colectivo Playmodes juntamente con Santiago Vilanova, con quien desarrolla aplicaciones interactivas enfocadas a la escena.

  • Santiago Vilanova Ángeles

    Formado como diseñador gráfico, alterna el desarrollo de proyectos artísticos basados en la programación de software, el diseño interactivo y la investigación sonora con su actividad como grafista e ilustrador. Miembro del colectivo Telenoika, ha participado como creativo en numerosos proyectos relacionados con el mapping audiovisual; la aplicación de tecnologías interactivas en el teatro con la compañía Playmodes; el reciclaje creativo de deshechos tecnológicos, como miembro de los Luthiers Drapaires; la robótica, la música experimental y la docencia en estos campos. Sus trabajos se han expuesto en salas de teatro, exposiciones y festivales como Sónar (2006 y 2009), Palau Euskalduna de Bilbao, Kunst Akademie de Berlín, Mapping Festival de Ginebra, Primavera Sound, CCCB, CaixaFòrum, Palau de la Música, Laboral, MIAC, Festival VAD o Mercat de les Flors, entre otros. Actualmente es profesor en distintas universidades catalanas en materias relacionadas con el diseño interactivo y la creatividad audiovisual. Parte de su trabajo se puede consultar en las siguientes direcciones: https://www.playmodes.com, https://www.telenoika.net/drapaires, https://vimeo.com/ox.

PID_00287694
Segunda edición: febrero 2022
© de esta edición, Fundació Universitat Oberta de Catalunya (FUOC)
Av. Tibidabo, 39-43, 08035 Barcelona
Autoría: Eloi Maduell i García, Santiago Vilanova Ángeles
Producción: FUOC
Todos los derechos reservados
Ninguna parte de esta publicación, incluido el diseño general y la cubierta, puede ser copiada, reproducida, almacenada o transmitida de ninguna forma, ni por ningún medio, sea este eléctrico, mecánico, óptico, grabación, fotocopia, o cualquier otro, sin la previa autorización escrita del titular de los derechos.

1.Introducción a la interacción tangible y al diseño de interacción

La explosión de la electrónica de consumo iniciada en los años cincuenta, que ha ido en progresión exponencial hasta hoy en día, ha inundado nuestras vidas de un gran número de aparatos electrónicos con numerosas funciones. Los primeros dispositivos electrónicos de consumo, como las radios o los televisores, ya incorporaban, de una manera u otra, interfaces de control mediante botones y potenciómetros que facilitaban a los usuarios el manejo de los aparatos.
La revolución digital iniciada en los años ochenta representa un paso más en la sofisticación y las posibilidades de estos artefactos electrónicos, que actualmente se han convertido en elementos imprescindibles de nuestras actividades cotidianas, tanto laborales como de ocio. El uso de productos digitales ha aumentado muy considerablemente en las dos últimas décadas, y ha llegado a ser generalizado entre la mayoría de la población. Más del 81 % de los hogares en España con al menos un miembro de 16 a 74 años dispone de algún tipo de ordenador (de sobremesa, portátil, tableta...) y más del 93 % de la población de 16 a 74 años ha usado Internet en los tres últimos meses, según la Encuesta sobre Equipamiento y Uso de Tecnologías de Información y Comunicación en los Hogares de noviembre de 2020.
La gran proliferación de ordenadores, videoconsolas, televisores, calculadoras, teléfonos móviles, teclados electrónicos, wearables, etc., y la creciente incorporación de funcionalidades a estos aparatos han obligado a los diseñadores y a los fabricantes a hacer estudios orientados a la usabilidad de los productos para facilitar a los usuarios la interacción con los dispositivos.
Human Computer Interaction
Fuente: Wikipedia (cc).
Fuente: Wikipedia (cc).
En este contexto emerge la disciplina del diseño de interacción, que tiene el objetivo de hacer más amigable el uso de los aparatos.
Hoy en día, con la extensa proliferación de aparatos digitales de última generación, como asistentes digitales personales o PDA, teléfonos inteligentes o smartphones y ordenadores portátiles, la aplicación de conceptos del diseño de interacción se hace imprescindible para cualquier fabricante de productos electrónicos digitales. Elementos como el ratón, el teclado o el mando a distancia surgen como respuesta a esta necesidad de usabilidad de los nuevos productos electrónicos y han pasado a ser de gran utilidad para los usuarios. El abaratamiento progresivo de la microelectrónica digital y los microprocesadores ha favorecido la generalización de tecnologías que solo hace unos años eran patrimonio de un grupo reducido de especialistas. Actualmente, dispositivos como las redes Ethernet, el Wi-Fi, las videocámaras o los sistemas de microfonía no solo son accesibles a casi todo el mundo, sino que además a menudo los encontramos integrados en los productos electrónicos, lo que permite el diseño de interacciones cada vez más sofisticadas. También es reseñable que los productos electrónicos cada vez abarcan más funcionalidades, a veces con la creación de dispositivos o aplicaciones que controlan o realizan nuevos procesos y otras sustituyendo a procesos manuales existentes.
Equipamiento TIC en los hogares. Porcentaje de hogares con algún miembro de 16 a 74 años
Fuente: Nota de prensa del Instituto Nacional de Estadística. Encuesta sobre Equipamiento y Uso de Tecnologías de Información y Comunicación en los Hogares. (ine.es) 16 de noviembre 2020.
Fuente: Nota de prensa del Instituto Nacional de Estadística. Encuesta sobre Equipamiento y Uso de Tecnologías de Información y Comunicación en los Hogares. (ine.es) 16 de noviembre 2020.
La crisis de la fabricación de microchips y del transporte de contenedores a nivel mundial derivados de la pandemia de COVID-19 en 2020 y 2021 está creando cierta tensión e incertidumbre en cuanto al abastecimiento de productos, así como repercutiendo en el aumento de precio para los consumidores finales en muchos productos tecnológicos. En cualquier caso, nada parece poder frenar la integración cada vez mayor de la electrónica en nuestras vidas. Dentro de no muchos años habrá países en los que ya no quedarán personas que no hayan crecido con dispositivos electrónicos avanzados a su alrededor.
Fuera de la esfera de los productos de mercado, en el campo de la experimentación artística con las nuevas tecnologías, se emplean estas técnicas de diseño interactivo para hacer partícipes a los espectadores, convirtiéndolos así en sujetos activos de la composición de las obras, más allá del paradigma de sujeto contemplativo. Es interesante fijarse en la proliferación actual de videoinstalaciones interactivas, arte sonoro participativo o arte en línea que usan de una manera u otra estas técnicas de diseño interactivo, invitando a los espectadores/usuarios a participar como sujetos activos de las propuestas artísticas.
Así pues, el diseño de interacción es la disciplina que define el comportamiento de los productos y los sistemas con los que interactúa el usuario.
Ciertos principios básicos de la psicología cognitiva ofrecen la base para el diseño de las interacciones, y en este contexto se desarrollan interacciones que obedecen a principios como los del mapa mental (asociación de conceptos) o la metáfora de la interfaz (como el escritorio). Los productos del diseño de interacción son típicamente desarrollados mediante análisis y pruebas con usuarios, y su diseño se evalúa en términos de usabilidad e influencia afectiva.
Hemos de tener presente en todo momento que la disciplina del diseño interactivo no es un fin en sí mismo, sino que debe ayudar a los usuarios a interactuar con un sistema determinado, y que, por lo tanto, tendría que reducir al mínimo su complejidad de uso, sin eliminar funcionalidades importantes. Es clave que entendamos que la interactividad por sí misma no tiene ningún valor si no ayuda a llevar a cabo acciones complejas de manera simple y eficaz.
A lo largo de este documento, repasaremos los distintos conceptos y las prácticas más habituales en el campo del diseño interactivo. Profundizaremos en nociones del ámbito del análisis de audio, la visión por ordenador, el diseño electrónico interactivo o la interactividad mediante ratón y teclado. Estos materiales os servirán para hacer un repaso fundamental y os permitirán tener una idea general de las posibilidades que ofrece este sector. La asignatura contiene otros materiales, como los casos de estudio Mosaic, los códigos de ejemplo con comentarios, las propuestas prácticas, los vídeos tutoriales, la galería de proyectos de interacción tangible y los enlaces externos de referencia. Por medio del análisis de casos reales, podremos ver cómo se orientan proyectos de diseño interactivo en la esfera del mercado, la práctica artística o el entorno industrial. El objetivo principal es que dispongáis de una visión lo bastante amplia y completa como para poder hacer propuestas críticas y coherentes en cada contexto y aprender a analizar las ya existentes.

2.Entrada (input) - proceso - salida (output)

Podríamos resumir el proceso de la interacción con la secuencia clásica (aplicable a todos los procesos de computación) entrada (input) - proceso - salida (output).
A grandes rasgos, cuando interactuamos con un sistema, lo hacemos introduciendo datos en este mediante periféricos de entrada (el ratón, el teclado, la palanca de control o joystick, cámaras, sensores...). Estos datos son procesados y analizados por el sistema de software en la CPU. Una vez analizados estos datos de entrada, el sistema interactivo responde provocando una acción determinada en algún periférico de salida (el monitor, la impresora, un videoproyector, los altavoces, las luces de un semáforo, un termostato, etc.).

3.Los módulos

Hemos estructurado esta documentación atendiendo a seis grandes bloques temáticos que consideramos fundamentales en el ámbito de la interacción tangible.
1) El primer módulo, "Teclados", hace referencia a las características, los usos y las potencialidades de las interfaces basadas en teclados alfanuméricos y musicales.
2) El segundo módulo, "Dispositivos apuntadores", analiza toda una serie de dispositivos físicos que nos permiten obtener datos de posicionamiento en el plano bidimensional, como por ejemplo el ratón, la palanca de control o los mandos de juego o gamepads. Se incluyen también en este módulo referencias a pantallas táctiles y multitáctiles.
3) El tercer módulo, "Análisis de audio", se centra en toda una serie de conceptos teóricos y de recursos técnicos que nos permitirán afrontar el diseño de interacciones basadas en el reconocimiento de características sonoras como la amplitud o la frecuencia.
4) El cuarto módulo, "Dispositivos electrónicos", es un compendio de conceptos teóricos relacionados con el prototipado de dispositivos electrónicos interactivos. Tomando la plataforma Arduino como punto de partida, se revisan una serie de componentes electrónicos (sensores y actuadores) imprescindibles de cara al diseño de interacciones.
5) El quinto módulo, "Visión artificial", ofrece la base conceptual y analiza las distintas técnicas más habituales en el contexto del diseño de interacciones basadas en la visión artificial.
6) El sexto módulo, "Comunicación y tratamiento de datos", a modo de anexo, ofrece algunos recursos referentes a redes y protocolos de comunicación, y varios procedimientos matemáticos habituales en el tratamiento de datos.

4.Objetivos

El objetivo fundamental de este material es ofrecer una base de conocimientos para que podáis desarrollar vuestros propios diseños interactivos atendiendo a principios como la funcionalidad, la usabilidad y la ergonomía. A pesar de que hemos pretendido hacer un análisis exhaustivo de cada una de las áreas de conocimiento de las que tratan los módulos, no hemos querido olvidar el aspecto inherentemente creativo del diseño de interactividad, y mediante reflexiones a lo largo de todos los módulos os invitamos a repensar los usos de cada uno de los dispositivos orientados a la interacción que se presentan en la documentación de la asignatura.
La meta final de la asignatura Interacción tangible que cursáis es estimular la capacidad para innovar y generar nuevas ideas y que, al final del proceso, seáis capaces de desarrollar pequeños sistemas digitales en los que el componente físico es muy importante. Así, nos acercaremos al trabajo con sensores, servos, motores, pantallas LCD, etc. para crear proyectos de interacción tangible. A la vez la asignatura busca formar al estudiante en el desarrollo de un proyecto propio con una metodología de trabajo basada en el design thinking que potencia la fase de análisis y estudio de un problema para proponer una solución creativa.
Arduino y los sistemas de open hardware son esenciales en el entorno tecnológico actual, cada vez tienen más peso en el desarrollo de nuevos sistemas digitales, como en el caso del Internet de las cosas y en proyectos relacionados con la transformación smart del entorno (open data + open hardware).
Además, la asignatura abre sus límites no solo a la creación de sistemas útiles –en el sentido estricto del término– sino también artísticos y creativos. Se ofrece al estudiante explorar diferentes caminos para la experimentación y el aprendizaje con Arduino y también con el potencial de Processing para el control, visualización y gestión de datos, apoyándonos en los módulos de teclados, dispositivos apuntadores, análisis de audio, dispositivos electrónicos y visión por computadora. La interacción tangible es un ecosistema en evolución que ha ido incorporando novedades técnicas a lo largo del tiempo. Con el paso de los años se podrán aplicar los conocimientos y capacidades básicas adquiridas en la asignatura en proyectos con tecnologías, dispositivos y técnicas novedosas para prototipar nuevos conceptos.

5.Entornos de programación interactiva

Para afrontar la praxis del diseño interactivo, usaremos herramientas libres (Open Source) de programación interactiva, y también entornos de hardware libres (plataforma Arduino).
Estas herramientas permiten el prototipado rápido de diseños interactivos y en la mayoría de casos no requieren grandes conocimientos previos del área de la informática, la programación o la electrónica. Incluso existen plataformas de diseño interactivo enfocadas a los niños.
Un ejemplo destacable es Scratch, que cuenta con una comunidad de aproximadamente 80 millones de usuarios y alrededor de 88 millones de proyectos compartidos. La mayoría de los usuarios están en la franja de 4 a 18 años, pero existen una cantidad reseñable de perfiles con edades mayores que hacen uso de las herramientas de la plataforma para crear y compartir proyectos.
Todo este tipo de herramientas de programación y hardware libre están orientadas mayoritariamente al diseño de interfaces interactivas para el contexto artístico o experimental, puesto que no cumplen todos los estándares de fiabilidad y robustez que pide un contexto de fabricación industrial.
El diseño interactivo implica, en la mayoría de proyectos, la realización de una serie de prototipos de las interfaces para probar su usabilidad antes de que sean desarrollados de manera definitiva mediante sistemas profesionales.
Hay un gran número de herramientas de programación de diseño interactivo que permiten prototipar interfaces y sistemas complejos con relativa simplicidad. Vale la pena distinguir dos grandes familias de software en función del sistema de programación.
1) Herramientas de prototipado mediante código
Estas herramientas, entre las que podemos destacar Processing, openFrameworks o el entorno de desarrollo de software de Arduino, permiten prototipar las distintas funcionalidades del software con la programación mediante el código simplificado de lenguajes como Java, C o C++.
Habitualmente, se trata de sistemas que permiten acabados más robustos y fiables, a pesar de que requieren ciertos conocimientos previos de programación informática o una buena disposición a su aprendizaje.
2) Herramientas de prototipado mediante programación diagramática
El sistema diagramático, en un principio orientado a usuarios no iniciados en el mundo de la programación de software, se dirige a perfiles más cercanos a los músicos, los diseñadores o los artistas. Estas herramientas permiten el prototipado de sistemas interactivos mediante la conexión de objetos gráficos que llevan a cabo distintas operaciones, y ofrecen un tipo de programación muy similar a los diagramas de flujo.
Dentro de esta familia, vale la pena destacar entornos como Pure Data, Max MSP o Quartz Composer. Su uso es muy popular en entornos de creación artística, puesto que son muy efectivos, y están orientados al diseño de aplicaciones relacionadas con el arte sonoro, las videoinstalaciones y el arte mediático en general.
Fuente: flossmanuals (cc)
Fuente: flossmanuals (cc)

6.Conclusiones

Así pues, como hemos visto, en esta primera síntesis fundamentaremos la teoría y la práctica del diseño de interacción en un conjunto de materiales, teóricos y prácticos, basados en el uso de herramientas de software y hardware libre, atendiendo siempre a los principios de usabilidad, ergonomía y búsqueda creativa.
Esperamos que, con el objetivo de llevar a cabo vuestros propios proyectos de diseño interactivo, os sean de utilidad los materiales que a continuación os presentamos.

Bibliografía

Bibliografía y recursos específicos
A pesar de que a lo largo de los módulos siguientes trataremos de hacer una introducción exhaustiva a los diferentes usos y técnicas relacionados con el diseño de interacción, recomendamos que uséis como material complementario los recursos en línea que especificamos a continuación:
Tom Igoe, recursos sobre computación física: https://tigoe.com/
Arduino Playground: https://playground.arduino.cc/
Tutoriales Processing: https://processing.org/learning/
Recursos en línea sobre conceptos relacionados con el diseño de interacción: https://www.interaction-design.org/
Recomendamos también la lectura de los libros y los manuales de referencia siguientes:
The Art of Interactive Design. Chris Crawford, 2002 No Starch Press
Algunas de las diferentes definiciones a lo largo de los módulos están extraídas directamente o readaptadas de Wikipedia (licencias GFDL y CC BY-SA para todos sus textos).