Making tabletops useful with applications, frameworks and multi-tasking

La aparicion progresiva de tecnologia y dispositivos Tabletop baratos urge a la comunidad de investigacion en interaccion persona-ordenador a proveer los metodos necesarios para transformar estos dispositivos en herramientas realmente utiles para los usuarios. Varios estudios indican que los Tabletops tienen algunas caracteristicas peculiares que pueden ser especialmente utiles para solucionar algun tipo de problemas, pero sin embargo parece que su potencial no llega todavia a transformarse en aplicaciones reales. Creemos que los componentes importantes para transformar estos sistemas en herramientas utiles son frameworks de aplicacion que tengan en cuenta las capacidades de los dispositivos, un ecosistema de aplicaciones hechas por desarrolladores independientes, y sistemas multi-aplicacion con soporte para multitarea concurrente. En esta tesis doctoral nos aproximamos a estos componentes clave: En primer lugar, exploramos las capacidades de los Tabletops, mediante dos aplicaciones desarrolladas para tal objetivo: TurTan, un lenguaje de programacion tangible en el contexto educativo, y SongExplorer, un navegador de colecciones musicales para grandes bases de datos mediante mapags generados a partir del analisis sonoro. Ambas aproximaciones demuestran que es posible explotar esas capacidades para crear ambientes explorativos que ayudan a completar tareas creativas de forma holgada. A continuacion, con animo de abordar la complejidad a la hora de crear este tipo de aplicaciones de tal manera que usen estas capacidades, de nos centramos en los frameworks de software para apoyar en el proceso de creacion de aplicaciones Tabletop, con dos aproximaciones diferentes: ofxTableGestures, dirigido a programadores, y MTCF, disenado para artistas musicales y de sonido. Estos son evaluados en un contexto academico, donde alumnos de cursos de informatica y sonido los usan, que demuestra que la calidad y complejidad de los trabajos realizados efectivamente depende de estas herramientas. Por ultimo, reconociendo que crear aplicaciones utiles es solo parte del problema, nos centramos en una cuestion fundamental de los sistemas multi-aplicacion: la dificultad de aceptar la interaccion multitarea de forma concurrente y multi-usuario con aplicaciones externas. Despues de analizar las posibles aproximaciones, presentamos GestureAgents, un mecanismo (y su implementacion correspondiente) de desambiguacion basado en el contenido, distribuido y centrado en las aplicaciones, que soluciona este problema de una forma generica, convirtiendose util tambien para otras interfaces compartibles, incluidas las desacopladas. La base de GestureAgents es definir el "gesto" como una secuencia de eventos generados por un "agente", en un contexto donde multiples "agentes" pueden existir simultaneamnte. Para garantizar que un mismo agente no es compartido por dos gestos al mismo tiempo, estos compiten por su exclusividad. Esto nos permite evitar la ambiguedad de la interpretacion de los eventos. Los experimentos realizados nos confirman que este metodo permite la interaccions de varias personas de forma simultanea con varias aplicaciones independientes en dispositivos compartidos, como los Tabletops. Fitzmaurice George W, Ishii Hiroshi, Buxton William AS (1995) Bricks: laying the foundations for graspable user interfaces. Proc. SIGCHI Conf. Hum. factors Comput. Syst. - CHI ?95. Denver, Colorado, USA. ACM Press/Addison-Wesley Publishing Co., pp. 442?449. Ishii Hiroshi, Ullmer Brygg (1997) Tangible bits: towards seamless interfaces between people, bits and atoms. Conference on Human Factors in Computing Systems, pp. 234. Izadi Shahram, Brignull Harry, Rodden Tom, et al (2003) Dynamo: a public interactive surface supporting the cooperative sharing and exchange of media. Proc. 16th Annu. ACM Symp. User interface Softw. Technol. UIST?03. Vancouver, BC, Canada. pp. 159?168. Jorda Sergi, Geiger Gunter, Alonso Marcos, Kaltenbrunner Martin (2007) The reacTable: exploring the synergy between live music performance and tabletop tangible interfaces. Proc. 1st Int. Conf. Tangible Embed. Interact. ACM, pp. 139?146. Shaer Orit, Hornecker Eva (2010) Tangible User Interfaces: Past, Present, and Future Directions. Foundations and Trends in Human-Computer Interaction, vol. 3, no. 1-2, pp. 1?137. Kammer Dietrich, Freitag Georg, Keck Mandy, Wacker Markus (2010) Taxonomy and Overview of Multi-touch Frameworks: Architecture, Scope and Features. Work. Eng. Patterns Multitouch Interfaces