Diseño de hardware y firmware: Riley García
Diseño del software de análisis de la señal y Speech Recognition: Jorge Marcos García
(Proyecto en fase de desarrollo)
Descripción:
Robótica interactiva y/o standalone
Cuatro brazos robóticos antropomórficos desarrollan un repertorio ilimitado de gestos a partir del análisis de conversaciones grabadas o mantenidas en directo en la performance-diálogo «Solo habla», proyecto complementario del presente.
Los brazos mueven sus articulaciones (flexión y torsión de hombro, codo, muñeca y dedos) incluyendo desde gestos reconocidos universalmente como señalar, saludar, indicar acuerdo o desacuerdo, etc, hasta golpes sobre la superficie de apoyo.
Los datos de «Solo habla» son de dos tipos: continuos y discretos.
Los continuos se extraen de mediciones de las señales de los dos hablantes: evoluciones de la altura y de la intensidad del sonido, detección de patrones en los tiempos de espera y de respuesta, uso de las entonaciones, frecuencias de interrupción recíproca, comparaciones entre la ocupación temporal del habla de cada participante, etc. Esos datos definen la actividad y la calidad de los movimientos del brazo, desde la velocidad hasta la cantidad de rotación de cada una de las articulaciones.
Los discretos recogen hitos, como interrupciones, subidas puntuales de la intensidad o la altura, e identifican y recogen palabras concretas, produciendo un salto cualitativo en el sistema de análisis: pasa de observar el comportamiento de la señal, ciego desde el punto de vista del significado, al significado mismo de las palabras. Esas palabras se transforman en lo que hemos denominado escenas estáticas, comportamientos predefinidos de los brazos, que funcionarían como una especie de lengua de signos, pero exenta de la intención de crear un código compartido, ni de sustituir al lenguaje, por lo que difiere de aquella en su intención comunicativa. Las palabras identificadas finalmente también influyen en la calidad del movimiento detectada en el anterior sistema de análisis.
Gracias a las Ayudas a la creación de artes visuales de la Comunidad de Madrid, en la actualidad han sido completados la mano y el antebrazo de dos brazos robóticos.
Toda la documentación técnica sobre el proyecto aquí:
https://github.com/ex-arte-electronico-y-experimental/high-torque-servo-arm
Brazo robótico a partir de InMoov de Gael_Langevin
Published on February 18, 2012
www.thingiverse.com/thing:17773
Concepto:
La obra responde al intento de restituir la violencia alojada en la palabra a través de un dispositivo mediador: el robot, que encarna algunas de las contradicciones más relevantes del programa ilustrado: la necesidad de someter lo que queda fuera de su proyecto, y la promesa de liberar a la sociedad de su servidumbre. Esa doble vertiente también define el hallazgo técnico. En palabras de J. L. Brea:
«La naturaleza revolucionaria de la técnica no asegura su carácter liberador, su virtualidad emancipatoria. Todo lo contrario: la ambivalencia del hallazgo técnico, determinando simultáneamente siempre una posibilidad emancipatoria y otra despotizadora –es irrevocable.»
«Llegar a las manos», el título del proyecto, hace referencia a la expresión coloquial por la que el lenguaje es incapaz de contener la violencia que pretende disipar y el enfrentamiento entre dos hablantes deriva en violencia física. La conversión del habla a movimientos de un brazo robótico no se plantea como un problema de traducción, pues la intención del proyecto no es convertir una realidad en otra, sino limitar, violentar y extraer aspectos del habla y extrañarlos en otro medio, lo que convierte al proyecto en cómplice y partícipe de la violencia sobre la que reflexiona.
La voz se convierte entonces en mano, y los intentos del lenguaje por designar, asir y limitar el mundo, se convierten en los intentos de una mano robótica por hacerle lo propio al lenguaje.
El proyecto, en fase de desarrollo, incorpora progresivamente diferentes elementos del lenguaje, añadiendo en cada ocasión comportamientos específicos y diferenciados para los brazos y las manos.
Los pronombres y, de forma muy destacada, los pronombres personales son un buen ejemplo del tipo de elemento extraído e identificado por el dispositivo. Los pronombres son una forma de traer el cuerpo al discurso, de personificar la sombra de una amenaza que actúa como regulador de posibles violencias. Su función deíctica, señaladora, apunta sin duda al cuerpo.
Dos visiones han servido como referencia a la hora de definir el comportamiento del sistema en relación a los pronombres:
la aversión a los pronombres expresada por Carlo Emilio Gadda en «La cognizione del dolore»
“¡Ah! el yo, yo… ¡El más asqueroso de todos los pronombres! (…) ¡Los pronombres! Son los piojos del pensamiento. Cuando el pensamiento tiene piojos, se rasca, como todo el que tiene piojos… y en las uñas, entonces… encuentra los pronombres, los pronombres personales…”
y la función deíctica señalada por Alberto Villegas en su libro “Arquitectura de la persona. Pronombre, persona y deixis”. Villegas pone en relación el uso de los pronombres, con la delimitación de nuestro espacio en el momento de la enunciación, y plantea el yo como el núcleo a partir del cual se ordena todo el espacio. Como también propone Bühler y su sistema aquí-ahora-yo, la función deíctica del lenguaje y de los pronombres cercan un territorio, delimitan un campo de batalla que defender y desde el que atacar las posiciones del contrario.
Ambos autores comparten la capacidad de los pronombres personales para ocupar un lugar central en la intersección lenguaje-cuerpo-mundo, lo que les hace portadores de violencias enterradas en el lenguaje a través de cuerpos ausentes pero firmemente invocados .
[Coming to blows, the Spanish saying implies to stop using words and resort to using one’s hands]
(Work in progress)
Description:
Interactive and/or standalone robotic arms.
Data coming from the conversations taking place in Solo Habla, be it live or in its pre-recorded version, are picked up by a device driving at least four robotic arms, which stand on horizontal platforms. Currently, two of the four robots have been completed. A chair is placed in front of each robot arm for the audience to take a seat if they so wish. The arms’ range of movement and height enable them to reach the body of whoever sits in front. Given their rotation speed, their potential impact on the person would be light as well as easy to dodge. The robots move their various joints and fingers in response to the analysed data from participants’ speech. These movements range from universally recognisable gestures – such as pointing, greeting, thumbs-up (agreement), thumbs-down (disagreement), etc – to slamming the platform that they are placed upon.
Two types of data are extracted from Solo Habla: continuous and discrete.
Continuous data describe the evolution of pitch and loudness of participants’ speech, temporal patterns from silence and talking times of each, interruption rate, and comparisons between speakers’ total time occupied by their speech. These data determine the amount of activity and the trajectories of the arms, from their speed to the rotation of their joints.
Discrete data consist of event-based signals, such as interruptions, unusually high loudness or pitch values, and the recognition of specific words, bringing the analysis system to a halt: it stops blindly (from the point of view of meaning) observing the signals and suddenly becomes attentive to the meaning of words. These recognised words are mapped to what we have decided to call ‘static scenes’: predefined sequences of arm movements, which can be understood as a sort of sign language but are, from the viewpoint of communication, different from it in that they do not intend to create a shared code nor to substitute existing language. Specific identified words will also affect the type of movement dictated by the continuous system of analysis described above.
Technical documentation here:
https://github.com/ex-arte-electronico-y-experimental/high-torque-servo-arm
Concept:
The piece offers a solution to the attempted restitution of violence in speech, in this case through the robot as a mediating device. As we have pointed out, robots embody the oppositions of the present project: the desire to subdue that which espapes one’s control –from nature to the “other”–, and the promise to free society from servitude. Such dual aspect is a defining characteristic of technological breakthrough, and constitutes much of the foundations of Media Art in general, and of our proposal in particular. As stated by J. L. Brea:
“The revolutionary nature of technology does not ensure its liberating aspirations, its emancipatory virtuality. On the contrary, the ambivalence of technological breakthrough, – simultaneously establishing emancipatory as well as tyrannical possibilities – is irreversible. «
The title of the piece refers to a colloquial expression which contends that language is unable to hold the violence it is intended to dispel, and conflict between two speakers leads to physical violence. Converting speech into robotic arm movement has not been considered as an issue of translation or mapping, since the project does not aim to morph one reality into another but instead aims to limit, force and extract aspects from speech and display them in a different medium, which means the project itself assists and participates in the violence it intends to reflect upon. Thus a voice becomes a hand, and the attempts of language at describing, grasping and therefore delimiting the world, change target when a robotic hand attempts to do the same on language itself.
Pronouns and, more predominantly, personal pronouns are a good example of the kinds of words detected by the analysis device. According to our reasoning, pronouns constitute a way of invoking one’s body in speech, a way to personify the shadow of a threat that regulates potential violence. Their deictic, indicative function undoubtedly points to one’s body.
Alberto Villegas comments on this function of pronouns in his book Arquitectura de la persona: Pronombre, persona y deixis [Architecture of personhood: Pronouns, personhood, and deixis”. The author links the use of pronouns with demarcating our space upon their pronunciation, and poses the self as the core of spoken speech from where to order our surroundings. As with Bühler, and his ‘here-now-I’ system, the deictic function of language and pronouns demarcates a space, a battlefield for defending from and attacking their rival’s positions.
Gadda pays similar attention to personal pronouns, this time from a position of rejection:
“Oh! I, I… The filthiest of all pronouns! (…) Pronouns! They are the lice of thought. When a thought has lice, it scratches, like anyone who has lice… and in your fingernails, then… you find pronouns: personal pronouns…”¡.
Both authors agree, however, that personal pronouns have an ability to assume a central role in the language-body-world intersection, which is of interest to us in that they carry with them the violence buried within speech.