Fiche individuelle

Synchronization of audio-tactile stimuli represents a key feature of multisensory interactions. However, information on stimuli synchronization remains scarce, especially with virtual buttons. This work used a click sensation produced with traveling waves and auditory stimulus (a bip-like sound) related to a virtual click for a psychological experiment. Participants accomplish a click gesture and judge if the two stimuli were synchronous or asynchronous. Delay injection was performed on the audio (haptic first) or the click (audio first). In both sessions, one stimulus follows the other with a delay ranging from 0−700ms . We use weighted and transformed 3-up/1-down staircase procedures to estimate people's sensitivity. We found a threshold of 179ms and 451ms for the auditory first and haptic first conditions, respectively. Statistical analysis revealed a significant effect between the two stimuli' order for threshold. Participants' acceptable asynchrony decreased when the delay was on the haptic rather than on the audio. This effect could be due to the natural experience in which the stimuli tend to be first tactile and then sonorous rather than the other way around. Our findings will help designers to create multimodal virtual buttons by managing audio-tactile temporal synchronization.

While much research has been conducted on multisensory interactions in passive touch, research on how active touch influences how the senses interact remains scarce. Using a haptic surface based on ultrasonic vibrations, we investigated the perception of synchronization of audio-tactile stimuli in active touch. Tactile stimuli were delivered upon sliding the finger, and auditory stimuli followed with a delay ranging from 0-700 ms. In this simultaneity judgment task, two visual conditions were employed: (i) a visual cue showing the location of the active zone on the screen; (ii) a black picture on the screen. We also consider two sliding directions: (i) right-to-left (RTL); (ii) left-to-right (LTR). We estimated the psychometric function (threshold and slope) of the ability to judge whether the auditory and tactile stimuli were temporally synchronous. We found a threshold of 201.26 and 211.73 ms for LTR and 233.3 and 207.23 ms for RTL with and without visual cues, respectively. We translated temporal delays into distances (mm) using the finger sliding velocity measured for each trial. The results indicate that the simultaneity judgment was independent of sliding velocity. Our results provide insights into participants’ sensitivity in perceiving simultaneous audio-tactile feedback generated during active touch exploration.

La recherche a montré que l’interaction avec les surfaces peut bénéficier de l’ajout de retour haptique. La perception de cette retour haptique est influencée par d’autres modalités, telles que visuelles et auditives, ce qui permet de le renforcer ou de l’enrichir. Cependant, l’effet des textures 3D dans la réalité augmentée (AR), comme le rendu stéréoscopique et la déformation de surface, sur la perception tactile des textures n’a pas encore été étudié, en particulier dans une condition tactile active. Dans cet article, nous étudions l’interaction perceptuelle entre la stéréoscopie, la déformation de surface et la retour haptique dans un état actif. La retour haptique a été mise en oeuvre en utilisant une modulation par friction basée sur des vibrations à ultrasons, tandis que la retour visuelle a été implémentée avec une paire de lunettes 3D en AR. L’étude expérimentale est une exploration visuelle-tactile d’une texture virtuelle. Notre objectif est de comprendre l’interaction d’une modalité sur l’autre pour la rugosité et la perception de la profondeur. Nous avons demandé aux participants de porter des jugements de rugosité de texture visuelle et tactile et d’estimer la profondeur de la déformation de la texture sous leurs doigts. Nos résultats suggèrent que : 1) la rugosité tactile perçue peut être modifiée en ajoutant un rendu stéréoscopique et / ou une déformation de surface visuelle mais uniquement pour les textures tactiles lisses. 2) La rugosité visuelle perçue peut être modifiée en augmentant la rugosité tactile. 3) La rugosité globale (visuel + tactile) est principalement impactée par la perception tactile.

Research has shown that interaction with tactile surfaces can benefit from the addition of haptic feedback. The perception of this feedback is influenced by other modalities, visual and auditory, making it possible to reinforce or enrich it. However, the effect of visual depth cues, such as stereoscopic rendering and surface deformation, on the tactile perception of textures has not been studied yet, especially in an active touch condition. In this paper, we investigate the perceptual interaction between stereoscopy, surface deformation, and haptic feedback in the condition of active touch implemented using friction modulation based on ultrasonic vibrations. The experimental study is based on a Visual-Tactile exploration of a virtual texture. Our objective is to understand the interaction of one modality over the other for roughness and depth perception. Participants were asked to make visual and tactile texture roughness judgments and to estimate the depth of deformation of the texture below their fingers. Our results suggest that: 1) perceived tactile roughness can be modified by adding stereoscopic rendering and/or visual surface deformation but only for smooth tactile textures, 2) perceived visual roughness can be modified by increasing the tactile roughness, 3)the overall roughness (Visual + Tactile) is mainly impacted by the tactile perception.

Active touch (AT) is defined as the action of touching, implying voluntary, self-generated movement. While much research has been conducted on multisensory interactions in passive touch, research on how AT influences how the senses interact remains scarce. Using a haptic surface (HS) based on ultrasonic vibrations, we investigated the perception of synchronization of audio-tactile stimuli in AT. Tactile stimuli were delivered upon sliding the finger over the tactile zone of the HS. Auditory stimuli (a white noise burst) followed the tactile stimuli with a delay ranging from 0 to 700 ms. Participants reported whether the two stimuli were perceived as coinciding in time or not. Two conditions were employed for the discrimination task: (i) either with a visual clue showing the location of the tactile zone on the screen; (ii) or with a black screen below the HS. Time delays (ms) between the tactile-auditory inputs were converted in displacement (mm), depending on the sliding velocity of the participant’s finger across the HS, to calculate spatial distances at which the two stimuli were perceived as coinciding or not with the same probability. The average distance was 5.87mm with visual cues and 5.63mm without a visual cue. No significant difference was found between the two visual conditions suggesting performance is not affected by the presence of a visual cue regarding the location of the tactile stimulus. Our results provide insights into the sensitivity of participants in perceiving spatiotemporal differences between tactileauditory stimuli generated during AT exploration.

La question de l'introduction d'un retour haptique multimodal dans les produits de consommation devient aujourd'hui cruciale, avec l'avènement d'une société de plus en plus tournée vers les solutions numériques. Les smartphones et tablettes, qui reposent entièrement sur des écrans tactiles pour l'interaction avec l'utilisateur, sont désormais couramment utilisé pour accéder à Internet et, par exemple, interagir avec l'administration (34% des Européens). Étant donné que ces appareils sont rentables, la croissance future repose principalement sur les applications et le développement de logiciels qui peuvent être réalisés dans le divertissement, l'éducation et la formation technique. Cette conclusion est vraie dans le secteur de la RV en pleine expansion. Paradoxalement, les appareils sont désormais accessibles à plus de personnes, mais un segment de la population est exclu des développements numériques: les personnes âgées qui ont du mal à utiliser les écrans tactiles, et les personnes ayant une déficience visuelle ou auditive. En effet, les ordinateurs et autres appareils fournissent des informations aux utilisateurs presque exclusivement grâce à un retour visuel et auditif. Description de l'emploi: Effectuer de nouvelles recherches sous la supervision de membres du personnel académique et d'un conseiller industriel dans la conception de dispositifs permettant un retour haptique multimodal, Collaborer avec un partenaire industriel pour introduire un retour haptique multimodal dans applications automobiles Participer aux activités du programme MULTITOUCH: assister à des ateliers de formation, collaborer avec les partenaires du réseau et entreprendre des détachements périodiques chez les organisations partenaires de MULTITOUCH, Produire des documents écrits au besoin pendant leurs études de doctorat et contribuer aux activités d'engagement et de diffusion de MULTITOUCH Présenter régulièrement des rapports d'étape comme l'exige le programme de recherche MULTITOUCH