<div dir="ltr"><div><p style="margin:0px;line-height:normal;font-size-adjust:none;font-kerning:auto;font-variant-alternates:normal;font-variant-ligatures:normal;font-variant-numeric:normal;font-variant-east-asian:normal;font-feature-settings:normal"><br></p><p class="MsoNormal"><b><span lang="EN-US">1. Introduction</span></b><span lang="EN-US"><br>Stuttering,
 a fluency disorder affecting millions of individuals, is characterized 
by stuttering-like disfluencies (blocks, prolongations, repetitions) 
linked to dysfunctions in speech motor control. While its automatic 
detection has already been explored using audio-based models, current 
systems remain limited by low robustness, difficulty in identifying 
certain disfluencies such as silent blocks, and reliance on scarce data.
 This PhD project proposes a multimodal approach (audio, video, text) to
 enhance the accuracy and robustness of disfluency detection, leveraging
 an audiovisual corpus of French-speaking individuals who stutter. The 
analysis will rely on modality-specific encoding techniques, followed by
 a strategic fusion of their representations for final classification.</span></p><p class="MsoNormal"><b><span lang="EN-US">2. Aims</span></b><span lang="EN-US"><br>The
 aim of this PhD is to design, develop, and evaluate a multimodal deep 
learning approach for the automatic detection of stuttering-like 
disfluencies in French, by combining audio, video, and textual 
modalities. The work will be based on an annotated audiovisual corpus of
 French-speaking people who stutter, with particular focus on 
disfluencies that are difficult to detect through audio alone, such as 
silent blocks, and on robustness to individual variability.<br></span>The doctoral candidate’s work will include the following tasks:</p><ul type="disc" style="margin-top:0cm"><li class="MsoNormal"><b><span lang="EN-US">Audio encoding</span></b><span lang="EN-US">: Implement and adapt Stutternet (Sheikh, S. A., Sahidullah, M., Hirsch, F., & Ouni, S. – 2021 – <i>Stutternet: Stuttering detection using time delay neural network</i>, in EUSIPCO) to extract acoustic features relevant to disfluency detection by capturing temporal dependencies.</span></li><li class="MsoNormal"><b><span lang="EN-US">Video encoding</span></b><span lang="EN-US">:
 Develop and train vision models (e.g., C3D or Transformers) to analyze 
video sequences for visual cues of stuttering (facial tension, blinking,
 atypical movements). The extraction of facial landmarks (with OpenFace 
or MediaPipe) will also be explored as a complementary or alternative 
source of features.</span></li><li class="MsoNormal"><b><span lang="EN-US">Text encoding</span></b><span lang="EN-US">:
 Generate automatic transcriptions (via Whisper) and encode them using 
pre-trained language models (BERT, RoBERTa) to extract linguistic 
context and identify textual patterns characteristic of disfluencies.</span></li><li class="MsoNormal"><b><span lang="EN-US">Multimodal fusion</span></b><span lang="EN-US">:
 Implement and compare several strategies to fuse the representations 
from the three modalities, such as concatenation, adaptive attention 
mechanisms, or other approaches leveraging data complementarity.</span></li><li class="MsoNormal"><b><span lang="EN-US">Classification and evaluation</span></b><span lang="EN-US">:
 Develop a classifier operating on the fused representation to predict 
the presence or absence of stuttering within a given time window. 
Evaluation will rely on standard metrics (precision, recall, F1-score, 
AUC), and results will be compared to manual expert annotations. 
Qualitative analyses will also be conducted to interpret model errors 
and refine the approach.</span></li></ul><p class="MsoNormal"><span lang="EN-US">Beyond
 detection, this PhD aims to contribute methodologically to the field of
 multimodal fusion applied to pathological speech, with the potential 
impact in clinical contexts.</span></p><p class="MsoNormal"><span lang="EN-US"><b>T</b>he
 PhD will be mainly carried out at LORIA/INRIA in Nancy, France, with 
occasional short stays (from one week to one month) at Parxiling in 
Montpellier, France.</span></p><p class="MsoNormal"><b><span lang="EN-US">3. Required Skills</span></b><span lang="EN-US"><br>The
 candidate should hold a Master’s degree in computer science, have 
strong skills in machine learning and deep learning, and be proficient 
in Python and frameworks such as PyTorch or TensorFlow. An interest in 
signal processing (audio/video) and ideally in NLP is expected. 
Autonomy, rigor, critical thinking, and analytical abilities are 
essential, along with strong communication skills to work in a 
multidisciplinary environment. An interest in phonetics, linguistics, 
and speech disorders—particularly stuttering—would be a plus.</span></p><p><b>To apply:</b> please send me (<a href="mailto:slim.ouni@loria.fr" target="_blank">shakeelzmail608@gmail.com, slim.ouni@loria.fr</a>) : your CV, transcripts from your previous years of study, a motivation letter, and your Master’s thesis manuscript.</p><br clear="all"></div><br><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><span style="font-family:Helvetica,sans-serif;color:rgb(0,111,201)">Kind Regards,</span><span style="font-family:Calibri,sans-serif;color:black"><br></span><span style="font-family:Helvetica,sans-serif;color:rgb(0,111,201)">Dr. Shakeel A. Sheikh</span><span style="font-family:Calibri,sans-serif;color:black"><br></span><span style="font-family:Helvetica,sans-serif;color:rgb(0,111,201)">Research Scientist</span><div><font color="#006fc9" face="Helvetica, sans-serif">Novartis AG</font></div></div></div></div>