<div dir="ltr">Team,<div><br></div><div>Please join and become a witness of a culmination of Karen's 16 year tenure as a researcher in the Auton Lab. She will be defending her doctoral dissertation this Thursday at 1pm via zoom.</div><div><br></div><div>Hope to see a lot of Autonians there to cheer for Karen!</div><div><br></div><div>Artur</div><div><br></div><blockquote type="cite"><p class="MsoNormal"><b>Title: </b> Augmenting Human Perceptual and Reasoning Capabilities with Intelligent Multimodal Analytics: From Critical Care to Coaching Math Problem Solving</p><p class="MsoNormal">Zoom Meeting</p><p class="MsoNormal"><a href="https://cmu.zoom.us/j/94937712479?pwd=MFZubFNVdUNjYWxFQkl0UWRhZVJWUT09" target="_blank">https://cmu.zoom.us/j/94937712479?pwd=MFZubFNVdUNjYWxFQkl0UWRhZVJWUT09</a></p><p class="MsoNormal">Meeting ID: 949 3771 2479</p><p class="MsoNormal">Password: 562565</p><p class="MsoNormal"><b>Thesis Committee:  </b></p><p class="MsoNormal">Artur Dubrawski (Chair)</p><p class="MsoNormal">Daniel Nagin</p><p class="MsoNormal">Amy Ogan (HCII, CMU)</p><p class="MsoNormal">Sidney D’Mello (University of Colorado Boulder)</p><p class="MsoNormal"> </p><p class="MsoNormal"><b>Link to thesis draft </b></p><p class="MsoNormal"><a href="https://cmu.box.com/s/1n2hg6q4l5yrg8hd0b4brbf7o58cyrlp" target="_blank">https://cmu.box.com/s/1n2hg6q4l5yrg8hd0b4brbf7o58cyrlp</a></p><p class="MsoNormal"> </p><p class="MsoNormal"><b>Abstract:</b></p><p class="MsoNormal">Augmenting human perceptual and reasoning capability by leveraging machine intelligence has been on the agenda of AI exploration since its inception. The recent developments in sensing technology make it possible to generate and accumulate massive amounts of high frequency multimodal data. This creates new opportunities for automating the analysis of this type of data where the dynamic and time sensitive decision making plays a major role in quality of service. In this thesis, I conduct simultaneous investigation in two presumably unrelated domains: monitoring of patients for instability in critical care, and monitoring elementary school students for their cognitive and affective states during math problem solving exercises. Those two contexts share similar monitoring paradigms with similar challenges, and offer comparable opportunities with high frequency multimodal observations. The goal of my thesis is to explore and demonstrate the practical utility of multimodal analytics of high frequency monitoring data in support of decision making in those contexts.</p><p class="MsoNormal">I organized my research work around  the following two thrusts. The first thrust (Chapter 2) is motivated by the tension between the limited human capacity of ICU nurses to make best use of monitoring resources in fast-paced critical care settings. The current practice primarily relies on the vigilance of clinical personnel to recognize CRI early, however this is often in-sufficient given the complexity and apparent unpredictability of temporal patterns of risk progression for CRI. The methods developed in this project aim to augment individual nurse ability to identify physiologic indicators of impending CRI (perceptual capability)and recognize how bedside monitor data patterns reflect  heterogeneous disease progression (reasoning capability). </p><p class="MsoNormal">The second thrust concerns education: augmenting human teacher perceptual and reasoning capability in providing personalized and adaptive support to students in either online or offline learning environments. The first project (Chapter 3) aims to address the reasoning capabilities required by teachers to understand and eventually to adapt to the learning progression in math practices ("learning curve") of a large number of students using the fine-grained log data collected from an on-line learning environment. I developed a data driven method for decomposing population level learning curves into distinctive groups that reveal interpretable patterns of "skill growth" which correlate with the students’ future learning outcomes.The second project (Chapter 4) explores off-line learning scenarios of coaching math problem solving with young students. I collected multi-modal data from one-on-one coaching sessions between parent-child dyads in a naturalist environment. Using those datasets, I developed analytical methods that may ease the cognitive load in resolving the practical teaching challenge of “assistance dilemma”, i.e. making real time decisions with regard the timing and the type of support to provide (cognitive, metacognitive or social), in order to maximize students’ exposure to “productive struggles”. Eventually, those methods may be used to bootstrap the perceptual and reasoning modules toward a vision of an "intelligent monitor" in the classroom and home that can recognize and reason over dynamic cognitive and affective student processes during math problem solving in an off-line learning environment. </p></blockquote><div><br></div></div>