<div dir="ltr">** Call for Participation ** - Global Knowledge Tracing Challenge @AAAI 2023<br><br><a href="http://ai4ed.cc/competitions/aaai2023competition">http://ai4ed.cc/competitions/aaai2023competition</a><br><br>---------------------<br>Background<br>---------------------<br>In this competition, we would like to call for researchers and practitioners worldwide to investigate the opportunities of improving the student assessment performance via knowledge tracing approaches with rich side information.<br><br>Knowledge tracing (KT) is the task of using students’ historical learning interaction data to model their knowledge mastery over time so as to make predictions on their future interaction performance, shown in the following Figure. Such predictive capabilities can potentially help students learn better and faster when paired with high-quality learning materials and instructions, which is crucial for building next-generation smart and personalized education.<br><br>However, even though a large body of deep learning based KT models are proposed, the majority of existing baselines don't utilize the rich auxiliary side information in educational contexts. Various auxiliary side information could be extracted as external knowledge and integrated with the DLKT models. These auxiliary knowledge are expected to improve DLKT performance, which can be considered as follows:<br><br><ul><li>Question side information: (1) question text content; (2) latent question variations with respect to each KC; (3) question difficulty level; and (4) relations among questions.</li><li>Student side information: (1) historical successful and failed attempts; (2) recent attempts; (3) students’ learning ability; and (4) individualized prior knowledge of students.</li><li>KC side information: (1) latent knowledge representation; and (2) relations among KCs.</li></ul><br>---------------------<br>Data & Task Description<br>---------------------<br>We released a large student assessment dataset with rich textual and structural information (well anonymized). The data is collected from students in grade 3 math classes at Xueersi from TAL Education Group that is a leading smart learning solutions provider in China with global footprints. Specifically, <b>the dataset is made up of 18,066 students, 7,652 questions, 1,175 KCs and 5,549,635 interactions/responses</b>. The average student historical sequence length is 307.19. 79.47% responses are with positive labels, i.e., students correctly answer the questions.<div><br>Each question is associated with question text content, the explanations of question answers and its corresponding KCs. The relevant KCs are hierarchically structured. All the textual characters are anonymized and mapped into internal unique integer tokens.<br><br>---------------------<br>Evaluation Task<br>---------------------<br>There are 3,613 student interaction sequences in the test set. For each interaction sequence, the first 50% of interactions are known and the task is to predict the rest 50% interactions’ responses, i.e., 0 or 1.<br><br>We will choose to use AUC score as the main evaluation metric for this competition.<br><br>---------------------<br>Baseline Results<br>---------------------<br>We have used pyKT to run DKT and AKT on the aforementioned training data and evaluate on our public test sets. All these approaches are purely trained with question/KC ids and student responses without any auxiliary information, such as question content. The results are used as baseline results for this competition:<br><br>Model   Non-Accumulative    Accumulative<br>DKT                0.6801                 0.7086<br>AKT                0.7812                 0.7692<br>Majority           0.7381                      -<br><br>We provide easy to use codes and detailed instructions in: <br><a href="https://github.com/pykt-team/pykt-toolkit/tree/main/examples/competitions/aaai2023_competition">https://github.com/pykt-team/pykt-toolkit/tree/main/examples/competitions/aaai2023_competition</a><br><br>---------------------<br>Competition Schedule<br>---------------------<br><ul><li>November 17, 2022 - Start Date.</li><li>December 31, 2022 - Final submission deadline.</li><li>January 2, 2023 - Final competition results announced.</li></ul><br>All deadlines are at 11:59 PM UTC on the corresponding day unless otherwise noted.The competition organizers reserve the right to update the contest timeline if they deem it necessary.<br><br>---------------------<br>Award<br>---------------------<br><ul><li>We will provide cash prizes for the top-3 teams (1st place: $1000; 2nd place: $600 ; 3rd place $300)</li><li>An official certificate will be awarded to the top-3 teams.</li><li>The top-3 teams will be invited to give oral presentations during AAAI 2023.</li><li>The first author of the top-3 teams will be invited to contribute to a competition review paper.</li></ul><br>Note: The top-3 teams should make their training and testing code publicly available for verification after the testing submission deadline.<br><br>---------------------<br>Organizers<br>----------------<br><br>Qiongqiong Liu TAL Education Group, China<br>Jiahao Chen TAL Education Group, China<br>Shuyan Huang TAL Education Group, China<br>Zitao Liu TAL Education Group, China<br><br>Contact: <a href="mailto:pykt.team@gmail.com">pykt.team@gmail.com</a><br><br><br>Best Regards,<br><br>The pyKT Team<br clear="all"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div style="font-size:12.8px"><br><span style="border-width:2px 0px 0px;border-style:solid;border-color:rgb(213,15,37);padding-top:2px;margin-top:2px">Dr. Zitao Liu</span><span style="color:rgb(85,85,85);border-width:2px 0px 0px;border-style:solid;border-color:rgb(0,153,57);padding-top:2px;margin-top:2px"> |</span><span style="color:rgb(85,85,85);border-width:2px 0px 0px;border-style:solid;border-color:rgb(238,178,17);padding-top:2px;margin-top:2px"> <a value="+16502143877" href="http://www.zitaoliu.com/" style="color:rgb(0,0,204)" target="_blank">http://www.zitaoliu.com</a></span></div><div><br></div></div></div></div></div></div></div></div>