<div dir="ltr"><div class="gmail_signature"><div dir="ltr"><div><span style="font-size:12.8px">------------------------------</span><span style="font-size:12.8px"><wbr>-----</span><br style="font-size:12.8px"><span style="font-size:12.8px"><span class="gmail-m_2633703269402510639gmail-m_4140310304308343270gmail-il">TREC</span> 2017 Tasks Track</span><br style="font-size:12.8px"><span style="font-size:12.8px">------------------------------</span><span style="font-size:12.8px"><wbr>-----</span><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div style="font-size:12.8px"><span style="font-size:12.8px">Website: <a href="http://www.cs.ucl.ac.uk/tasks-track-2017/" target="_blank">http://www.cs.ucl.ac.<wbr>uk/tasks-track-2017/</a></span></div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div style="font-size:12.8px"><span style="font-size:12.8px">Deadline for TREC Application: **<b>16th May 2017** </b></span><span style="font-size:12.8px">(<a href="http://ir.nist.gov/trecsubmit.open/application.html" target="_blank">register here</a>)</span><br></div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div style="font-size:12.8px"><span style="font-size:12.8px"><b>Track Background:</b></span></div><div style="font-size:12.8px"><span style="font-size:12.8px">The primary goals of the track are to evaluate system's understanding of tasks users aim to achieve and system's performance in helping users complete their tasks.</span><br></div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div style="font-size:12.8px"><span style="font-size:12.8px">Research in Information Retrieval has traditionally focused on serving the best results for a single query, ignoring the reasons (or the task) that might have motivated the user to submit that query. Often times search engines are used to complete complex tasks (information needs); achieving these tasks with current search engines requires users to issue multiple queries. Standard evaluation mechanisms focus on evaluating the quality of a retrieval system in terms of the relevance of the results retrieved, completely ignoring the fact that user satisfaction mainly depends on the usefullness of the system in helping the user complete the actual task that led the user issue the query. The TREC Tasks Track is an attempt in devising mechanisms for evaluating quality of retrieval systems in terms of (1) how well they can understand the underlying task that led the user submit a query, and (2) how useful they are for helping users complete their tasks.</span><br></div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div style="font-size:12.8px"><br></div><div style="font-size:12.8px"><span style="font-size:12.8px"><b>Potential Application Areas:</b></span></div><div style="font-size:12.8px"><span style="font-size:12.8px">Researchers from varied different fields could use the Task track data to evaluate their models. Few application areas include:</span><br></div><div style="font-size:12.8px"><ul><li style="margin-left:15px"><span style="font-size:12.8px">Task based retrieval</span></li><li style="margin-left:15px"><span style="font-size:12.8px">Digital assistants tasks</span></li><li style="margin-left:15px"><span style="font-size:12.8px">Query suggestions</span></li><li style="margin-left:15px"><span style="font-size:12.8px">Session based retrieval</span></li><li style="margin-left:15px"><span style="font-size:12.8px">Exploratory search</span></li><li style="margin-left:15px"><span style="font-size:12.8px">Entity-based results</span></li></ul></div><div style="font-size:12.8px"><span style="font-size:12.8px;background-color:rgb(255,255,0)">To make evaluation and system development easier, we provide participants with API access to the Clueweb B indexed on Microsoft Azure.</span></div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div style="font-size:12.8px"><span style="font-size:12.8px"><br></span></div><div style="font-size:12.8px"><span style="font-size:12.8px"><b>Timeline:</b></span></div><div style="font-size:12.8px"><span style="font-size:12.8px">We anticipate the following timeline:</span></div><ul style="font-size:12.8px"><li style="margin-left:15px">16th May 2017: TREC Participation closes<br></li><li style="margin-left:15px">mid June 2017: Tasks available to participants<br></li><li style="margin-left:15px">24th August 2017: Submission deadline</li></ul><div style="font-size:12.8px"><div><br></div><b>Track Coordinators</b><br>Emine Yilmaz (University College London)</div><div style="font-size:12.8px">Evangelos Kanoulas (University of Amsterdam)<br>Nick Craswell (Microsoft)<br>Peter Bailey (Microsoft)<br>Ben Carterette (University of Delaware)<br><div>Rishabh Mehrotra (University College London)<br></div><div><br></div><div><br></div><div><b>Application Details</b></div><div>Organizations wishing to participate in TREC 2017 Tasks Track should respond to this call for participation by submitting an application. Participants in previous TRECs who wish to participate in TREC 2017 must submit a new application. To apply, submit the online application at</div><div>                 </div><div>                      <a href="http://ir.nist.gov/trecsubmit.open/application.html" target="_blank">http://ir.nist.gov/<wbr>trecsubmit.open/application.<wbr>html</a></div><div><br></div><div><br></div><div><b>Contact:</b></div><div><div><span style="font-size:12.8px">Mailing list: <a href="mailto:tasks-track@googlegroups.com" target="_blank">tasks-track@googlegroups<wbr>.com</a></span></div><div><span style="font-size:12.8px">Subscribe: <a href="https://groups.google.com/forum/#!forum/tasks-track" target="_blank">https://groups.goog<wbr>le.com/forum/#!forum/tasks-<wbr>track</a></span></div></div></div><div class="gmail-yj6qo gmail-ajU" style="margin:2px 0px 0px;font-size:12.8px"><div id="gmail-:4qw" class="gmail-ajR" tabindex="0"><img class="gmail-ajT" src="https://ssl.gstatic.com/ui/v1/icons/mail/images/cleardot.gif"></div></div><span class="gmail-HOEnZb gmail-adL" style="font-size:12.8px"><font color="#888888"><div><br></div><div><br></div>-- <br><div class="gmail-m_2633703269402510639gmail_signature"><div dir="ltr"><span style="font-size:12.8px">Rishabh Mehrotra</span><br style="font-size:12.8px"><div style="font-size:12.8px">PhD candidate </div><div style="font-size:12.8px">University College London</div><div style="font-size:12.8px">Web: <a href="http://www.rishabhmehrotra.com/" target="_blank">www.rishabhmehrotra.com</a></div><div style="font-size:12.8px">Twitter: <a href="https://twitter.com/erishabh" target="_blank">https://twitter.com/e<wbr>rishabh</a></div></div></div></font></span></div></div></div>
</div>