<html>

<head>

<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252">

<style type="text/css" style="display:none;"> P {margin-top:0;margin-bottom:0;} </style>

</head>

<body dir="ltr">

<div style="font-family: Calibri, Arial, Helvetica, sans-serif; font-size: 12pt; color: rgb(0, 0, 0);" class="elementToProof">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<b><u class="ContentPasted0">Call for Papers: GenBench, the first workshop on generalisation (benchmarking) in NLP</u></b><font style="color: rgb(0, 0, 0);"><span><b><u class="ContentPasted0"> </u></b></span></font></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<font style="color: rgb(0, 0, 0);"><span><b><br class="ContentPasted0">

</b></span></font></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<font style="color: rgb(0, 0, 0);"><span><b class="ContentPasted0">***New: the Collaborative Benchmarking Task submissions are now open; visit<span class="ContentPasted0"> </span></b></span></font><b style="font-style: inherit; font-variant-ligatures: inherit; font-variant-caps: inherit; color: rgb(0, 0, 0);"><a href="https://github.com/GenBench/genbench_cbt" target="_blank" data-saferedirecturl="https://www.google.com/url?q=https://github.com/GenBench/genbench_cbt&source=gmail&ust=1689090264569000&usg=AOvVaw07qgc4qFNrVaGg0SSP0bta" style="text-decoration-line: none; color: rgb(17, 85, 204);" class="ContentPasted0"><span style="text-decoration-line:underline">https://github.com/GenBench/<wbr>genbench_cbt</span></a><span class="ContentPasted0">.</span></b></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<font style="color: rgb(0, 0, 0);"><b><span class="ContentPasted0">With the support of our workshop sponsor Amazon, we are now offering scholarships for travel expenses.</span><span class="ContentPasted0">***</span></b></font></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="font-weight: 700; color: rgb(29, 28, 29);" class="ContentPasted0">Workshop description</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">The ability to generalise well is often mentioned as one of the primary desiderata for models of natural language processing.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">It is crucial to ensure that models behave robustly, reliably and fairly when making predictions about data that is different from the data that they were trained on.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Generalisation is also important when NLP models are considered from a cognitive perspective, as models of human language.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Yet, there are still many open questions related to what it means for an NLP model to generalise well and how generalisation should be evaluated.</span></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">The first GenBench workshop aims to serve as a cornerstone to catalyse research on generalisation in the NLP community.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">In particular, the workshop aims to:</span></p>

<ul style="font-family: arial, sans-serif; font-size: small; margin-top: 0px; margin-bottom: 0px; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">Bring together different expert communities to discuss challenging questions relating to generalisation in NLP;</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">Crowd-source a collaborative generalisation benchmark hosted on a platform for democratic state-of-the-art (SOTA) generalisation testing in NLP.</span></p>

</li></ul>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">The first GenBench workshop on generalisation (benchmarking) in NLP will be co-located with EMNLP 2023.</span></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="font-weight: 700; color: rgb(29, 28, 29);" class="ContentPasted0">Submission types</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">We call for two types of submissions: regular workshop submissions and collaborative benchmarking task submissions.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">The latter will consist of a data/task artefact and a companion paper motivating and evaluating the submission. In both cases, we accept archival papers and extended abstracts.</span></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="font-style: italic; color: rgb(29, 28, 29);" class="ContentPasted0">1. Regular workshop submissions</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Regular workshop submissions present papers on the topic of generalisation (see examples listed below) but are not intended to be included on the GenBench evaluation platform.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Regular workshop papers may be submitted as an archival paper when they report on completed, original and unpublished research; or as a shorter extended abstract. More details on this category can

 be found below.</span></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Topics of interest include, but are not limited to:</span></p>

<ul style="font-family: arial, sans-serif; font-size: small; margin-top: 0px; margin-bottom: 0px; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">Opinion or position papers about generalisation and how it should be evaluated;</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">Analyses of how existing or new models generalise;</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">Empirical studies that propose new paradigms to evaluate generalisation;</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">Meta-analyses that investigate how results from different generalisation studies compare to one another;</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">Meta-analyses that study how different types of generalisation are related;</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">Papers that discuss how generalisation of LLMs can be evaluated without access to training data;</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">Papers that discuss why generalisation is (not) important in the era of LLMs;</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">Studies on the relationship between generalisation and fairness or robustness.</span></p>

</li></ul>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">If you are unsure whether a specific topic is well-suited for submission, feel free to reach out to the organisers of the workshop at<span class="ContentPasted0"> </span></span><span style="color: rgb(0, 0, 0);"><a href="mailto:genbench@googlegroups.com" target="_blank" style="color: rgb(17, 85, 204);" class="ContentPasted0" data-loopstyle="linkonly">genbench@googlegroups.com</a></span><span style="color: rgb(29, 28, 29);" class="ContentPasted0">.</span></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="font-style: italic; color: rgb(29, 28, 29);" class="ContentPasted0">2. Collaborative Benchmarking Task submissions</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Collaborative benchmarking task submissions consist of a data/task artefact and a paper describing and motivating the submission and showcasing it on a select number of models.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">We accept submissions that introduce new datasets, resplits of existing datasets along particular dimensions, or in-context learning tasks, with the goal of measuring generalisation of NLP models.</span></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">We especially encourage submissions that focus on:</span></p>

<ul style="font-family: arial, sans-serif; font-size: small; margin-top: 0px; margin-bottom: 0px; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">Generalisation in the context of fairness and inclusivity;</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">Multilingual generalisation;</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">Generalisation in LLMs, where we have no control over the training data.</span></p>

</li></ul>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Each submission should contain information about the data (URIs, format, preprocessing), model preparation (finetuning loss, ICL prompt templates), and evaluation metrics. These will be defined either

 in a configuration file or in code.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<font style="color: rgb(0, 0, 0);"><span class="ContentPasted0">More details about the collaborative benchmarking task submissions and example submissions can be found on our website: visit<span class="ContentPasted0"> </span></span><a href="https://genbench.org/cbt" target="_blank" data-saferedirecturl="https://www.google.com/url?q=https://genbench.org/cbt&source=gmail&ust=1689090264569000&usg=AOvVaw0OvXWD7MwEEnJPO1ePKiWo" style="text-decoration-line: none; color: rgb(17, 85, 204);" class="ContentPasted0" data-loopstyle="linkonly"><span style="text-decoration-line:underline">genbench.org/cbt</span></a><span class="ContentPasted0"><span class="ContentPasted0"> </span>for

 more information or<span class="ContentPasted0"> </span></span><a href="https://github.com/GenBench/genbench_cbt" target="_blank" data-saferedirecturl="https://www.google.com/url?q=https://github.com/GenBench/genbench_cbt&source=gmail&ust=1689090264569000&usg=AOvVaw07qgc4qFNrVaGg0SSP0bta" style="text-decoration-line: none; color: rgb(17, 85, 204);" class="ContentPasted0"><span style="text-decoration-line:underline">github.com/GenBench/genbench_<wbr>cbt</span></a><span class="ContentPasted0"><span class="ContentPasted0"> </span>to

 prepare your submission.</span></font></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<font style="color: rgb(0, 0, 0);"><span class="ContentPasted0">Note that there is a sample data submission deadline (August 1) in addition to the final submission deadline (September 1).</span></font></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Participants proposing previously unpublished datasets or splits may choose to submit an archival paper or an extended abstract.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Generalisation evaluation datasets that have already been published elsewhere (or will be published at EMNLP 2023) can be submitted to the platform, as well, but only through an extended abstract,

 citing the original publication.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">We allow dual submissions with EMNLP. For more information, see below.</span></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">If you are in doubt about whether a particular type of dataset is suitable for submission, please consult the information page on our website, or reach out to the organisers of the workshop at<span class="ContentPasted0"> </span></span><span style="color: rgb(0, 0, 0);"><a href="mailto:genbench@googlegroups.com" target="_blank" style="color: rgb(17, 85, 204);" class="ContentPasted0" data-loopstyle="linkonly">genbench@googlegroups.com</a></span><span style="color: rgb(29, 28, 29);" class="ContentPasted0">.</span></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="font-weight: 700; color: rgb(29, 28, 29);" class="ContentPasted0">Archival vs extended abstract</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Archival papers are up to 8 pages excluding references and report on completed, original and unpublished research. They follow the requirements of regular EMNLP 2023 submissions.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Accepted papers will be published in the workshop proceedings and are expected to be presented at the workshop.</span><span style="color: rgb(29, 28, 29);"><br class="ContentPasted0">

<br class="ContentPasted0">

</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">The papers will undergo double-blind peer review and should thus be anonymised.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Extended abstracts can be up to 2 pages excluding references and may report on work in progress or be cross-submissions of work that has already appeared in another venue. Abstract titles will be

 posted on the workshop website but will not be included in the proceedings.</span></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="font-weight: 700; color: rgb(29, 28, 29);" class="ContentPasted0">Submission instructions</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">For both archival papers and extended abstracts, we refer to the EMNLP 2023 website for paper templates. Additional requirements for both regular workshop papers and collaborative benchmarking task

 submissions can be found on our website.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(0, 0, 0);" class="ContentPasted0">All papers can be submitted through OpenReview:<span class="ContentPasted0"> </span></span><a href="https://openreview.net/group?id=GenBench.org/2023/Workshop" target="_blank" data-saferedirecturl="https://www.google.com/url?q=https://openreview.net/group?id%3DGenBench.org/2023/Workshop&source=gmail&ust=1689090264569000&usg=AOvVaw141B348aZ3BhiF0D3vt4ik" style="text-decoration-line: none; color: rgb(17, 85, 204);" class="ContentPasted0"><span style="text-decoration-line:underline">https://openreview.net/group?<wbr>id=GenBench.org/2023/Workshop</span></a><span style="color: rgb(0, 0, 0);" class="ContentPasted0">.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<font style="color: rgb(0, 0, 0);"><span class="ContentPasted0">Collaborative Benchmarking Task submissions can be made via<span class="ContentPasted0"> </span></span><a href="https://github.com/GenBench/genbench_cbt" target="_blank" data-saferedirecturl="https://www.google.com/url?q=https://github.com/GenBench/genbench_cbt&source=gmail&ust=1689090264569000&usg=AOvVaw07qgc4qFNrVaGg0SSP0bta" style="text-decoration-line: none; color: rgb(17, 85, 204);" class="ContentPasted0"><span style="text-decoration-line:underline">https://github.com/GenBench/<wbr>genbench_cbt</span></a><span class="ContentPasted0">. </span></font></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">We also accept regular workshop submissions (papers of category 1) through the ACL Rolling Review system. Authors that have their ARR reviews ready may submit their papers and reviews for consideration

 to the workshop.</span></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="font-weight: 700; color: rgb(29, 28, 29);" class="ContentPasted0">Important dates</span></p>

<ul style="font-family: arial, sans-serif; font-size: small; margin-top: 0px; margin-bottom: 0px; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">August 1, 2023 � Sample data submission deadline</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">September 1, 2023 � Paper submission deadline</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">September 15, 2023 � ARR submission deadline</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">October 6, 2023 � Notification deadline</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">October 18, 2023 � Camera-ready deadline</span></p>

</li><li dir="ltr" style="margin-left: 15px; color: rgb(29, 28, 29);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span class="ContentPasted0">December 6, 2023 � Workshop</span></p>

</li></ul>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Note: all deadlines are 11:59 PM UTC-12:00</span></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="font-weight: 700; color: rgb(29, 28, 29);" class="ContentPasted0">Dual submissions</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">We allow dual submissions with EMNLP and encourage relevant papers that were dual-submitted and accepted at EMNLP to redirect to a non-archival extended abstract submission.</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">We furthermore welcome submissions of extended abstracts that describe work already presented at an earlier venue, both in the collaborative benchmarking task and in the regular submission track.</span></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="font-weight: 700; color: rgb(29, 28, 29);" class="ContentPasted0">Preprints</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">We do not have an anonymity deadline. Preprints are allowed, both before the submission deadline as well as after.</span></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="font-weight:700"><font class="ContentPasted0" style="color: rgb(0, 0, 0);">Scholarships</font></span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 3pt; margin-bottom: 3pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span><font class="ContentPasted0" style="color: rgb(0, 0, 0);">With the support of our workshop sponsor Amazon, we are offering 6 scholarships each covering up to $500 of travel expenses and/or (virtual) registration fees. Please check out our website for

 more information about the application process.</font></span></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="font-weight: 700; color: rgb(29, 28, 29);" class="ContentPasted0">Contact</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Email address:<span class="ContentPasted0"> </span></span><span style="color: rgb(0, 0, 0);"><a href="mailto:genbench@googlegroups.com" target="_blank" style="color: rgb(17, 85, 204);" class="ContentPasted0" data-loopstyle="linkonly">genbench@googlegroups.com</a></span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Website:<span class="ContentPasted0"> </span></span><a href="http://genbench.org/workshop" target="_blank" data-saferedirecturl="https://www.google.com/url?q=http://genbench.org/workshop&source=gmail&ust=1689090264569000&usg=AOvVaw3X6vDrhgr69rCxhZIfS4La" style="text-decoration-line: none; color: rgb(17, 85, 204);" class="ContentPasted0" data-loopstyle="linkonly"><span>genbench.org/workshop</span></a></p>

<br style="font-family: arial, sans-serif; font-size: small; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);" class="ContentPasted0">

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="font-style: italic; color: rgb(29, 28, 29);" class="ContentPasted0">On behalf of the GenBench team,</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Dieuwke Hupkes</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Khuyagbaatar Batsuren</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Koustuv Sinha</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Amirhossein Kazemnejad</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Christos Christodoulopoulos</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Ryan Cotterell</span></p>

<p dir="ltr" style="font-family: arial, sans-serif; font-size: small; line-height: 1.38; margin-top: 0pt; margin-bottom: 0pt; color: rgb(34, 34, 34); background-color: rgb(255, 255, 255);">

<span style="color: rgb(29, 28, 29);" class="ContentPasted0">Elia Bruni</span></p>

<font style="font-family: arial, sans-serif; font-size: small; color: rgb(136, 136, 136); background-color: rgb(255, 255, 255);">

<p dir="ltr" style="line-height:1.38;margin-top:0pt;margin-bottom:0pt"><span style="color: rgb(29, 28, 29);" class="ContentPasted0">Verna Dankers</span></p>

</font><br>

</div>

The University of Edinburgh is a charitable body, registered in Scotland, with registration number SC005336. Is e buidheann carthannais a th� ann an Oilthigh Dh�n �ideann, cl�raichte an Alba, �ireamh cl�raidh SC005336.

</body>

</html>