<div dir="ltr"><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div>Overview<br>========<br>Human Computation and Crowdsourcing have become ubiquitous in the world of algorithm augmentation and data management. However, humans have various cognitive biases that influence the way they make decisions, remember information, and interact with machines. It is thus important to identify human biases and analyse their effect on complex hybrid systems. On the other hand, the potential interaction with a large pool of human contributors gives the opportunity to detect and handle biases in existing data and systems.<br><br>The goal of this symposium is to analyse both existing human biases in hybrid systems, and methods to manage bias via crowdsourcing and human computation. We will discuss different types of biases, measures and methods to track bias, as well as methodologies to prevent and solve bias.<br><br>An interdisciplinary approach is often required to capture the broad effects that these processes have on systems and people, and at the same time to improve model interpretability and systems’ fairness.<br><br>We will provide a framework for discussion among scholars, practitioners and other interested parties, including industry, crowd workers, requesters and crowdsourcing platform managers. We expect contributions combining ideas from different disciplines, including computer science, psychology, economics and social sciences.<br><br>For more information, please visit the event website: <a href="https://sites.google.com/sheffield.ac.uk/bhcc2019">https://sites.google.com/sheffield.ac.uk/bhcc2019</a>.<br><br>Submission Guidelines<br>=================<br>We welcome ~250-word abstracts describing methodologies, studies or systems relevant to the topics of the workshop. Submissions are not anonymous. Non published work, vision statements, and work in progress are welcome.<br><br>We are looking for contributions with interesting insights, which could lead to a productive discussion during the symposium. The main criteria of evaluation of the Programme Committee are scientific relevance, innovation level and research potential.<br><br>Abstract should be submitted at <a href="https://easychair.org/conferences/?conf=bhcc2019">https://easychair.org/conferences/?conf=bhcc2019</a>.<br><br>List of Topics<br>===========<br><br>Biases in Human Computation and Crowdsourcing<br>- Human sampling bias<br>- Effect of cultural, gender and ethnic biases<br>- Effect of human in the loop training and past experiences<br>- Effect of human expertise vs interest<br>- Bias in experts vs bias in crowdsourcing <br>- Bias in outsourcing vs bias in crowdsourcing<br>- Bias in task selection<br>- Task assignment/recommendation for reducing bias <br>- Effect of human engagement on bias<br>- Responsibility and ethics in human computation and bias management<br>- Preventing bias in crowdsourcing and human computation<br>- Creating awareness of cognitive biases among human agents<br>- Measuring and addressing ambiguities and biases in human annotation<br>- Human factors in AI<br>- Using Human Computation and Crowdsourcing for Bias Understanding and Management<br><br>Biases in Human-in-the-loop systems<br>- Identifying new types of cognitive bias in data or content<br>- Measuring bias in data or content<br>- Removing bias in data or content<br>- Dealing with algorithmic bias<br>- Fake news detection<br>- Diversification of sources by means<br>- Provenance and traceability<br>- Long-term crowd engagement<br>- Generating benchmarks for bias management<br><br>Committees<br>==========<br>Program Committee<br>- Alessandro Bozzon, University of Delft (Netherlands)<br>- Alessandro Checco, University of Sheffield (UK)<br>- Amrapali Zaveri, Institute of Data Science, Maastricht University (Netherlands)<br>- Eddy Maddalena, University of Southampton (UK)<br>- Jahna Otterbacher, Open University of Cyprus (Cyprus)<br>- Jo Bates, University of Sheffield (UK)<br>- Mengdie Zhuang, University of London (UK)<br>- Ujwal Gadiraju, L3S Research Center, Hannover (Germany)<br><br>Organizing committee<br>- Alessandro Checco, University of Sheffield (UK)<br>- Eddy Maddalena, University of Southampton (UK)<br><br>Venue and Registration<br>==================<br>Please visit the event website: <a href="https://sites.google.com/sheffield.ac.uk/bhcc2019">https://sites.google.com/sheffield.ac.uk/bhcc2019</a>.<br><br>Keynote<br>=======<br>Michael Rovatsos is Professor of AI at the University of Edinburgh, and Director of the Bayes Centre, the University’s innovation hub for Data Science and AI. He also represents the University at the Alan Turing Institute, the UK’s national institute for Data Science and AI. His research interests are in Artificial Intelligence with a specific focus on multiagent systems, i.e. systems where either artificial or human agents collaborate or compete with each other. His involvement in large interdisciplinary projects has led to a major shift of his research agenda toward ethical AI over the last five years, where he focuses on developing intelligent decision-making algorithms and platform architectures that support the moral values of their human stakeholders.<br><br>Contacts<br>========<br>- All questions about submissions should be emailed to <a href="mailto:a.checco@sheffield.ac.uk">a.checco@sheffield.ac.uk</a>.<br>- All questions about logistics and registration should be email to Kathryn MacKellar <a href="mailto:k.mackellar@sheffield.ac.uk">k.mackellar@sheffield.ac.uk</a>.<br><br>Sponsors<br>========<br>- FashionBrain <a href="https://fashionbrain-project.eu">https://fashionbrain-project.eu</a><br>- Qrowd <a href="http://qrowd-project.eu">http://qrowd-project.eu</a><br>Please contact us if you want to be a sponsor: you will be able to advertise your company/project with a booth during the two-day symposium, distribute flyers and appear on this website.<br></div></div></div></div></div></div></div></div></div></div></div>