<div dir="ltr"><div class="gmail_default" style="font-size:small">(see<span class="gmail_default">:</span> <a href="https://people.mpi-sws.org/~joel/postdoc-CVY.html" target="_blank">https://people.mpi-sws.org/~joel/postdoc-CVY.html</a> )<br></div><div class="gmail_quote"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div><br><div style="font-size:small"><font color="Teal" size="6" style="font-family:Times">About the project</font><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><span style="color:rgb(0,0,0);font-family:Times;font-size:medium">We invite applications for a postdoctoral research position in Prof. Joël Ouaknine's research group at the Max Planck Institute for Software Systems in Saarbrücken, Germany. The successful candidate will work in close collaboration with academic and industrial partners, delving deep into the verification of Large Language Models (LLMs) based software programs.</span><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><b style="color:rgb(0,0,0);font-family:Times;font-size:medium">Focus of the Position:</b><span style="color:rgb(0,0,0);font-family:Times;font-size:medium"></span><ol style="color:rgb(0,0,0);font-family:Times;font-size:medium"><li>Design and implement innovative verification methods to ensure the reliability and accuracy of LLM-based software programs, i.e., software programs that leverage LLMs to solve various sub-problems.</li><li>Actively engage in the design and development of a system that generates high-quality data utilising LLMs.</li></ol><b style="color:rgb(0,0,0);font-family:Times;font-size:medium">Project Insight:</b><span style="color:rgb(0,0,0);font-family:Times;font-size:medium"> Software programs that utilise LLMs to tackle complex problems often require a strategy to decompose the main problem into smaller and simpler sub-problems. These sub-problems are separately addressed using LLMs, and the aggregation of results from these steps yields the final results. However, employing LLMs in these processes can lead to uncertainties and errors in the final outcome. Regardless of the prompt's sophistication, LLMs may generate incorrect responses, which makes it challenging to ensure the correctness of LLM-based software programs.</span><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><span style="color:rgb(0,0,0);font-family:Times;font-size:medium">Our mission in this project is twofold:</span><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><b style="color:rgb(0,0,0);font-family:Times;font-size:medium">Prompt-Level Verification:</b><span style="color:rgb(0,0,0);font-family:Times;font-size:medium"> Establish methods to validate the efficacy of the prompting processes in getting accurate responses from LLMs.</span><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><b style="color:rgb(0,0,0);font-family:Times;font-size:medium">Program-Level Verification:</b><span style="color:rgb(0,0,0);font-family:Times;font-size:medium"> Develop strategies to verify the overall reliability of the LLM-based software program, specifically its ability to correctly synthesise intermediate sub-step results even when faced with potentially uncertain or incorrect results from sub-steps.</span><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><span style="color:rgb(0,0,0);font-family:Times;font-size:medium">Upon establishing a successful verification methodology, the postdoctoral researcher in this position will further refine this approach, aiding in the development of a system optimised for high-quality data generation using LLMs.</span><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><span style="color:rgb(0,0,0);font-family:Times;font-size:medium">While the successful candidate will be hired by, and work at, the Max Planck Institute for Software Systems in Saarbrücken, collaboration and frequent visits to research partners are necessary. Such partners include TU Wien (Vienna, Austria), UCL (London), University of Calabria (Rende, Cosenza, Italy), as well as industrial collaborators. In addition, the successful candidate is expected to spend one or more internships in industry. The project will build on methods and software provided by industrial partners. We are thus looking for a candidate who is keen and able to liaise with industry, and who is interested in transformational research, working on practical problems of industrial relevance.</span><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><font color="Teal" size="6" style="font-family:Times">Your qualifications and responsibilities</font><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><b style="color:rgb(0,0,0);font-family:Times;font-size:medium">Required:</b><span style="color:rgb(0,0,0);font-family:Times;font-size:medium"></span><ul style="color:rgb(0,0,0);font-family:Times;font-size:medium"><li>A PhD degree (or near completion) in algorithmic verification, machine learning, databases, or a related field.</li><li>Strong algorithm-design and coding skills, along with proficiency in using popular Machine Learning development frameworks, such as TensorFlow and PyTorch.</li><li>A thorough understanding of the underlying techniques of Large Language Models, and experience in fine-tuning or customising such models.</li><li>Published research articles in top-tier journals or conferences. In exceptional cases, industry experience with a solid background in industry-based software engineering that has led to highly innovative products or results could partially or fully replace the publication requirements.</li><li>Ability and willingness to liaise with industrial partners and to work on problems of practical relevance.</li><li>Interest and ability to perform translational research, applying existing theoretical results to practical problems of industrial relevance.</li><li>You are expected to take on the responsibility of supervising students and research assistants.</li><li>Proficiency in written and spoken English is essential. (Knowledge of German is not necessary.)</li></ul><b style="color:rgb(0,0,0);font-family:Times;font-size:medium">Beneficial:</b><span style="color:rgb(0,0,0);font-family:Times;font-size:medium"></span><ul style="color:rgb(0,0,0);font-family:Times;font-size:medium"><li>Relevant experience in fields such as Information Extraction from Unstructured Text, Automatic Web Data Extraction, Databases, or Fuzzy Logic.</li><li>Industrial experience, particularly experience in areas such as Big Data Engineering and MLOps, coupled with familiarity with cloud services such as AWS.</li><li>Experience with software testing.</li><li>Experience leading teams or projects, as well as supervising junior developers or researchers.</li><li>A product-oriented mindset.</li></ul><span style="color:rgb(0,0,0);font-family:Times;font-size:medium">For informal enquiries, please contact Prof. Joël Ouaknine (<a href="mailto:joel@mpi-sws.org" target="_blank">joel@mpi-sws.org</a>).</span><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><span style="color:rgb(0,0,0);font-family:Times;font-size:medium">To apply, please send a cover letter and CV by email to Ms. Annika Meiser (<a href="mailto:ameiser@mpi-sws.org" target="_blank">ameiser@mpi-sws.org</a>).</span><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><span style="color:rgb(0,0,0);font-family:Times;font-size:medium">Applications will be reviewed until a suitable candidate is found. To ensure full consideration, please submit your application on or before </span><b style="color:rgb(0,0,0);font-family:Times;font-size:medium">22 Oct. 2023</b><span style="color:rgb(0,0,0);font-family:Times;font-size:medium">.</span><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><br style="color:rgb(0,0,0);font-family:Times;font-size:medium"><span style="color:rgb(0,0,0);font-family:Times;font-size:medium">We would particularly welcome applications from women and minority applicants who are currently under-represented within Computer Science.</span></div></div></div></div></div></div><div><br></div><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div><span style="font-size:12.8px"><b>Joël Ouaknine</b></span><br></div><div dir="ltr">Max Planck Institute for Software Systems</div><div dir="ltr"><span style="font-size:12.8px">Saarland Informatics Campus, Germany</span></div><div dir="ltr"><div><a href="http://people.mpi-sws.org/~joel/" target="_blank">http://mpi-sws.org/~joel/</a></div></div></div></div></div></div></div></div></div></div>