# Leitfaden für die Konzeption und Durchführung von shared tasks für deutschsprachige Daten Dieses Dokument gibt eine Handreichung zur Planung und Durchführung von shared tasks, die von der GSCL, der DGfS-CL und der CLARIN-D F-AG 7 logistisch und/oder finanziell unterstützt werden. Autoren: Chris Biemann, Stefanie Dipper, Anette Frank, Manfred Stede, Torsten Zesch Stand: 26.11.2013 ## 1) Zentrale Kriterien: * Es sollen (zumindest vorwiegend) deutschsprachige Daten bearbeitet werden. * Alle Primärdaten sollen nach Möglichkeit nicht im Konflikt mit Urheberrechten und Persönlichkeitsrechten sein, so dass eine unkomplizierte und kostenfreie Distribution für Forschungszwecke möglich ist. * Entstehende Annotationen sollen auch nach Durchführung der eigentlichen shared task für die community nachhaltig verfügbar sein. * Wenn die Erstellung eines Goldstandard im Rahmen der shared task erfolgen soll, müssen Annotationsrichtlinien (zumindest in vorläufiger Fassung) bereits vorliegen. * Es gibt Evidenz, dass eine hinreichende Anzahl von Teilnehmern beim Wettbewerb zu erwarten ist. * Es ist eine plausible Kostenschätzung für das Vorhaben vorzulegen, auch mit Angabe etwaig eingeplanter Eigenmittel der Durchführenden * Das Organisationsteam hat genügend Personal-/Zeitressourcen für Vorbereitung und Durchführung. * Der Vorschlag skizziert ein plausibles Szenario für die vergleichende Evaluierung teilnehmender Systeme (z.B. Evaluationssetting, Evaluationsmaße, Baselines). * Nach der Auswertung findet ein (publikumsoffener) Workshop statt, bei dem die Teilnehmer ihre Verfahren erläutern. z.B. im Rahmen der GSCL- oder KONVENS-Tagung ## 2) Hinweise zur Durchführung * Die Durchführung obliegt der antragstellenden Gruppe; DGfS-CL, CLARIN-D F-AG 7 und GSCL leisten logistische und/oder finanzielle Unterstützung. * Die Veranstalter des Tasks sollen nicht selbst als Wettbewerber auftreten; eine außerwettbewerbliche Teilnahme des Veranstalters ist aber möglich. * Die Evaluierungsdaten werden nach der Bekanntgabe der Ergebnisse der teilnehmenden Systeme öffentlich verfügbar gemacht. * Wenn die Aktivität durch CLARIN-D F-AG 7, DGfS-CL und/oder GSCL unterstützt wird, ist dies auf Webseite etc. zu vermerken. * DGfS-CL, CLARIN-D F-AG 7 und GSCL helfen auf Wunsch bei der Bewerbung der Aktivität (mailing-Listen, Adressen von CL-Professuren) * Der Auswertungsworkshop soll möglichst an eine geeignete internationale Konferenz (idealerweise mit shared tasks) oder an eine GSCL-Tagung/Konvens gekoppelt sein, um einerseits hohe Sichtbarkeit zu erreichen, andererseits keine weiteren Kosten zu generieren. * Um die nachhaltige Verfügbarkeit der Daten+Annotationen zu gewährleisten, sollen nach Möglichkeit die entsprechenden Ressourcen der CLARIN-D Initiative genutzt werden. Zudem wird eine Indizierung in einschlägigen Katalogen (Metanet, ELDA, LDC, ACL Wiki, LREC map, etc.) empfohlen. ## 3) Finanzielle Unterstützung * Im Rahmen ihrer Möglichkeiten sichert die GSCL eine finanzielle Unterstützung zu, etwa für SHK Kapazität zur Annotation von Daten (Goldstandard). Auch DGfS-CL und die CLARIN-D F-AG7 stellen eine Unterstützung für diesen Zweck in Aussicht. * Die Vergabe von Preisgeldern wird nicht gefördert (wenn Organisatoren diese aus anderen Quellen erhalten, ist eine Preisgeld-Auslobung allerdings auch kein Hinderungsgrund für die o.g. Förderung der Daten-Annotation.) * Die Durchführung des Evaluationsworkshops wird nicht finanziell unterstützt, siehe dazu die Bemerkung unter (2).