Hintergrund des Projekts ist die häufig nur unzureichende Reproduzierbarkeit empirischer Studien. Dies ist nicht nur aus wissenschaftlicher Sicht kritikwürdig, sondern kann auch in der Wirtschaft und Gesellschaft zu fehlgeleiteten Entscheidungen führen und somit reale Folgen nach sich ziehen. Um solche vermeidbaren Unstimmigkeiten zu reduzieren, soll künftig die Reproducibility Engine Ergebnisse empirischer Studien systematisch auf ihre Reproduzierbarkeit prüfen.
Die Pilotstudie dient zunächst dazu, klare Workflows zu entwickeln, die technische Umsetzbarkeit zu überprüfen und typische Fehlerquellen sowie notwendige Interventionen zu erfassen. Als Datenbasis für den LLM-gestützten Workflow dient das Journal of Accounting Research (JAR), welches eine besonders umfangreiche Repositoriumsstruktur aufweist. Auf dieser Grundlage entsteht eine Engine, die Replikationspakete automatisiert erfasst und entsprechende Prüfworkflows vorbereitet. Das Endergebnis ist eine standardisierte Bewertung der Reproduzierbarkeit: Diese macht unmittelbar sichtbar, ob Daten und Code so transparent aufbereitet sind, dass die Studie unabhängig nachgestellt werden kann. Schwachstellen lassen sich so frühzeitig erkennen und durch eine Revision nachhaltig beheben.
Nach erfolgreicher Entwicklung der Engine sollen die entwickelten Komponenten zunächst öffentlich bereitgestellt und die Ergebnisse der Reproducibility publiziert werden. Diese Resultate dienen zugleich als Grundlage für einen internationalen Drittmittelantrag, der den weiteren Ausbau der Engine und so künftig eine interdisziplinäre Anwendung ermöglichen soll.
Der DSC Seed Grant fördert dabei gezielt die methodische Pilotierung im JAR-Setting. Während das Projekt kurzfristig Reproducibility Audits in diesem spezifischen Rahmen durchführt, wird die Basis für eine skalierbare, weitreichend einsetzbare Engine gelegt. Im Fokus steht dabei die technische Tragfähigkeit der LLM-gestützten agentischen Workflows: Es wird untersucht, welche Schritte sich bereits zuverlässig automatisieren lassen und wo manuelle Eingriffe weiterhin notwendig sind.
Förderempfänger:
Benedikt Plate (FB 07 – Wirtschaftswissenschaft)
Janik Wecks (FB 07 – Wirtschaftswissenschaft)
Förderzeitraum:
01. April 2026 – 31. März 2027
Haben Sie Interesse am DSC Seed Grant?
Mehr Infos zum DSC Seed Grant finden Sie hier.
Fragen beantwortet:
Dr. Lena Steinmann
DSC Koordinatorin
Tel. +49 (421) 218 - 63941
E-Mail: lena.steinmannprotect me ?!uni-bremenprotect me ?!.de
