haben einen großen Vorteil, der gleichzeitig auch ihr größter Nachteil ist.
Sie vergleichen retrospektiv die Ergebnisse vieler Studien (bei Hattie waren es AFAIK über 1000) und können so auf ein ungleich größeres Datenmaterial zurückgreifen. Ihre Aussagen werden somit statistisch gesehen valider und sind besser abgesichert. Statistisch signifikante Ergebnisse sind selten (bei so vielen Studien gibt es natürlich viele, die einander widersprechen) und daher besonders aussagekräftig.
Der Nachteil dabei ist, dass das alles retropektiv geschieht. Das heißt, dass man ihre Aussagen gar nicht auf die Zukunft projizieren darf, weil sie eben keine prospektive Sichtweise haben. Ergebnisse solcher Studien können also bestenfalls Ausgangspunkt für eine zielgerichtete prospektive Studie sein, die die retrospektiv ermittelten Ergebnisse dann bestätigt - oder auch nicht.
Das riesige Problem in der Bildungsforschung ist natürlich, dass es so gut wie nie prospektive Studien gibt, die einzig und allein wirklich aussagekräftig wären und aus denen man "Leitlinien für guten Unterricht" entwickeln könnte. Denn das hieße ja, dass Schüler oder Klassen per Zufall mit einer neuen oder einer alten Methode, in großen oder kleinen Klassen, mit oder ohne Methodenwechsel, etc. unterrichtet werden würden, und das über viele Jahre bis Jahrzehnte - welche Eltern würden schon solche Experimente mit ihren Kindern erlauben?
Abgesehen davon hält sich sowieso keine Unterrichtsform sehr lange, da die Politik alle paar Jahre mal wieder irgendeine neue Sau durchs Dorf treibt, die alles hinfällig macht.
Für mich persönlich kann ich nur sagen, dass ich die Ergebnisse von Hattie schon in meinem Unterricht nachvollziehen kann. Aber wie einige Vorredner schon sagten - Statistik sagt nie etwas über den Einzelfall, bzw. die einzelne Klasse und den einzelnen Schüler.