Conference Object

Data Sharing in der Long-Tail der empirischen Bildungsforschung – Nutzungspotenziale und Limitationen von Sekundäranalysen: Eine Fallstudie am Beispiel epistemologischer Überzeugungen

Author(s) / Creator(s)

Kerwer, Martin

Abstract / Description

Sowohl die Ergebnisse breit wahrgenommener Forschungsinitiativen (z.B. Open Science Collaboration, 2015) als auch Leitlinien wissenschaftlicher Förderorganisation (z.B. Deutsche Forschungsgemeinschaft, 2015) erhöhen über Disziplinen hinweg den Druck auf Forschende ihre Daten zu teilen. Diese Entwicklung betrifft auch immer stärker die empirische Bildungsforschung. Im September 2016 verabschiedete die Deutsche Gesellschaft für Psychologie Empfehlungen zum Datenmanagement in der Psychologie, die das Teilen von Daten, die Publikationen zugrunde liegen, de facto als neue Norm definieren (Schönbrodt, Gollwitzer, & Abele-Brehm, 2016). Vorrangiges Ziel ist hierbei die Stärkung der Transparenz und Qualität der Forschung dadurch, dass die Reproduktion publizierter Analysen auf Grundlage der Primärdaten ermöglicht wird. Jenseits dieses Qualitätssicherungsaspekts werden Daten etablierter Large-Scale-Studies, wie NEPS oder PISA bereits seit einiger Zeit der bildungswissenschaftlichen Fachgemeinschaft zur Verfügung gestellt und zur kosteneffizienten Beantwortung neuer Forschungsfragen genutzt. Ob das gleiche Potenzial für die nun verfügbar werdenden Daten aus kleinen Projekten, der Long-Tail der empirischen Bildungsforschung, besteht und sich durch ihre Öffnung damit die Möglichkeit zu neuen kreativen Wegen der Datennachnutzung innerhalb von Sekundäranalysen bietet, ist noch unklar. Unter anderem ist ungeklärt, wie solche (Nach-)Nutzungsszenarien in der Long-Tail der empirischen Bildungsforschung aussehen könnten und welche neuen methodischen Problemstellungen mit ihnen verbunden sind. Wie belastbar sind Befunde, die aus einer Kombination verschiedener Primärdatensätze hervorgehen und welche validen Schlussfolgerungen können aus ihnen gezogen werden? Diese Fragestellungen werden im vorliegenden Beitrag anhand einer Fallstudie aufgegriffen und Potenziale und Limitationen verschiedener (Nach-)Nutzungsszenarien analysiert. Die exemplarische Fallstudie behandelt die Analyse der differenziellen Ausprägung epistemologischer Überzeugungen während des Hochschulstudiums in verschiedenen Fachdisziplinen. Epistemologische Überzeugungen beschreiben, wie strukturiert und abgesichert Studieninhalte und Wissen einer Disziplin erlebt werden. Unterschiede zwischen harten und weichen Disziplinen gelten hierbei als gut abgesichert (Muis, Bendixen, & Haerle, 2006). Die praktische Bedeutsamkeit epistemologischer Überzeugungen ergibt sich unter anderem daraus, dass sie sich als wichtiger Prädiktor des Wissenserwerbs im Studienverlauf erwiesen haben. Im Kontext dieses anwendungspraktischen Forschungsgegenstands wurden zwei inhaltliche Fragestellungen verfolgt: (1) welche Unterschiede epistemologischer Überzeugungen gibt es zwischen Disziplinen und (2) unterscheiden sich psychometrische Eigenschaften (z.B. die Faktorenstruktur) von Verfahren, die zur Erfassung epistemologischer Überzeugungen eingesetzt werden, zwischen Disziplinen. Zur Beantwortung dieser Forschungsfragen wurde als etabliertes Verfahren zur Erfassung epistemologischer Überzeugungen der CAEB (Stahl & Bromme, 2007) gewählt. Im Forschungsdatenarchiv PsychData konnten zwei öffentlich zugängliche Datensätze gefunden werden, die jeweils dieses Instrument verwendeten: (1) Daten einer Studie von Merk und Bohl (2016), in denen Lehramtsstudierende sowohl die Pädagogik als auch ihre Fachwissenschaft bewerteten (n = 198), und (2) Daten von Mayer, Rosman, Birke, Gorges und Krampen (in press), in denen Informatik- (n = 89) und Psychologiestudierende (n = 137) längsschnittlich untersucht wurden. Diese Datensätze wurden zusammengeführt und auf Grundlage dieses kombinierten Datensatzes wurden die oben ausformulierten Fragestellungen analysiert. Die Analyse der Mittelwertsunterschiede wurde dabei über Regressionsanalysen vorgenommen, während die Analyse der psychometrischen Eigenschaften über Mehrgruppen-Strukturgleichungsmodelle durchgeführt wurde. Unsere Analysen der Mittelwertsstruktur können bestehende Befunde zu Differenzen zwischen weichen und harten Disziplinen größtenteils bestätigen, während Mehrgruppenanalysen der Faktorenstruktur darauf hindeuten, dass bestimmte Items nicht in allen Disziplinen (gleich) funktionieren und diese Unterschiede zwischen Disziplinen beachtet werden sollten. Die Frage nach der Belastbarkeit von Befunden, die auf einer Zusammenführung von Datensätzen basieren, kann anhand der vorliegenden Daten natürlich nicht abschließend beantwortet werden. Insgesamt lässt sich aus einer kritischen Analyse der methodischen Aussagekraft aber ableiten, dass solche Mittelwertsunterschiede vermutlich nur eingeschränkt belastbar sind. Probleme ergeben sich hierbei verstärkt dadurch, dass datenschutzrechtliche Bedenken oft zu einer Entfernung demographischer Variablen führen und damit Einflüsse relevanter Drittvariablen nicht kontrolliert werden können. Die vergleichende Analyse und Validierung psychometrischer Eigenschaften von Messinstrumenten beinhaltet allerdings großes Potenzial auch für die Nachnutzung kleiner Studien. Der Beitrag bietet damit praktische Implikationen sowohl für die epistemologische Forschung als auch für Nachnutzungspotenziale bereitgestellter Daten allgemein.

Keyword(s)

Forschungsdaten Sekundäranalysen Epistemologische Überzeugungen Data Sharing

Persistent Identifier

Date of first publication

2017-03

Is part of

5. Tagung der Gesellschaft für empirische Bildungsforschung, 2017, Heidelberg, Deutschland

Citation

  • Author(s) / Creator(s)
    Kerwer, Martin
  • PsychArchives acquisition timestamp
    2022-11-21T13:51:22Z
  • Made available on
    2017-03-21T14:37:31Z
  • Made available on
    2022-11-21T13:51:22Z
  • Date of first publication
    2017-03
  • Abstract / Description
    Sowohl die Ergebnisse breit wahrgenommener Forschungsinitiativen (z.B. Open Science Collaboration, 2015) als auch Leitlinien wissenschaftlicher Förderorganisation (z.B. Deutsche Forschungsgemeinschaft, 2015) erhöhen über Disziplinen hinweg den Druck auf Forschende ihre Daten zu teilen. Diese Entwicklung betrifft auch immer stärker die empirische Bildungsforschung. Im September 2016 verabschiedete die Deutsche Gesellschaft für Psychologie Empfehlungen zum Datenmanagement in der Psychologie, die das Teilen von Daten, die Publikationen zugrunde liegen, de facto als neue Norm definieren (Schönbrodt, Gollwitzer, & Abele-Brehm, 2016). Vorrangiges Ziel ist hierbei die Stärkung der Transparenz und Qualität der Forschung dadurch, dass die Reproduktion publizierter Analysen auf Grundlage der Primärdaten ermöglicht wird. Jenseits dieses Qualitätssicherungsaspekts werden Daten etablierter Large-Scale-Studies, wie NEPS oder PISA bereits seit einiger Zeit der bildungswissenschaftlichen Fachgemeinschaft zur Verfügung gestellt und zur kosteneffizienten Beantwortung neuer Forschungsfragen genutzt. Ob das gleiche Potenzial für die nun verfügbar werdenden Daten aus kleinen Projekten, der Long-Tail der empirischen Bildungsforschung, besteht und sich durch ihre Öffnung damit die Möglichkeit zu neuen kreativen Wegen der Datennachnutzung innerhalb von Sekundäranalysen bietet, ist noch unklar. Unter anderem ist ungeklärt, wie solche (Nach-)Nutzungsszenarien in der Long-Tail der empirischen Bildungsforschung aussehen könnten und welche neuen methodischen Problemstellungen mit ihnen verbunden sind. Wie belastbar sind Befunde, die aus einer Kombination verschiedener Primärdatensätze hervorgehen und welche validen Schlussfolgerungen können aus ihnen gezogen werden? Diese Fragestellungen werden im vorliegenden Beitrag anhand einer Fallstudie aufgegriffen und Potenziale und Limitationen verschiedener (Nach-)Nutzungsszenarien analysiert. Die exemplarische Fallstudie behandelt die Analyse der differenziellen Ausprägung epistemologischer Überzeugungen während des Hochschulstudiums in verschiedenen Fachdisziplinen. Epistemologische Überzeugungen beschreiben, wie strukturiert und abgesichert Studieninhalte und Wissen einer Disziplin erlebt werden. Unterschiede zwischen harten und weichen Disziplinen gelten hierbei als gut abgesichert (Muis, Bendixen, & Haerle, 2006). Die praktische Bedeutsamkeit epistemologischer Überzeugungen ergibt sich unter anderem daraus, dass sie sich als wichtiger Prädiktor des Wissenserwerbs im Studienverlauf erwiesen haben. Im Kontext dieses anwendungspraktischen Forschungsgegenstands wurden zwei inhaltliche Fragestellungen verfolgt: (1) welche Unterschiede epistemologischer Überzeugungen gibt es zwischen Disziplinen und (2) unterscheiden sich psychometrische Eigenschaften (z.B. die Faktorenstruktur) von Verfahren, die zur Erfassung epistemologischer Überzeugungen eingesetzt werden, zwischen Disziplinen. Zur Beantwortung dieser Forschungsfragen wurde als etabliertes Verfahren zur Erfassung epistemologischer Überzeugungen der CAEB (Stahl & Bromme, 2007) gewählt. Im Forschungsdatenarchiv PsychData konnten zwei öffentlich zugängliche Datensätze gefunden werden, die jeweils dieses Instrument verwendeten: (1) Daten einer Studie von Merk und Bohl (2016), in denen Lehramtsstudierende sowohl die Pädagogik als auch ihre Fachwissenschaft bewerteten (n = 198), und (2) Daten von Mayer, Rosman, Birke, Gorges und Krampen (in press), in denen Informatik- (n = 89) und Psychologiestudierende (n = 137) längsschnittlich untersucht wurden. Diese Datensätze wurden zusammengeführt und auf Grundlage dieses kombinierten Datensatzes wurden die oben ausformulierten Fragestellungen analysiert. Die Analyse der Mittelwertsunterschiede wurde dabei über Regressionsanalysen vorgenommen, während die Analyse der psychometrischen Eigenschaften über Mehrgruppen-Strukturgleichungsmodelle durchgeführt wurde. Unsere Analysen der Mittelwertsstruktur können bestehende Befunde zu Differenzen zwischen weichen und harten Disziplinen größtenteils bestätigen, während Mehrgruppenanalysen der Faktorenstruktur darauf hindeuten, dass bestimmte Items nicht in allen Disziplinen (gleich) funktionieren und diese Unterschiede zwischen Disziplinen beachtet werden sollten. Die Frage nach der Belastbarkeit von Befunden, die auf einer Zusammenführung von Datensätzen basieren, kann anhand der vorliegenden Daten natürlich nicht abschließend beantwortet werden. Insgesamt lässt sich aus einer kritischen Analyse der methodischen Aussagekraft aber ableiten, dass solche Mittelwertsunterschiede vermutlich nur eingeschränkt belastbar sind. Probleme ergeben sich hierbei verstärkt dadurch, dass datenschutzrechtliche Bedenken oft zu einer Entfernung demographischer Variablen führen und damit Einflüsse relevanter Drittvariablen nicht kontrolliert werden können. Die vergleichende Analyse und Validierung psychometrischer Eigenschaften von Messinstrumenten beinhaltet allerdings großes Potenzial auch für die Nachnutzung kleiner Studien. Der Beitrag bietet damit praktische Implikationen sowohl für die epistemologische Forschung als auch für Nachnutzungspotenziale bereitgestellter Daten allgemein.
    de_DE
  • Persistent Identifier
    https://hdl.handle.net/20.500.11780/3728
  • Persistent Identifier
    https://doi.org/10.23668/psycharchives.10025
  • Language of content
    deu
    de_DE
  • Is part of
    5. Tagung der Gesellschaft für empirische Bildungsforschung, 2017, Heidelberg, Deutschland
  • Keyword(s)
    Forschungsdaten
    de_DE
  • Keyword(s)
    Sekundäranalysen
    de_DE
  • Keyword(s)
    Epistemologische Überzeugungen
    de_DE
  • Keyword(s)
    Data Sharing
    de_DE
  • Dewey Decimal Classification number(s)
    150
  • Title
    Data Sharing in der Long-Tail der empirischen Bildungsforschung – Nutzungspotenziale und Limitationen von Sekundäranalysen: Eine Fallstudie am Beispiel epistemologischer Überzeugungen
    de_DE
  • DRO type
    conferenceObject
    de_DE
  • Leibniz institute name(s) / abbreviation(s)
    ZPID
  • Leibniz subject classification
    Psychologie
  • Visible tag(s)
    PsyDok
  • Visible tag(s)
    ZPID