Report

PMM theory, overconfidence, and representative sampling of items : a review of data

Author(s) / Creator(s)

Bröder, Arndt

Abstract / Description

So-called "ecological models", for example the theory of Probabilistic Mental Models (Gigerenzer, Hoffrage & Kleinbölting, 1991) assume that the phenomenon of "overconfidence" is not a cognitive bias per se, but a result of a biased selection of items in typical calibration studies. These models predict the elimination of overconfidence when items are representative for a defined reference class. Furthermore, the well-documented "hard-easy-effect" is expected to be eliminated by representative sampling of items. Studies examining these predictions often use random sampling of items to achieve the goal of representative item pools. Some studies and their results are described in this paper. Results are equivocal: Some studies seem to support ecological models, whereas others do not. The apparently supporting results can possibly be explained by the confounding of sampling procedure with item difficulty. Therefore, it is argued that at least three conditions must be fulfilled in further studies to reach at definitive conclusions concerning ecological models: (1) a "manipulation check" or rational conventions have to be established to test, whether a "representative" set of items was used in a specific study, (2) the effects of difficulty and sampling procedure have to be disentangled, and (3) unsystematic response errors that can mimick apparent overconfidence bias have to be explicitly incorporated into the models and assessment procedures.
Sogenannte "ökologische Modelle" wie die Theorie der Probabilistischen Mentalen Modelle (Gigerenzer, Hoffrage & Kleinbölting, 1991) gehen davon aus, daß das Phänomen der "Overconfidence" keinen kognitiven Fehler darstellt, sondern auf eine verzerrte Auswahl von Items durch die Forscher hervorgerufen wird, die das Phänomen untersuchen. Die Theorien sagen vorher, daß bei einer repräsentativen Auswahl von Items aus einer definierten Referenzklasse keine Overconfidence auftreten darf, ebensowenig wie der im Zusammenhang mit Overconfidence häufig belegte "Hard-Easy-Effekt". In Studien zur Prüfung dieser Vorhersage werden häufig Zufallsstichproben aus einer Referenzklasse gezogen, um eine "repräsentative" Stichprobe zu operationalisieren. Einige Studien mit Zufallsziehung von Items werden in Durchführung und Ergebnis beschrieben. Die Ergebnisse der Studien sind sehr uneinheitlich: Manche stützen die ökologischen Modelle, während andere eher dagegen sprechen. Die anscheinend stützenden Ergebnisse können dabei möglicherweise auf die bisher nahezu vollständige Konfundierung von Ziehungsprozedur und Itemschwierigkeit zurückgeführt werden. Es wird argumentiert, daß für die weitere Untersuchung der ökologischen Modelle drei Bedingungen erfüllt sein müssen, um zu gesicherten Aussagen zu gelangen: (1) ein "manipulation check" oder rational begründetete Konventionen, um für eine gegeben Untersuchung festzustellen, ob eine "repräsentative" Itemauswahl gelungen ist, (2) die Entkonfundierung der Ziehungsprozedur mit der Itemschwierigkeit, und (3) die explizite Beachtung unsystematischer Response Fehler, die einen "Bias" vortäuschen können.

Keyword(s)

Kognitive Psychologie Urteilen Konfidenzurteile Repräsentative Stichprobenziehung Egon Brunswik overconfidence representative sampling Egon Brunswik

Persistent Identifier

Date of first publication

1999

Is part of series

Berichte aus dem Psychologischen Institut der Universität Bonn;25, 1

Citation

  • Author(s) / Creator(s)
    Bröder, Arndt
  • PsychArchives acquisition timestamp
    2022-11-17T11:01:04Z
  • Made available on
    2004-09-06
  • Made available on
    2015-12-01T10:30:00Z
  • Made available on
    2022-11-17T11:01:04Z
  • Date of first publication
    1999
  • Abstract / Description
    So-called "ecological models", for example the theory of Probabilistic Mental Models (Gigerenzer, Hoffrage & Kleinbölting, 1991) assume that the phenomenon of "overconfidence" is not a cognitive bias per se, but a result of a biased selection of items in typical calibration studies. These models predict the elimination of overconfidence when items are representative for a defined reference class. Furthermore, the well-documented "hard-easy-effect" is expected to be eliminated by representative sampling of items. Studies examining these predictions often use random sampling of items to achieve the goal of representative item pools. Some studies and their results are described in this paper. Results are equivocal: Some studies seem to support ecological models, whereas others do not. The apparently supporting results can possibly be explained by the confounding of sampling procedure with item difficulty. Therefore, it is argued that at least three conditions must be fulfilled in further studies to reach at definitive conclusions concerning ecological models: (1) a "manipulation check" or rational conventions have to be established to test, whether a "representative" set of items was used in a specific study, (2) the effects of difficulty and sampling procedure have to be disentangled, and (3) unsystematic response errors that can mimick apparent overconfidence bias have to be explicitly incorporated into the models and assessment procedures.
    en
  • Abstract / Description
    Sogenannte "ökologische Modelle" wie die Theorie der Probabilistischen Mentalen Modelle (Gigerenzer, Hoffrage & Kleinbölting, 1991) gehen davon aus, daß das Phänomen der "Overconfidence" keinen kognitiven Fehler darstellt, sondern auf eine verzerrte Auswahl von Items durch die Forscher hervorgerufen wird, die das Phänomen untersuchen. Die Theorien sagen vorher, daß bei einer repräsentativen Auswahl von Items aus einer definierten Referenzklasse keine Overconfidence auftreten darf, ebensowenig wie der im Zusammenhang mit Overconfidence häufig belegte "Hard-Easy-Effekt". In Studien zur Prüfung dieser Vorhersage werden häufig Zufallsstichproben aus einer Referenzklasse gezogen, um eine "repräsentative" Stichprobe zu operationalisieren. Einige Studien mit Zufallsziehung von Items werden in Durchführung und Ergebnis beschrieben. Die Ergebnisse der Studien sind sehr uneinheitlich: Manche stützen die ökologischen Modelle, während andere eher dagegen sprechen. Die anscheinend stützenden Ergebnisse können dabei möglicherweise auf die bisher nahezu vollständige Konfundierung von Ziehungsprozedur und Itemschwierigkeit zurückgeführt werden. Es wird argumentiert, daß für die weitere Untersuchung der ökologischen Modelle drei Bedingungen erfüllt sein müssen, um zu gesicherten Aussagen zu gelangen: (1) ein "manipulation check" oder rational begründetete Konventionen, um für eine gegeben Untersuchung festzustellen, ob eine "repräsentative" Itemauswahl gelungen ist, (2) die Entkonfundierung der Ziehungsprozedur mit der Itemschwierigkeit, und (3) die explizite Beachtung unsystematischer Response Fehler, die einen "Bias" vortäuschen können.
    de
  • Persistent Identifier
    https://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bsz:291-psydok-3221
  • Persistent Identifier
    https://hdl.handle.net/20.500.11780/167
  • Persistent Identifier
    https://doi.org/10.23668/psycharchives.8852
  • Language of content
    eng
  • Is part of
    Berichte aus dem Psychologischen Institut der Universität Bonn, Band 25, Heft 1
  • Is part of series
    Berichte aus dem Psychologischen Institut der Universität Bonn;25, 1
  • Keyword(s)
    Kognitive Psychologie
    de
  • Keyword(s)
    Urteilen
    de
  • Keyword(s)
    Konfidenzurteile
    de
  • Keyword(s)
    Repräsentative Stichprobenziehung
    de
  • Keyword(s)
    Egon Brunswik
    de
  • Keyword(s)
    overconfidence
    en
  • Keyword(s)
    representative sampling
    en
  • Keyword(s)
    Egon Brunswik
    en
  • Dewey Decimal Classification number(s)
    150
  • Title
    PMM theory, overconfidence, and representative sampling of items : a review of data
    de
  • DRO type
    report
  • Visible tag(s)
    PsyDok
  • Visible tag(s)
    Berichte aus dem Psychologischen Institut der Universität Bonn