PMM theory, overconfidence, and representative sampling of items : a review of data
Author(s) / Creator(s)
Bröder, Arndt
Abstract / Description
So-called "ecological models", for example the theory of Probabilistic Mental Models (Gigerenzer, Hoffrage & Kleinbölting, 1991) assume that the phenomenon of "overconfidence" is not a cognitive bias per se, but a result of a biased selection of items in typical calibration studies. These models predict the elimination of overconfidence when items are representative for a defined reference class. Furthermore, the well-documented "hard-easy-effect" is expected to be eliminated by representative sampling of items. Studies examining these predictions often use random sampling of items to achieve the goal of representative item pools. Some studies and their results are described in this paper. Results are equivocal: Some studies seem to support ecological models, whereas others do not. The apparently supporting results can possibly be explained by the confounding of sampling procedure with item difficulty. Therefore, it is argued that at least three conditions must be fulfilled in further studies to reach at definitive conclusions concerning ecological models: (1) a "manipulation check" or rational conventions have to be established to test, whether a "representative" set of items was used in a specific study, (2) the effects of difficulty and sampling procedure have to be disentangled, and (3) unsystematic response errors that can mimick apparent overconfidence bias have to be explicitly incorporated into the models and assessment procedures.
Sogenannte "ökologische Modelle" wie die Theorie der Probabilistischen Mentalen Modelle (Gigerenzer, Hoffrage & Kleinbölting, 1991) gehen davon aus, daß das Phänomen der "Overconfidence" keinen kognitiven Fehler darstellt, sondern auf eine verzerrte Auswahl von Items durch die Forscher hervorgerufen wird, die das Phänomen untersuchen. Die Theorien sagen vorher, daß bei einer repräsentativen Auswahl von Items aus einer definierten Referenzklasse keine Overconfidence auftreten darf, ebensowenig wie der im Zusammenhang mit Overconfidence häufig belegte "Hard-Easy-Effekt". In Studien zur Prüfung dieser Vorhersage werden häufig Zufallsstichproben aus einer Referenzklasse gezogen, um eine "repräsentative" Stichprobe zu operationalisieren. Einige Studien mit Zufallsziehung von Items werden in Durchführung und Ergebnis beschrieben. Die Ergebnisse der Studien sind sehr uneinheitlich: Manche stützen die ökologischen Modelle, während andere eher dagegen sprechen. Die anscheinend stützenden Ergebnisse können dabei möglicherweise auf die bisher nahezu vollständige Konfundierung von Ziehungsprozedur und Itemschwierigkeit zurückgeführt werden. Es wird argumentiert, daß für die weitere Untersuchung der ökologischen Modelle drei Bedingungen erfüllt sein müssen, um zu gesicherten Aussagen zu gelangen: (1) ein "manipulation check" oder rational begründetete Konventionen, um für eine gegeben Untersuchung festzustellen, ob eine "repräsentative" Itemauswahl gelungen ist, (2) die Entkonfundierung der Ziehungsprozedur mit der Itemschwierigkeit, und (3) die explizite Beachtung unsystematischer Response Fehler, die einen "Bias" vortäuschen können.
Keyword(s)
Kognitive Psychologie Urteilen Konfidenzurteile Repräsentative Stichprobenziehung Egon Brunswik overconfidence representative sampling Egon BrunswikPersistent Identifier
Date of first publication
1999
Is part of series
Berichte aus dem Psychologischen Institut der Universität Bonn;25, 1
Citation
-
BoBe1999_1.pdfAdobe PDF - 3.36MBMD5: f12d868128ec0d3884f304971bd44158
-
There are no other versions of this object.
-
Author(s) / Creator(s)Bröder, Arndt
-
PsychArchives acquisition timestamp2022-11-17T11:01:04Z
-
Made available on2004-09-06
-
Made available on2015-12-01T10:30:00Z
-
Made available on2022-11-17T11:01:04Z
-
Date of first publication1999
-
Abstract / DescriptionSo-called "ecological models", for example the theory of Probabilistic Mental Models (Gigerenzer, Hoffrage & Kleinbölting, 1991) assume that the phenomenon of "overconfidence" is not a cognitive bias per se, but a result of a biased selection of items in typical calibration studies. These models predict the elimination of overconfidence when items are representative for a defined reference class. Furthermore, the well-documented "hard-easy-effect" is expected to be eliminated by representative sampling of items. Studies examining these predictions often use random sampling of items to achieve the goal of representative item pools. Some studies and their results are described in this paper. Results are equivocal: Some studies seem to support ecological models, whereas others do not. The apparently supporting results can possibly be explained by the confounding of sampling procedure with item difficulty. Therefore, it is argued that at least three conditions must be fulfilled in further studies to reach at definitive conclusions concerning ecological models: (1) a "manipulation check" or rational conventions have to be established to test, whether a "representative" set of items was used in a specific study, (2) the effects of difficulty and sampling procedure have to be disentangled, and (3) unsystematic response errors that can mimick apparent overconfidence bias have to be explicitly incorporated into the models and assessment procedures.en
-
Abstract / DescriptionSogenannte "ökologische Modelle" wie die Theorie der Probabilistischen Mentalen Modelle (Gigerenzer, Hoffrage & Kleinbölting, 1991) gehen davon aus, daß das Phänomen der "Overconfidence" keinen kognitiven Fehler darstellt, sondern auf eine verzerrte Auswahl von Items durch die Forscher hervorgerufen wird, die das Phänomen untersuchen. Die Theorien sagen vorher, daß bei einer repräsentativen Auswahl von Items aus einer definierten Referenzklasse keine Overconfidence auftreten darf, ebensowenig wie der im Zusammenhang mit Overconfidence häufig belegte "Hard-Easy-Effekt". In Studien zur Prüfung dieser Vorhersage werden häufig Zufallsstichproben aus einer Referenzklasse gezogen, um eine "repräsentative" Stichprobe zu operationalisieren. Einige Studien mit Zufallsziehung von Items werden in Durchführung und Ergebnis beschrieben. Die Ergebnisse der Studien sind sehr uneinheitlich: Manche stützen die ökologischen Modelle, während andere eher dagegen sprechen. Die anscheinend stützenden Ergebnisse können dabei möglicherweise auf die bisher nahezu vollständige Konfundierung von Ziehungsprozedur und Itemschwierigkeit zurückgeführt werden. Es wird argumentiert, daß für die weitere Untersuchung der ökologischen Modelle drei Bedingungen erfüllt sein müssen, um zu gesicherten Aussagen zu gelangen: (1) ein "manipulation check" oder rational begründetete Konventionen, um für eine gegeben Untersuchung festzustellen, ob eine "repräsentative" Itemauswahl gelungen ist, (2) die Entkonfundierung der Ziehungsprozedur mit der Itemschwierigkeit, und (3) die explizite Beachtung unsystematischer Response Fehler, die einen "Bias" vortäuschen können.de
-
Persistent Identifierhttps://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:bsz:291-psydok-3221
-
Persistent Identifierhttps://hdl.handle.net/20.500.11780/167
-
Persistent Identifierhttps://doi.org/10.23668/psycharchives.8852
-
Language of contenteng
-
Is part ofBerichte aus dem Psychologischen Institut der Universität Bonn, Band 25, Heft 1
-
Is part of seriesBerichte aus dem Psychologischen Institut der Universität Bonn;25, 1
-
Keyword(s)Kognitive Psychologiede
-
Keyword(s)Urteilende
-
Keyword(s)Konfidenzurteilede
-
Keyword(s)Repräsentative Stichprobenziehungde
-
Keyword(s)Egon Brunswikde
-
Keyword(s)overconfidenceen
-
Keyword(s)representative samplingen
-
Keyword(s)Egon Brunswiken
-
Dewey Decimal Classification number(s)150
-
TitlePMM theory, overconfidence, and representative sampling of items : a review of datade
-
DRO typereport
-
Visible tag(s)PsyDok
-
Visible tag(s)Berichte aus dem Psychologischen Institut der Universität Bonn