Ordering Inductive Reasoning Tests for Adaptive Knowledge Assessments. An Application of Surmise Relations between Tests.

A series of psychological tests assess the ability of inductive reasoning. Examples are analogies, series completions, or matrices with materials varying across verbal, geometric-figural, or numerical content. The purpose of this study is to establish a prerequisite order on different inductive reasoning tests and to provide a basis for an adaptive assessment instrument that covers various types of inductive reasoning problems. To generate a hypothesis on the structure of inductive reasoning tests, I selected the non-numerical knowledge space theory, because in this approach the dependencies among items are interpreted as surmise or prerequisite relations, which establish a partial order on the set of items. A recent generalization of the theory to surmise relations between tests renders similar interpretations with respect to sets of tests instead of items. Thereby, the response patterns in a subset of the tests are inferred from the given responses in some other test. For the establishment of a surmise relation between inductive reasoning tests, five common components for the various problem types were extracted from earlier psychological findings. The principle of componentwise ordering of product sets was applied to define difficulty orders on the components´ attributes and to establish a test knowledge space (i.e. the set of all predicted solution patterns). For the empirical validation of the postulated model, three investigations were conducted. For Investigations I (N = 572 corporal and officer candidates) and II (N = 2628 draftees) the set of related tests comprised a verbal analogy and a geometric matrix test (with 30 and 40 items for Investigations I and II respectively). For Investigation III (N = 121 students of both sexes) the set of tests was extended to four problem types with 5 items each, viz. verbal and geometric analogies, number series completions, and geometric matrices. The validation of the derived models is based on procedures via the surmise relation and via the knowledge space. The results of both procedures indicate a good fit of the models established for Investigations I and III. For Investigation II, the results derived via the surmise relation support the postulated model, whereas the results derived via the knowledge space reveal significant deviations. Considering the possibility of unexpectedly high noise rates in Investigation II, the derived models of all three investigations were implemented into adaptive assessment procedures. Using the postulated knowledge spaces, the adaptive algorithms estimate the complete response patterns from a subset of the given answers. A comparison of the estimated and the empirical patterns showed that the average error rate arising from the adaptive assessments amounts to less than one item per pattern. Moreover, the adaptive algorithms lead to savings of 43.96% to 72.23% of the posed questions. Thus, the presented study shows that ordering inductive reasoning tests on the basis of knowledge space theory provides a good foundation for an integrative and efficient diagnostic instrument in this domain. Further research should focus on the construction of an item and test pool that covers all possible item classes and can subsequently be implemented into a comprehensive adaptive assessment system.

Eine Reihe psychologischer Tests beschäftigt sich mit der Diagnose induktiven Denkens, wobei den Testpersonen verschiedene Aufgabentypen, wie Analogien, Reihenfortsetzen oder Matrizen anhand verbaler, geometrisch—figuraler oder numerischer Materialen vorgegeben werden. Ziel der vorliegenden Arbeit ist es, induktive Denktests derart zu strukturieren, daß unterschiedliche Aufgabentypen in einem umfassenden, adaptiven Testsystem integriert werden können. Für die Strukturierung induktiver Denktests wurde die nicht—numerische Wissensraumtheorie gewählt, die es erlaubt, auf der Menge der Items eine partielle Ordnung zu etablieren und Abhängigkeiten zwischen Testitems als Vermutungs- oder Voraussetzungsbeziehungen zu interpretieren. In einer Verallgemeinerung der Theorie zu Vermutungsrelationen zwischen Tests wird von den Antwortmustern aus einem Test auf die Antwortmuster in weiteren Tests geschlossen. Zur Konstruktion des Wissensraumes (d. h. der Menge aller postulierten Antwortmuster) bzw. der Vermutungsrelation zwischen induktiven Denktests wurden fünf Komponenten, durch die verschiedene Aufgabentypen beschreibbar sind, abgeleitet. Die Voraussetzungsbeziehungen zwischen Items und Tests basieren auf dem Prinzip der komponentenweisen Ordnung, wonach eine Menge von Aufgaben bezüglich ihrer Schwierigkeiten strukturiert wird. Die empirische Validierung der erhaltenen Aufgaben— und Teststrukturen erfolgte mittels drei Untersuchungen. In den Untersuchungen I (N = 572 Offiziers— und Unteroffiziersanwärter) und II (N = 2628 Rekruten) wurden je zwei Tests, bestehend aus verbalen Analogien und geometrischen Matrizen, bearbeitet (mit 30 bzw. 40 Items für die Untersuchungen I bzw. II), während in Untersuchung III (N = 121 SchülerInnen und StudentInnen) die vier Aufgabentypen verbale und geometrische Analogien, Zahlenfolgen und geometrische Matrizen durch jeweils 5 Items präsentiert wurden. Die Validierung der drei Modelle erfolgte für die postulierten Vermutungsrelationen und die zugehörigen Wissensräume jeweils getrennt. Die Ergebnisse der Untersuchungen I und III zeigen eine gute Anpassung der Modelle an die empirischen Daten, während für Untersuchung II zwar die Ergebnisse der Vermutungsrelation den Hypothesen entsprechen, die Ergebnisse des Wissensraums jedoch Modellabweichungen aufweisen. Hinsichtlich der Möglichkeit unerwartet hoher Fehler - und Ratewahrscheinlichkeiten in Untersuchung II, wurden die Modelle aller Untersuchungen in wissensraumbasierte adaptive Testverfahren implementiert. Ein Vergleich der geschätzten mit den empirischen Antwortmustern zeigte, daß die durch die adaptive Diagnose bedingten Abweichungen im Mittel weniger als eine Aufgabe pro Antwortmuster betragen, während die Anzahl der präsentierten Items um bis zu 72.23% reduziert wurde. Die vorliegende Arbeit zeigt, daß die Strukturierung induktiver Denktests auf Basis der Wissensraumtheorie eine gute Grundlage für ein effizientes, adaptives Diagnoseverfahren für diesen Bereich bietet. Für weiterführende Forschungsarbeiten erscheint vor allem die Konstruktion eines Aufgaben - und Testpools, der alle möglichen Aufgabenklassen umfaßt und in ein adaptives Diagnosesystem implementiert werden kann, von Bedeutung.