ADAPTIVE ITEM SEQUENCING IN ITEM-BASED LEARNING ENVIRONMENTS

DOCTORAL RESEARCH PROJECT

Kelly Wauters

Om computer-gebaseerde leeromgevingen efficiënter te maken hebben verscheidene onderzoekers de mogelijkheid bestudeerd van het automatisch aanpassen van de leeromgeving aan de behoeften en voorkeuren van de lerende (Wason, 1993). We concentreren ons in dit proefschrift op dynamische, item-gebaseerde adaptieve leeromgevingen waarin de moeilijkheid van het item en de vaardigheid van de lerende ingeschat worden om adaptieve item sequentie en adaptieve feedback mogelijk te maken. Adaptieve item sequentie is een gevestigd begrip in computergestuurde adaptieve toetsen (CAT; Wainer, 2000), waarbij vaak gebruik wordt gemaakt van de item respons theorie (IRT; Hambleton, Swaminathan, & Rogers, 1991). IRT drukt de kans om een bepaald antwoord op een item te observeren uit in functie van bepaalde kenmerken van het item (bv. item moeilijkheid) en van de persoon (bv. vaardigheidsniveau). We onderzoeken hoe het toepassen van IRT nuttig kan zijn voor adaptieve item selectie in leeromgevingen, welke mogelijks kan resulteren in het toenemen van de motivatie, zoals gevonden in toetsomgevingen (Wainer, 2000), en in het bevorderen van leren. Daarnaast gaan we na hoe het gebruik van IRT de basis kan bieden voor het verschaffen van gedetailleerde feedback aan de lerende wat betreft zijn of haar (vooruitgang in) vaardigheid en de kenmerken van de items. Bovendien gaan we de geschiktheid na van enkele alternatieve meetmethodes die al dan niet een IRT model bevatten.
Het doel van dit proefschrift is dan ook het ontrafelen van de mogelijkheden en uitdagingen die samengaan met het extrapoleren van de ideeën van CAT en IRT naar item-gebaseerde leeromgevingen. Dit met het oog op het voorzien van een optimaal leerpad voor iedere lerende door het selecteren van dát specifieke item dat leren maximaliseert en dit gebaseerd op de huidige vaardigheid van de lerende en de moeilijkheidsgraad van het item en door vervolgens de feedback hierop adaptief aan te passen.
Volgend op een algemene inleiding (hoofdstuk 1), geven we een kritische beschrijving van de mogelijkheden en problemen die zich mogelijks stellen bij het toepassen van IRT voor adaptieve item selectie in leeromgevingen, vertrekkende van bestaande onderzoeksliteratuur over elektronische leer- en testomgevingen (hoofdstuk 2). Deze analyse resulteert in de identificatie van drie concrete implicaties van een dergelijke gepersonalizeerde instructie: het inschatten van de moeilijkheidsgraad van elk item, het inschatten van de huidige vaardigheid van de lerende en het optimaliseren van de interactie tussen het item en de lerende.
Deel I van dit proefschrift (hoofdstuk 3) concentreert zich op de eerste uitdaging, namelijk het inschatten van de moeilijkheidsgraad van elk item. We nemen hiervoor zowel de antwoorden op de items (i.e. de score op de items) als de beoordeling over items (i.e. feedback van lerenden en experten) in overweging.
Deel II van dit proefschrift pakt de tweede uitdaging aan, namelijk het inschatten van de huidige vaardigheid van de lerende. Dit deel omvat twee aspecten: het schatten van de initiële vaardigheid van de lerende (hoofdstuk 4) en het volgen van de intra-individuele verandering in vaardigheid (hoofdstuk 5).
Deel III van dit proefschrift brengt duidelijkheid betreffende de derde uitdaging, namelijk het optimaliseren van de interactie tussen het item en de lerende. De aandacht wordt gevestigd op het item sequentie algoritme (hoofdstuk 6) en de notie van adaptieve item feedback (hoofdstuk 7).
Tot slot (hoofdstuk 8) bespreken we de bevindingen van dit proefschrift en bakenen we nieuwe onderzoekslijnen af. Dit proefschrift draagt bij tot het realiseren van adaptieve item sequentie in item-gebaseerde leeromgevingen door het evalueren van de geschiktheid van IRT en alternatieve meetmethodes en door het onderzoeken van een bepaald item sequentie algoritme en adaptieve feedback benadering.
 
In order to make computer-based learning environments more efficient, researchers have been exploring the possibility of an automatic adaptation of the learning environment to the learner’s needs and preferences (Wasson, 1993). In this dissertation, we focus on dynamic, item-based adaptive learning environments in which the item difficulty level and the learner’s ability level are assessed to enable adaptive item sequencing and adaptive feedback. Adaptive item sequencing is well-established in computerized adaptive testing (CAT; Wainer, 2000), which often makes use of the item response theory (IRT; Hambleton, Swaminathan, & Rogers, 1991). IRT expresses the probability of observing a particular response to an item as a function of certain characteristics of the item (e.g., item difficulty) and the person (e.g., knowledge level). We will explore how applying IRT can be helpful for adaptive item selection in learning environments, which could yield an increase in motivation, as is found in testing environments (Wainer, 2000) and enhance learning. In addition to that, we investigate how the use of IRT can help in providing detailed feedback to learners about his or her (progress in) knowledge level and the characteristics of the items. Furthermore, we examine the adequacy of some alternative measurement methods, incorporating an IRT model and otherwise.
Hence, the aim of this dissertation is to unravel the possibilities and challenges that come together with extrapolating the ideas of CAT and IRT to item-based learning environments. By doing so we could provide the optimal learning path for each learner by selecting the problem that maximizes learning based on the learner’s current knowledge level and the difficulty level of the problem and adapting the feedback accordingly. 
After a general introduction (chapter 1), this dissertation provides a critical description of the possibilities and problems that may occur when applying IRT for adaptive item selection in learning environments, starting from existing research literature about electronic learning and testing environments (chapter 2). This analysis results in the identification of three concrete components of such personalized instruction: assessing the difficulty level of each item, assessing the learner’s current ability level and optimizing the interaction between the item and the learner.
Part I of this dissertation (chapter 3) focuses on the first challenge, which is the assessment of the difficulty level of each item. We consider both response data (i.e. the correctness of the response to an item) and judgment data (i.e. learner feedback and expert rating) for the estimation of the item difficulty. 
Part II of this dissertation tackles the second challenge, which is the assessment of the learner’s current ability level. This part embodies two aspects of ability estimation in learning environments: the estimation of the learner’s initial ability level (chapter 4) and the tracking or following of the intra-individual change in ability level (chapter 5).
Part III of this dissertation sheds light on the third challenge, which is the optimization of the interaction between the item and the learner. Attention is drawn to the item sequencing algorithm (chapter 6) and to the notion of adaptive item feedback (chapter 7).
To conclude (chapter 8), we discuss the findings of this dissertation and define new research lines. This dissertation adds to the realization of adaptive item sequencing in item-based learning environments through the evaluation of the adequacy of IRT and alternative measurement methods and through the study of a specific item sequencing algorithm and an adaptive feedback approach.

 

Person in charge of the project

Co-promotor(s)

Duration

  • 2008 -2012
Scroll to top