Abstract
Abstrakt: Å få gode indikatorer på prestasjons- og ferdighetsnivåer blant programvareutviklere har
mange nyttige anvendelser, blant annet i rekrutteringsøyemed, opplæring og ressursplanlegging i ITprosjekter.
Slike indikatorer kan også brukes for å få en mest mulig balansert allokering av
forsøkspersoner (vha blokking) i kontrollerte software engineering eksperimenter, slik at disse får økt
validitet. I de senere år er det blitt stadig vanligere å benytte realistiske programmeringsoppgaver
som krever at studenter eller forsøkspersoner må skrive programkode. Den enkelte oppgave kan i
etterkant vurderes med forskjellige vurderingsmetoder (funksjonell korrekthet, tid, kodemetrikk,
lesbarhet, dokumentasjon, vedlikeholdbarhet osv.) eller skåringsregler (for eksempel vektlegging av
tidsforbruk versus kvalitet på løsning). I tillegg kan den enkelte oppgave være av forskjellig lengde
og struktur, for eksempel oppgaver bestående av flere del-innleveringer med korte tidsfrister eller
større oppgaver med mer fleksible tidsfrister. Valg av vurderingsmetode, skåringsregel og
oppgavestruktur avhenger av mange faktorer; for eksempel tilgjengelig maskinell støtte for
vurderingsmetoder, formålet med undersøkelsen eller tilgjengelighet av manuelle karaktersettere.
Uansett hvilken spesifikk metode, skåringsregel eller oppgavestruktur som velges, vil man behøve en
stor mengde besvarelser for å få gode mål på prestasjons- og ferdighetsnivå, noe som medfører at det
trengs programvare for å effektivt kunne administrere og vurdere oppgavene i etterkant.
Problemstillingen for denne oppgaven er hvordan bygge et rammeverk slik at nye metoder for
vurdering kan legges til på en fleksibel måte, og slik at skåringsregler kan forandres. I tillegg må det
eksistere muligheter for å sammenligne forskjellige karaktersettere, som igjen benytter seg av
forskjellige vurderingsmetoder og skåringsregler. Rammeverket må også kunne administrere
oppgavene slik at nye vurderinger basert på nye vurderingsmetoder, endrete skåringsregler eller nye
karaktersettere kan gjennomføres på en effektiv måte.
Målsetningen for denne oppgaven er først å utvide funksjonaliteten til en eksisterende
prototyperammeverk som er under utvikling ved Simula Research Laboratory. Dernest, å utvikle
funksjonalitet for administrering av eksisterende data fra et gjennomført eksperiment hvor det stilles
forskjellige krav til nye vurderingsmetoder, skåringsregler og karaktersettere.