Koe ja todistus: miten osaaminen todennetaan, ja miksi tekoälyn arvio ei kelpaa todistukseen

Lyhyesti

CoreSkillsissä osaaminen todennetaan kahdessa vaiheessa, jotka on erotettu toisistaan tarkoituksella. Koulutus kirjaa taidon, kun sen viimeinen vaihe on tehty; sertifioivan opintopolun koe avautuu, kun kaikki vaaditut taidot on kirjattu. Koe on deterministinen monivalintakoe, jonka jokaisen kysymyksen ihminen on hyväksynyt, ja todistus perustuu vain siihen. Tekoälyopettaja, harjoittelu ja osaamiskartoituksen haastattelu ovat oppimista varten, eivätkä ne vaikuta todistukseen. Todistus on voimassa 12 kuukautta, ja sen voi tarkistaa tunnisteella julkisella sivulla.

Taito kirjautuu koulutuksesta

Opintopolku on joukko taitoja ja kullekin taidolle vaadittu taso yhdestä neljään. Taito kertyy koulutuksista: kun koulutuksen viimeinen vaihe on tehty, taito kirjautuu sillä tasolla, jota koulutus opettaa. Arvo ei koskaan laske, eikä mikään oppijan itse tekemä asetus kirjoita sitä.

Tasojen 3 ja 4 koulutuksissa on tehtävä, ja se on tehty, kun vastaus on palautettu. Arvioijan hyväksyntää ei tarvitse odottaa. Tämä on tietoinen valinta: tasot 3 ja 4 tarkoittavat, että henkilö vastaa asiasta ja ohjaa muita tai ratkaisee rajatapaukset, eikä sellaista tasoa kirjata klikkauksesta, mutta hidas arvioija tai organisaatio, jolla ei ole arvioijaa, ei saa pysäyttää ketään kesken opintopolun.

CoreSkillsin opintopolkuihin kelpaavat vain CoreSkillsin kirjaston koulutukset. Organisaation omat koulutukset kertyvät organisaation omiin opintopolkuihin. Näin todistus tarkoittaa samaa jokaisella asiakkaalla.

Koe

Koe avautuu, kun kaikki opintopolun vaatimat taidot on kirjattu ja kysymyspankissa on vähintään kaksi kertaa kokeen verran hyväksyttyjä kysymyksiä kokeen kielellä. Koe on sillä kielellä, jonka oppija on valinnut asetuksista, jos opintopolkua tarjotaan sillä kielellä, muuten opintopolun omalla kielellä. Jos kysymyksiä ei ole riittävästi, koe ei aukea, ja sivu kertoo sen.

Jokainen koe on samanmuotoinen: kolme osaa, kussakin kymmenen kysymystä ja kuusi minuuttia aikaa. Osat voi tehdä eri päivinä, ja aika alkaa, kun osa avataan. Vastaukset tallentuvat sitä mukaa kuin niihin vastataan, ja jos aika loppuu, osa arvioidaan tallennetuista vastauksista. Koe arvioidaan kokonaisuutena, kun kaikki osat on tehty; vastaamaton kysymys lasketaan vääräksi. 75 prosentin rajalla tarvitaan 23 oikeaa vastausta 30:stä, 80 prosentin rajalla 24. Jos koe ei mene läpi, sen voi tehdä uudelleen heti.

Kysymykset arvotaan niin, että jokaisesta opintopolun taidosta tulee vähintään yksi. Vastuuhenkilön opintopolku vaatii enemmän korkeammalla kynnyksellä ja tasolla, ei pidemmällä kokeella.

Kysymyspankki, jota koulutus ei näytä

Koekysymykset eivät ole oppitunnin tarkistuskysymyksiä. Ne kirjoitetaan erilliseen pankkiin taidoittain koulutusten tekstistä, eikä niitä näytetä koulutuksen aikana. Jokaisen kysymyksen on hyväksynyt ihminen, ja hyväksyjän nimi ja aika on tallennettu. Tekoäly voi hyväksyä kysymyksen omilla porteillaan taidolle, jota mikään sertifioiva opintopolku ei vaadi, mutta koe ei koskaan kysy sellaista kysymystä: opintopolkuun myöhemmin otetun taidon kysymykset kulkevat ihmisen kautta ensin.

Kysymys viittaa pykälään. Kun säädöksestä tulee uusi versio, muuttuneeseen kohtaan nojaavat kysymykset merkitään tarkistettaviksi, eikä koe kysy niitä ennen kuin ihminen on tarkistanut ne. Eri kielten kysymykset kirjoitetaan erikseen samasta aineistosta, ei käännetä, ja jokaisen kielen kysymykset tarkistetaan sillä kielellä.

Todistus ja sen tarkistus

Kun koe on läpäisty, oppija lunastaa todistuksen. Todistusta ei myönnetä automaattisesti: lunastus on oppijan oma teko, ja se edellyttää täytetyt vaatimukset ja läpäistyn kokeen. Todistus on voimassa 12 kuukautta lunastuksesta. Kun aikaa on jäljellä alle 60 päivää, todistus näkyy vanhenevana, ja uusiminen tapahtuu tekemällä koe uudelleen; uusi todistus korvaa vanhan.

Jokaisella todistuksella on luettava tunniste, esimerkiksi CS-4KRT-9WQM-2FHD. Tulosta avaa todistuksen A4-arkkina, jossa ovat tunniste ja tarkistusosoite. Tarkista avaa julkisen sivun, jolla kuka tahansa voi tarkistaa tunnisteella, onko todistus voimassa, kenelle se on myönnetty, mistä opintopolusta ja milloin se vanhenee. Todistuksia ei voi selata eikä hakea nimellä: tiedot näkyvät vain sillä tunnisteella, jonka todistuksen haltija on itse antanut. Todistus, jota kukaan ei voi tarkistaa, olisi koriste.

Työnantaja näkee todistukset organisaation raporteista: kuka on sertifioitu, kuka valmiina kokeeseen ja kenen todistus on vanhenemassa. Siitä kerrotaan artikkelissa Koulutusnäyttö valvojalle.

Miksi tekoälyn arvio ei kelpaa todistukseen

CoreSkillsissä on tekoälyopettaja, jonka kanssa tehtävän voi käydä läpi, harjoittelukeskustelu moduuliin ja osaamiskartoituksen haastattelu. Mikään niistä ei kirjaa taitoa, vaikuta kokeeseen eikä todistukseen. Tämä on tuotteen perusratkaisu, ja sille on kaksi syytä.

Ensimmäinen on luotettavuus. Tekoälyn tekemää arviota voi huijata tekoälyllä: sama malli, joka arvioi vastauksen, osaa myös kirjoittaa sen. Todistus, joka perustuisi tekoälyn arvioon, ei kertoisi valvojalle, osaako henkilö, vaan sen, osaako hän käyttää kielimallia. Deterministinen koe ihmisen hyväksymistä kysymyksistä kertoo sen, mitä kysytään.

Toinen on tekoälyasetus. Sen liitteessä III suuririskisiin käyttötarkoituksiin luetaan tekoälyjärjestelmät, joita käytetään työsuhteessa olevien henkilöiden suorituksen ja käyttäytymisen arviointiin. Työntekijän osaamisen arviointi tekoälyllä ja siitä seuraava todistus olisi juuri sitä, ja se toisi työnantajalle suuririskisen järjestelmän käyttöönottajan velvoitteet. CoreSkills ei tee sitä: tekoäly opettaa ja ehdottaa, ihminen vastaa ja päättää, ja koe todentaa.

Sama raja koskee itsearviota. Osaamiskartoituksen haastattelussa tekoäly ehdottaa tasoja, mutta vain henkilön oma vahvistus tallentaa ne, ja ne tallentuvat omaksi arvioksi, joka ohjaa suosituksia mutta ei koskaan todistusta.

Opintopolku ilman koetta

Kaikki opintopolut eivät pääty kokeeseen. Sertifioiva opintopolku päättyy kokeeseen ja todistukseen; muu opintopolku on suoritettu, kun sen koulutukset on suoritettu, ja suoritus näkyy koulutusnäytössä. Organisaation omat opintopolut voivat olla kumpaa tahansa. Ero on se, mitä raportissa lukee: suoritus tai todistus tunnisteineen.