Kirkpatrick keturių lygių balų modelis
Bene labiausiai žinomas ugdymo proceso vertinimo modelis yraDonaldo Kirkpartiko modelis Keturių lygių vertinimo modelis, kuris pirmą kartą buvo pristatytas straipsnių serijoje 1959 mAmerikos mokymo direktorių draugijos žurnalas (dabar žinomas kaip T+D Magazine). Vėliau ši serija buvo sudaryta ir paskelbta kaip straipsnis.Mokymo programų vertinimo metodai Kirkpatrick knygoje Evaluating Training Programs 1975 m.

Tačiau keturi Kirkpatricko modelio lygiai išpopuliarėjo tik po to, kai buvo išleista jo knyga „Evaluating Training Programs“. 1994 metais. Šiais laikais šie keturi lygiai tapo kertiniu mokymosi pramonės akmeniu.

Nors dauguma ekspertų šiuos keturis mokymosi proceso vertinimo kriterijus vadina „lygiais“, pats „Kirkpatrickas“ šio termino niekada nevartojo, dažniausiai juos vadino žingsniais. (Craigas, 1996). Pridursiu, kad jis to nevadino modeliu, bet naudojo tokius žodžius kaip „vertinimo atlikimo metodai“ (Craig, 1996, p294).

Šie keturi žingsniai susideda iš:

1 veiksmas: atsiliepimas arba reakcija (pirmąjį teksto lygį vadinsiu atsiliepimu) ( reakcija) - Kiek mokiniams patiko/nepatiko mokymosi procesas?;

2 veiksmas: mokymas ( Mokymasis) Ką jie studijavo? (mokinių žinių ir įgūdžių įsisavinimo laipsnis);

3 veiksmas: elgesys ( Elgesys) – Kas dėl mokymosi proceso keičiasi mokinio darbinėje veikloje? (gebėjimas studijose įgytas žinias ir įgūdžius pritaikyti darbe);

4 veiksmas: rezultatai ( Rezultatai) – Kokie yra apčiuopiami (apčiuopiami) mokymosi proceso rezultatai išlaidų mažinimo, veiklos gerinimo, našumo didinimo, efektyvumo didinimo ir pan.?

Kirkpatricko koncepcija yra labai svarbus, nes tai puikus įrankis planuojant, vertinant, diagnozuojant problemas, ypač jei atliekame nedidelius jo patobulinimus, kaip parodyta žemiau.

Ne tik treniruotėms

Kai kurie ekspertai klaidingai mano Kirkpatrick modelis gali būti naudojamas mokymams (čia turime omenyje formalius mokymosi procesus: mokymus, seminarus – E.B. pastaba), tačiau modelis galėtų būti naudojamas darbe su kitais ugdymo procesais. Pavyzdžiui, profesija Žmogiškųjų išteklių plėtra (HRD) yra susijusi ne tik su formalių mokymosi procesų, tokių kaip mokymas, plėtra, bet ir su kitomis formomis, tokiomis kaip neformalusis mokymasis, tobulėjimas, mentorystė ir švietimas (Nadler, 1984). Žmogiškųjų išteklių plėtros (HRD) įkūrėjo Leonardo Nadlerio (1984) išleistame vadove naudojamas Kirkpatrick keturių lygių modelis kaip pagrindinis mokymosi vertinimo modelis.

Pats Kirkpatrickas rašė: „Šie tikslai (nurodydami jo dokumentą) bus taikomi vidaus klasės programoms. Daugelis procedūrų ir principų taikomi visų tipų mokymosi veikloms, tokioms kaip veiklos analizė, dalyvavimas išorinėse programose, programuojamas mokymasis, kuruojamos literatūros skaitymas“ (Craig, 1996, p294).

Keturių pakopų modelio kūrimas

Dėl modelio „amžiaus“, taip pat atsiradus naujoms, modernioms technologijoms, Kirkpatrick modelis dažnai kritikuojamas dėl pernelyg pasenusio ir paprasto. Tačiau nepaisant to, net praėjus penkiems dešimtmečiams po jo pristatymo, nebuvo tinkamo modelio, kuris galėtų pakeisti Kirkpatrick modelį. Ir aš tikiu, kad priežastis, kodėl modelio keitimas nevyksta, yra ta, kad Kirkpatrickas iš esmės buvo teisus, tačiau padarė keletą nedidelių klaidų:

Motyvacija, o ne grįžtamasis ryšys (Motyvacija, o ne reakcija)

Kai besimokantysis juda mokymosi proceso eigoje, pavyzdžiui, e. mokymosi kurse, neformalaus mokymosi epizode ar sulaukęs mentoriaus pagalbos atliekant savo darbinę veiklą, jis turi nuspręsti, į ką pirmiausia atkreipti dėmesį. Jei tikslą ar užduotis jis vertina kaip svarbius ar įmanomus, tada studentas paprastai yra motyvuotas jų siekti. (Markus ir Ruvolo, 1990). Bet jei užduotis jam atrodo silpnai susijusi su jo veikla arba yra tik maža tikimybė sėkmingai atlikti šią užduotį, atitinkamai motyvacija ją atlikti yra menka. Be to, grįžtamojo ryšio vertinimo tyrimai paprastai rodo, kad tai nėra tinkamas sėkmės matas (žr. paskutinę straipsnio dalį Kritika)

Tai skiriasi nuo žodžiųKirkpatrickas(1996), kuris rašė, kad grįžtamasis ryšys yra tai, kaip besimokantieji vertina konkretų mokymosi procesą. Tačiau kuo mažiau svarbi mokomoji medžiaga mokiniui, tuo daugiau pastangų reikia įdėti ją rengiant ir pristatant. Todėl, jei mokymosi medžiaga nėra aktuali besimokančiojo poreikiams, tai mokymosi medžiaga turėtų „užkabinti“ besimokantįjį įmantriu dizainu, humoru, žaidimais ir pan... Tai nereiškia, kad dizainas, humoras ar žaidimai yra nesvarbūs; tačiau jų panaudojimas mokymosi procese yra kur kas daugiau nei tiesiog įdomus procesas, jie padeda ir skatina mokymosi procesą. Ir jei mokymosi medžiaga yra sukurta remiantis aiškiais tikslais ir dizainu, tai padeda mokiniui įveikti atotrūkį tarp esamos ir reikalingos veiklos. Todėl jie (dizainas, humoras, žaidimai) turėtų motyvuoti mokytis – jei taip neįvyksta, vadinasi, kažkas nutiko planuojant ir kuriant mokymosi procesą! Jei staiga pagauni mintį, kad bandai užkabinti mokinius visokiais pagundais (dizainu, humoru, žaidimais), tikriausiai reikia persvarstyti savo ugdymo proceso tikslus.

Veikla, o ne elgesys (našumas, o ne elgesys)

Veikla (našumas) yra geriau nei elgesys (elgesys), nes veikla turi du aspektus: elgesys yra priemonė, o elgesio pasekmė – rezultatas. Ir iš tikrųjų šie rezultatai mus labiausiai domina, ką pastebėjo Gilbertas (1998).

Paverskite jį geresniu modeliu

Modelis, kurio pabaigoje yra du svarbiausi taškai – rezultatai ir elgesys, – apsiverčia ant galvos, nes taškų svarba žmonių mintyse įsirėžia tokia tvarka, kokia jie atsiranda. Taigi apverčiame modelį ir pridedame aukščiau pateiktą informaciją ir gauname:

Rezultatas ( rezultatas) – Koks poveikis (pasekmė ar rezultatas) pagerins jūsų verslą?

Veikla ( Spektaklis) – Ką turėtų daryti darbuotojai, kad pasiektų norimą efektą?

Išsilavinimas ( Mokymasis) – Kokių žinių, įgūdžių, išteklių jiems reikia, kad galėtų vykdyti savo veiklą? (kursai ir užsiėmimai klasėje turėtų būti išvardyti paskutiniai)

Motyvacija ( motyvacija) – Ko jiems reikia norint sąmoningai mokytis ir vykdyti veiklą?

Šis modelis tampa ir planavimo, ir vertinimo įrankiu = problemos diagnozė (Chyung, 2008):

Tikslai (planavimas)	Vertinimo lygis
Kokie yra mūsų įmonės verslo plėtros tikslai?	rezultatus Ar pajuto laukiamas efektas?
Ką mūsų praktikantai turi sugebėti padaryti, kad pasiektų šiuos tikslus?	Veikla Ar įgytus įgūdžius praktikantai perdavė darbui?
Kokių naujų įgūdžių, žinių ir išteklių reikia mokiniams, kad galėtų atlikti veiklą?	Išsilavinimas Ar mokiniai išmoko reikiamų įgūdžių ir (arba) išteklių?
Ko reikia besimokantiesiems, kad jie galėtų sąmoningai mokytis ir atlikti veiklą?	Motyvacija Ar jie motyvuoti mokytis ir dirbti?

Pataisytas modelis dabar gali būti naudojamas planavimui (kairysis stulpelis) ir vertinimui (dešinysis stulpelis). Be to, jis gali būti naudojamas diagnozuojant problemines sritis mokymosi procese. Pavyzdžiui, žinote, kad darbuotojai mokymo procese įgijo reikiamų įgūdžių, bet jų nepritaiko savo darbo metu, tada išryškėja šios probleminės sritys (šiame pavyzdyje tai yra Veiklos langelis arba langelis prie kairėje nuo jo):

Darbuotojo darbo aplinkoje yra kažkas, kas riboja jo išmoktų įgūdžių naudojimą; arba

Pati prielaida, kad šie įgūdžiai lems darbo pasikeitimą, yra klaidinga.

Žemiau esančioje diagramoje parodyta, kaip aukščiau pateikti pakoreguoto modelio procesai dera tarpusavyje.

Organizacija

1. Rezultatai

Sumuojanti sąmata

Veikla

2. Darbo aplinka

Formuojamasis vertinimas

Mokymosi aplinka

3. Mokymas

Formuojamasis vertinimas

Žmonės

4. Motyvacija

Formuojamasis vertinimas

Kaip matyti iš aukščiau pateiktos diagramos, rezultatų vertinimas labiausiai domina verslo valdymą, o kiti trys vertinimo lygiai (našumas, mokymasis ir motyvacija) yra būtini mokymosi dizaineriui įmonėje planuojant ir vertinant mokymosi procesus; ir, žinoma, veiklos vertinimas jam taip pat svarbus kaip verslo plėtros tikslų teikėjas.

Pirmas lygis – rezultatai

Rezultatai arba poveikis

Nors paprastai tai yra sunkiausias ir daug laiko reikalaujantis lygis nei kiti trys lygiai, tai suteikia labai vertingos informacijos: ji įrodo mokymosi procesų ir našumo vertę. Tačiau naudojant Tikslo / plano / įvertinimo modelį procesas turėtų būti paprastesnis ir lengvesnis, o jūs aiškiai įsivaizduosite, ko siekiate. Tai yra. Pradėję ką nors planuoti, greičiausiai suprasite, kaip tai įvertinti.

Motyvacija, mokymasis ir našumas daugiausia priklauso nuo „minkštųjų“ matavimo vienetų (vadinamųjų nefinansinių metrikų); tačiau sprendimus priimantys asmenys, patvirtinantys mokymosi procesus, teikia pirmenybę rezultatams (investicijų grąžai arba poveikiui). Jackas Phillipsas (1996), kuris tikriausiai žino keturių lygiųKirkpatrick modelis , rašo, kad informacijos vertė tampa daug didesnė, jei nuo motyvacijos pereiname prie rezultatų.

Tai, kas išdėstyta aukščiau, nereiškia, kad kiti trys lygiai yra nenaudingi, iš tikrųjų jų naudojimo nauda slypi problemų lokalizavime ugdymo procese:

Motyvacijos balas informuoja, kaip mokymosi procesas atitinka besimokančiųjų lūkesčius (tai matuoja, kaip gerai atliktas mokymosi proceso analizės procesas). Visi kiti lygiai gali būti teisingi, bet jei besimokantieji nemato mokymosi tikslų ir veiklos, jie (besimokantieji) tikriausiai nepasieks mokymosi tikslų.

Mokymosi balas informuoja, kaip mokymosi procesas iš tikrųjų veikia darbuotojų mokymąsi (šis balas parodo, kaip gerai veikia mokymosi proceso ir medžiagos dizainas ir tobulinimas).

Veiklos vertinimas informuoja, kaip gerai išmokti įgūdžiai iš tikrųjų virsta darbuotojo rezultatais (tai matuoja, kaip gerai sekėsi veiklos peržiūros procesas).

Rezultatų vertinimas informuoja apie tai, ką organizacija gauna mainais už tai, ką ji investuoja į mokymosi proceso palaikymą. Sprendimus priimantys asmenys paprastai teikia pirmenybę rezultatams fiksuotais vienetais, nors nebūtinai doleriais ir centais. Pavyzdžiui, finansų ir IT vadovų apklausa parodė, kad jie atsižvelgia į investicijų į klientą orientuotų technologijų mokymą grąžą tiek kietaisiais (kietaisiais), tiek minkštaisiais matavimo vienetais (minkštaisiais), nors ši dalis yra didesnė nefinansinėse metrikose ( minkštas ), pavyzdžiui, klientų pasitenkinimas ir lojalumas (Hayes, 2003).

Pastebėsiu skirtumą tarp „informacijos“ ir „grąžinimo“. Motyvacijos, mokymosi ir našumo matavimai suteikia informacijos, skirtos tobulinti ir įvertinti mokymosi procesą, kuri didžiąja dalimi priklauso įmonės mokymosi dizaineriams; o rezultatų dimensija suteikia investicijų grąžos į mokymosi procesą matą, kuris labiau susijęs su verslo lyderiais.

Rezultatas gali būti vertinamas taikant subalansuotos rezultatų kortelės metodą (Kaplan ir Norton, 2001), kuris parodo poveikį arba investicijų grąžą iš keturių perspektyvų:

Finansinis: metrikos, pvz., IG, matavimas, parodantis piniginę investicijų grąžą arba proceso rezultatų efektyvumą. Finansiniai rodikliai gali turėti ir „minkštuosius“, ir „kietus“ rezultato matavimo vienetus.

Klientas: tobulinti sritį, kurioje organizacija išsiskiria iš konkurentų pritraukdama, išlaikydama, užmegdama gilius ir ilgalaikius santykius su tiksliniais klientais.

Vidinis: tobulumo siekimas tobulinant procesus, tokius kaip tiekimo grandinės valdymas, gamyba ar techninė pagalba.

Inovacijos ir mokymasis: mokymosi procesas palaiko organizacijos klimato kaitą, inovacijas ir individualų tobulėjimą

Antras lygis – veikla

Šis vertinimas apima stažuotojo gebėjimo integruoti mokymosi procese įgytus įgūdžius į darbą patikrinimą. Šis vertinimas gali būti atliekamas formaliai (testavimas) arba neformaliai (stebėjimas). Tai lemia tai, kaip jie atsako į klausimą: ar darbuotojai naudoja naujai įgytus įgūdžius darbo procese?

Labai svarbu matuoti veiklos rezultatus, nes pagrindinis įmonių mokymų tikslas – gerinti rezultatus, perkeliant darbuotojams naujas žinias ir įgūdžius, kad jie vėliau galėtų juos pritaikyti savo darbe. Veikla turėtų būti vertinama tiek, kiek darbuotojai atlieka savo darbą; matavimą paprastai turėtų atlikti specialistas, glaudžiai susijęs su mokiniu: vadovas, apmokytas stebėtojas arba pašnekovas.

Trečias lygis – mokymasis

Tai matas, kaip giliai besimokantys mokosi, ugdo įgūdžius ir keičia požiūrį bei nuostatas dėl dalyvavimo mokymosi procese. Mokymosi vertinimui paprastai reikia atlikti testavimą, kad būtų galima nustatyti, kokių įgūdžių besimokantieji išmoko proceso metu ir kokius įgūdžius besimokantieji jau turi.

Mokymosi rezultatų vertinimas yra svarbus siekiant patvirtinti mokymosi tikslus. Mokymosi aspektas paprastai sutelkiamas į šiuos klausimus:

Kokios žinios įgytos?

Kokie įgūdžiai buvo išugdyti?

Kokie nustatymai buvo pakeisti?

Kuriamas mokinio vertinimas, siekiant išsiaiškinti, ar mokinys gali atlikti tam tikrą veiklą. Yra du šio proceso aspektai: faktinis informacijos ir duomenų rinkimas (stažuotojo testavimas) ir šios informacijos įvertinimas (ką sako šie duomenys?). Šio vertinimo nereikėtų painioti su mokymosi vertinimu (įvertinimas). Vertinimas parodo besimokančiųjų pažangą ir individualius pasiekimus, o mokymosi įvertinimas (įvertinimas) apskritai apie mokymo programų vertinimą (Tovey, 1997, p88).

Ketvirtas lygis – motyvacija

Šio lygmens vertinimas matuoja, kaip besimokantieji suvokia mokymosi procesus ir veiklą ir į juos reaguoja. Šis lygis matuojamas naudojant požiūrio klausimynus (motyvavimo klausimynus), siūlomus po daugelio mokymų. Besimokantieji dažniausiai puikiai žino, ko jiems reikia užduočiai atlikti. Jeigu ugdymo procesas netenkino jų poreikių, tuomet reikia apsispręsti: arba tai pedagoginio dizainerio (specialisto, projektuojančio ugdymo procesą įmonėje) klaida, arba mokiniai neįvertino šio proceso privalumų.

Kai mokinys pradeda studijuoti mokomąją medžiagą, kad ir kokia ji būtų: eLearning, mLearning, mokymas klasėje ar mokymasis per socialinius tinklus, jis turi nuspręsti, į ką pirmiausia atkreipia dėmesį šioje medžiagoje.Jei tikslą ar užduotis jis vertina kaip svarbius ar įmanomus, tada studentas paprastai yra motyvuotas jų siekti. (Markus ir Ruvolo, 1990). Bet jei užduotis jam atrodo silpnai susijusi su jo veikla arba yra tik maža tikimybė sėkmingai atlikti šią užduotį, atitinkamai motyvacija ją atlikti yra menka.

Kritika

Yra trys probleminės Kirkpatrick modelio prielaidos: 1) lygiai nėra išdėstyti didėjančia tvarka (nėra lygių hierarchijos); 2) lygiai nėra vienas su kitu priežastiniu ryšiu susiję; 3) lygiai teigiamai koreliuoja vienas su kitu (Alliger ir Janak, 1989).

Vienintelė Kirkpatrick keturių lygių modelio dalis, kuri neatlaikė laiko išbandymo, yra atsiliepimai (pirmasis lygis). Pavyzdžiui, mokyklos „XXI amžiaus treneris“ pirmajame lygyje – grįžtamojo ryšio lygmenyje – vienas žemiausių balų, tačiau ji atsakinga už aukštus veiklos rodiklius (ketvirtasis lygis), kuriais matuojamas jos absolventų produktyvumas. Ir tai nėra pavienis atvejis: nuo tyrimo iki tyrimo rezultatai rodo labai mažą koreliaciją tarp grįžtamojo ryšio ir to, kaip gerai darbuotojai atlieka veiklą po mokymų (Boehle, 2006).

Daug svarbiau nei grįžtamojo ryšio matavimas, kaip nustatėme, yra mokinių paruošimas mokymosi procesui per pokalbius su vadovu apie būtinybę dalyvauti mokymuose, o po to atliekami tolesni veiksmai, siekiant užtikrinti, kad jie įsisavintų perduotus įgūdžius. mokymosi procese (Wick ir kt., 2006), ir tai yra dar viena priežastis, kodėl „Grįžtamasis ryšys“ turėtų būti pakeistas į „Motyvacija“.

Keturių lygių Kirkpatrick modelis taikomas tik pasibaigus ugdymo procesui. Vertinimo tikslas turėtų būti lydėti visą ugdymo procesą, pradedant nuo pradinio etapo – etapo, einančio prieš ugdymo procesą.

Tiesą sakant, ši kritika nėra tiksli. Pvz.,ASTD mokymo ir tobulinimosi vadovas (1996), išleistas Robert Craig, apima skyriųKirkpatrickaspaprastu pavadinimu „Įvertinimas“. Šiame skyriuje Kirkpatrick aptaria kontrolines grupes, taip pat „prieš ir po“ metodus (pvz., prieš ir po testavimo). Toliau jis aptarė, kad ketvirtasis lygis turėtų apimti įvertinimą po mokymų praėjus trims ar daugiau mėnesių nuo mokymo proceso pabaigos, kad būtų galima stebėti, kaip stažuotojai pradėjo taikyti mokymų metu įgytus įgūdžius. Kirkpatrickas taip pat pažymi, kad vertinimas turėtų būti įtrauktas į visus mokymosi proceso etapus ne tik per kiekvieną sesiją ar modulį, bet ir po kiekvieno dalyko ar temos.

Keturių lygių modelis tinka tik mokymuisi klasėje, o ne kitoms mokymosi formoms

Kaip nurodyta skiltyje „Ne tik mokymui“ (žr. aukščiau),Kirkpatrickasrašė apie galimybę naudoti keturių lygių modelį kitoms mokymosi ir žmogiškųjų išteklių rūšims, kuris padeda aptarnauti tiek formaliojo, tiek savaiminio mokymosi procesus ir kurKirkpatrick modelis yra vienas pagrindinių vertinimo modelių. Ir galbūt tikroji priežastis neformalaus mokymosi šalininkai nemato naudojimo naudosKirkpatrick modeliai kad keturi lygiai „buvo sugalvoti ne jiems“.

Keturi vertinimo lygiai yra mažai svarbūs kitiems įmonės padaliniams ir verslo sritims.

Viena geriausių knygų apie mokymąsi ir tobulėjimąŠešios proveržio mokymosi disciplinos parašė Wick, Pollock, Jefferson, Flanagan (2006). Atrodo, kad jie išsako pagrįstiausią mano matytą kritiką: „Deja, šis modelis nėra plačiai pritaikytas tarp verslo linijų vadovų, kurie yra tiesiogiai susiję su mokymosi rezultatais. Taigi, kai mokymosi skyrių vadovai rašo ar kalba apie klasių lygiusKirkpatrick modeliai su kolegomis versle, užuot aišku, tai dažniau painioja diskusiją ir reikalauja daugiau pastangų, kad suprastume verslą ir mokymosi funkciją.

Ir visai įmanoma, kad ši kritika iš tikrųjų yra nukreipta ne priešKirkpatrick modeliai , bet prieš tuos iš mūsų, kurie palaiko ryšius su verslu. Verslui sakome: pirmas lygis parodo, kaip besimokantys yra patenkinti mokymais, antrame lygyje jie sėkmingai išlaikė testą ir t.t. visame modelyje. Be to, remiantis mano matytais tyrimais, mokymosi rezultatai retai naudojami (tai yra tai, ką verslas vertina labiausiai). Visi kiti vertinimo lygiai gali būti naudingi tik kuriant mokymosi procesą, nes padeda suprasti, kokio tipo vertinimą taikyti kokiai probleminei situacijai. Tačiau už šių ribų šie lygiai niekam neįdomūs. Daugumą vadovų domina tik mokymo poveikis ir atsakymas į klausimą: ar ištekliai, kuriuos išleidome darbuotojų mokymui, prisideda prie mūsų verslo plėtros ir klestėjimo?

1959 m. Donaldas Kirkpatrickas pasiūlė treniruočių efektyvumo vertinimo modelį, kuris šiandien yra klasikinis. Autoriaus nuomone, šis vertinimas leidžia išspręsti tris pagrindinius organizacijos uždavinius (2.1.6 pav.).

Ryžiai. 2.1.6.

Šis modelis sukurtas remiantis keturiais personalo mokymo efektyvumo vertinimo lygiais (2.1.7 pav.):

1) studentų reakcijos į mokymo programą, kuri vykdoma apklausiant ar vertinant atsakymų lapus;
2) žinios ir patirtis, įgytos studento mokymo programoje - įgytų žinių įsisavinimo laipsnio nustatymas naudojant testus, užduotis, simuliacijas;
3) elgesys darbo vietoje – šis etapas yra vienas iš sunkiausiai vertinamų, nes mokymų poveikis gali būti nepastebimas iš karto. Tačiau atlikus darbuotojų darbo apklausą darbo vietoje, patikrinus veiksmų planus, tiek visos organizacijos, tiek atskiro darbuotojo tikslų ir uždavinių supratimo laipsnį, galima nustatyti mokymo sėkmę;
4) mokymo programos įtaka organizacijos veiklai. Vyksta identifikuojant pagrindinius mokymo efektyvumą atskleidžiančius veiksnius (produktyvumo didinimas, kokybės gerinimas, nelaimingų atsitikimų skaičiaus mažinimas, pardavimų padidėjimas, darbuotojų kaitos mažinimas). Tuo pačiu prieš treniruotę svarbu žinoti tikslius šių rodiklių duomenis, t.y. į rezultatus įtraukiami tik tie pokyčiai, kurie įvyko po darbuotojų mokymų.

Ryžiai. 2.1.7.

Nepaisant to, kad D. Kirkpatrickas buvo nusiteikęs prieš finansinį mokymų efektyvumo matavimą, 1991 metais Jackas Philipsas pasiūlė penktąjį vertinimo lygmenį, nulemiantį ketvirto lygio rezultatus pinigine išraiška. Jo modelis – investicijų grąža – leidžia įvertinti skirtumą tarp pelno, gauto iš mokymo programos, ir mokymo kaštų ir nustatomas pagal formulę 1

Kadangi daugeliui darbdavių kaštų rodikliai yra lemiamas veiksnys nustatant darbuotojų mokymo programas, tai yra įvertinimas IG yra paklausus dėl galimybės įvertinti edukacinę programą kaip verslo priemonę, taip pat pagrįsti visas mokymo išlaidas.

Kaip jau minėta, šiuolaikiniai darbdaviai personalo mokymo išlaidas vertina kaip investiciją į būsimą įmonės konkurencingumo augimą. Tačiau tam, kad išlaidos visiškai pasiteisintų, būtina kokybiškai įvertinti mokymo sistemos veiklos rodiklius. Be to, galite analizuoti vidinius ir išorinius veiksnius, skatinančius naudoti vertinimo technologiją organizacijoje, taip pat tikėtiną riziką, susijusią su mokymo efektyvumo vertinimu. Tuo pačiu metu kiekviena rizikos grupė patiria apčiuopiamą įtaką iš samdančios organizacijos pusės.

Pavyzdžiui, jų derinimo su įmonės plėtros perspektyvomis, aplinka tvarka, mokymų poreikio įvertinimas pradiniame mokymo sutarties tvirtinimo etape sumažins rizikas, susijusias su mokymo tikslų ir įmonės poreikių neatitikimu.

Personalo skyriaus specialistų atliktas mokymo programų vertinimas, šių programų atitikties kompetencijoms, reikalingoms rengti ir mokymo standartams vertinimas, padės sumažinti rizikas, susijusias su žema mokymo kokybe (2.1.8 pav.). . Mokymus vedantys specialistai taip pat gali būti tikrinami tikrinant jų pažymėjimus, darbo patirtį kitose įmonėse, veiklos rezultatus.

Žemos darbuotojų motyvacijos mokymuose rizika gali būti išspręsta sukūrus kokybišką motyvavimo ir skatinimo sistemą, lemiančią ryšį tarp darbuotojo įgūdžių lygio ir jo karjeros augimo bei materialinių paskatų.

Vikhansky O.S. Strateginis valdymas: vadovėlis. 2 leidimas, pataisytas. ir papildomas M.: Gardariki, 2003. 296 p.

Ryžiai. 2.1.8.

Siekiant sumažinti tikimybę, kad specialistas po mokymų išeis iš įmonės, galima sudaryti susitarimą dėl privalomo bendradarbiavimo tam tikram laikotarpiui. Be to, motyvavimo sistemos rėmuose sėkmingai mokymus baigę darbuotojai gali būti siunčiami įgyvendinti ar koordinuoti didelių projektų įmonės viduje, vadovauti įmonės filialams ar kitiems struktūriniams padaliniams 1 . Galimos rizikos, rengiant organizacijos personalą, analizė ir jų mažinimo būdai pateikti pav. 2.1.9.

Personalo mokymo sėkmė organizacijoje priklauso ne tik nuo mokymo efektyvumo įvertinimo, bet ir nuo kiekvieno iš etapų tam tikra seka įgyvendinimo kokybės.

1. Parengiamasis etapas- organizacijos strateginių tikslų dirbant su personalu nustatymas, organizacijos pasirengimo investuoti į savo vystymąsi lygis, laukiamų mokymo rezultatų ir jų panaudojimo metodų formavimas.
2. Treniruočių poreikių nustatymas apima informacijos apie darbuotojus vertinimą (stažas, darbo patirtis, pagrindinis išsilavinimas, ar darbuotojas anksčiau dalyvavo mokymo ar kvalifikacijos kėlimo programose); duomenų analizė apie

Lksenova O.L. Problemos ir prioritetinės sritys kuriant korporatyvinę organizacijos personalo mokymo sistemą. URL: http://www. treko.ru/show_article_1009

dienos pažymėjimai; esamų problemų personalo darbe įvertinimas, kurių priežastis – pakankamai žinių ir įgūdžių stoka; paraiškų mokymams rinkimas iš padalinių vadovų, taip pat darbuotojų mokymo pasiūlymų rinkimas anketomis; darbas su personalo rezervu; karjeros planavimas.

3. Mokymai vadovams ir darbuotojams remiantis nustatytais mokymosi tikslais, planuojamais rezultatais, kaip įmonės plėtros strategijos dalimi.
4. Treniruočių efektyvumo įvertinimas.
5. Rezultatų analizė, mokymo programų koregavimas.

Ryžiai. 2.1.9.

Konkurencijos darbo rinkoje sąlygomis tapo akivaizdu, kad mokymo efektyvumo tikrinimas tik subjektyviai vertinant darbuotojų elgesio pokyčius darbo vietoje nėra pakankamas ir patikimas.

Mūsų nuomone, ši technika yra netobula, todėl ją reikia tobulinti. Prie mokymosi proceso ir jo vertinimo kaip formalios procedūros, darbdaviai pamiršta, kad į tai investuoja daug pinigų, nors iš savo darbuotojų kompetencijos augimo galėtų sulaukti realaus teigiamo efekto.

Vertinimo sistemoje svarbus žingsnis turėtų būti praktinių įgūdžių vertinimas (žr. 4-5 punktus), tiksliau, darbuotojo gebėjimas ir gebėjimas įgytas teorines žinias pritaikyti praktikoje. Organizacija turi sudaryti sąlygas šiems gebėjimams realizuoti, t.y. personalo mokymo sistema turėtų būti kuriama ne formaliais pagrindais, o realiais tam tikrų darbuotojų kompetencijų ugdymo poreikiais, kurių reikia įmonei šiame darbo etape.

Personalo mokymo vertinimo metodika, pagrįsta vertinimo integravimu pagal Kirkpatrick modelį

Remdamiesi Kirkpatrick modeliu, pristatome mokymų efektyvumo vertinimo tvarką ir mūsų sukurtą mokymų vertinimo metodiką.

Mokymų vertinimo procedūros įgyvendinimas apima šešis pagrindinius etapus (2.1.10 pav.).

1. Klausytojų reakcijos įvertinimas arba pasitenkinimo mokymosi procesu vertinimas dažniausiai atliekamas analizuojant atsakymų lapus arba nesudėtingas anketas, kurių pagrindiniai tikslai – nustatyti mokymų naudingumo lygį, pasitenkinimą mokymosi procesu, trenerio darbu.
2. Žinių ir įgūdžių vertinimas reiškia mokymui nustatytų tikslų pasiekimo laipsnio įvertinimą. Pagrindinės priemonės šiame etape yra profesionalų testavimas, kuris atliekamas prieš mokymą, taip pat egzaminai žodžiu ar raštu.
3. Elgesio darbo vietoje įvertinimas, yra vienas iš sunkiausių etapų, nes jis apima mokymų dalyvių elgesio pasikeitimo darbo vietoje įvertinimą. Vertintojo darbą gali sudaryti koučingo tipo pokalbis, siekiant išsiaiškinti, kaip darbuotojas supranta savo darbo tikslus ir indėlį į bendrą reikalą, taip pat bendro socialinio ir psichologinio kolektyvo klimato įvertinimo.
4. Įgytų įgūdžių tikrinimas apmokant kitus darbuotojus, pranešimų vedimas vadovams mokymų sesijos klausimais, pagalba adaptuojant ir apmokant naujus darbuotojus, rengiant pranešimus su kolegomis iš kitų padalinių.
5. Kadangi žinių turėjimas ne visada siejamas su jų praktinio pritaikymo galimybe, tai svarbus vertinimo etapas yra praktinių įgūdžių vertinimas. Jis turėtų nustatyti, kiek darbuotojas yra pasirengęs atlikti naujas užduotis, remiantis mokymo rezultatais. Patikrinimo galimybės gali būti: veiksmų plano kūrimas bet kuriai įmonės veiklos sričiai tobulinti, standartinio dokumento, reglamento, darbo standarto sukūrimas, projekto rengimas ir įgyvendinimas, siuntimas kitiems filialams ir padaliniams keistis patirtimi ir kt. .
6. Mokymo programos poveikio įvertinimas nustato, kiek pasikeitė įmonės veiklos rezultatai. Sunkiausia yra nustatyti pagrindinius rodiklius, kuriems įtakos turi rengiami mokymai. Kalbant apie finansinius duomenis, tokius kaip pardavimai, pelnas, sąnaudos, gana sunku išmatuoti mokymų indėlį, nes surengti mokymai nėra vienintelis veiksnys, turintis įtakos šiems rodikliams. Tai yra, gamybos rodikliai yra vertinami (gerinant kokybę, didinant darbuotojų našumą, didinant pardavimus, mažinant nelaimingų atsitikimų ir traumų darbe skaičių, mažinant klientų aptarnavimo laiką, mažinant gamybos kaštus ir kt.).

Krizės metu svarbus ir mokymo programos palaikymas, nes dinamiškai kintančiomis sąlygomis gali būti prarasta galimybė praktiškai panaudoti edukacinių programų metu įgytus įgūdžius. Esant tokiai situacijai, optimalu su darbuotoju vesti konfidencialų pokalbį, paaiškinti esamos situacijos priežastis, kartu kurti alternatyvius praktinio žinių pritaikymo metodus (stažuotę, projektų valdymą, patirties įgijimą kitose šakose ar mentorystės ugdymą). sistema). Taip išvengsite darbuotojų demotyvacijos, įsitraukimo į darbo veiklą lygio, taip pat lojalumo vadovybei lygio ir supratimo apie organizacijos plėtros strategiją.

Ryžiai. 2.1.10.

Taigi visų etapų įgyvendinimas leis kokybiškai įvertinti organizacijos personalo mokymo efektyvumą. Tačiau nereikia pamiršti, kad vertinimas nėra savitikslis, o tik priemonė rasti visos sistemos veikimo trūkumus, tobulinimo ir tobulinimo sritis arba technologija, įrodanti mokymo naudingumą ekonominiu požiūriu. peržiūrėti.

Kadangi personalo mokymas yra gana brangi procedūra, darbdaviai pradėjo atsakingai žiūrėti tiek į mokymo metodų pasirinkimą, tiek į visos mokymo sistemos formavimą. Svarbus jo elementas buvo personalo mokymo sistemos efektyvumo įvertinimas, leidžiantis susieti mokymo kainą su jos efektyvumu.

Patobulinto mokymo efektyvumo vertinimo modelio naudojimas leidžia pagrįsti mokymo svarbą bendroje darbo su personalu sistemoje, nustatyti tam tikrų mokymo metodų naudojimo racionalumą, taip pat nustatyti trūkumus skirtinguose mokymo etapuose ir koreguoti programas tolesnei sėkmingai įmonės veiklai.

Udovidnenko R.S., Kireeva V.S. Personalo mokymo efektyvumo vertinimo modelių lyginamoji analizė // Šiuolaikinės mokslo ir švietimo problemos. 2014. Nr.6.
Turčinovas L.I. Personalo politika ir personalo valdymas: teorijos ir praktikos problemos // Komunikologija. 2014. V. 7. Nr. 5. S. 103-117.

Donaldas Kirkpatrickas yra Viskonsino universiteto profesorius emeritas, keturių lygių mokymo programų efektyvumo vertinimo metodo autorius, verslo treneris, taip pat emeritas Kirkpatrick and Associates pirmininkas.
Jis yra Kirkpatrick modelio, pripažinto geriausiu personalo profesinio mokymo modeliu visame pasaulyje, įkūrėjas.

Kirkpatrick indėlis į mokymo programų kūrimą

Kai D. Kirkpatrickas dirbo dėstytoju universitete, jam kilo mintis, kad būtų gerai ne tik pamokas vesti, bet ir įvertinti.
Iš pradžių jis norėjo įvertinti auditorijos reakciją į jo paskaitas ir seminarus. Tačiau šito nepakako. Toliau jis norėjo sužinoti, ar mokiniai ko nors išmoko iš jo pamokų, kaip šias žinias pritaiko praktikoje, ar pasikeitė jų elgesys ir ar sulaukė teigiamų rezultatų?
Tai buvo gerai žinomo mokymo efektyvumo vertinimo modelio pagrindas. Šis modelis susideda iš keturių lygių:
1) Reakcija (šio lygmens vertinimas lemia, kaip į ją reaguoja programos dalyviai, t.y. tai mokinių minčių, jausmų ir emocijų virtinė).
2) Išsilavinimas (šiame lygyje įgytas žinias ir įgūdžius vertina mokiniai).
3) Elgesys (šiam etapui būdingas mokinių elgsenos pokyčių įvertinimas įgytų žinių įtakoje).
4) Rezultatai (tai apima visus pokyčius, kurie įvyko su mokymo programos dalyviais).
Po to Donaldas Kirkpatrickas parašė disertaciją tema „Mokymosi vertinimas žmonių santykių srityje. vykdomąją programą ir Viskonsino universitete įgijo daktaro laipsnį.

Ką parašė Kirkpatrickas?

Po 5 metų jis parašė keturis straipsnius Amerikos mokymosi ir tobulėjimo draugijai. Šiuose straipsniuose buvo tiesiogiai aptariamas kiekvienas mokymosi vertinimo modelio lygis. Vėliau draugija pripažino Kirkpatricką „guru“ mokymosi vertinimo srityje.
Jis gana rimtai žiūri į savo mokymosi vertinimo modelio taikymą ir teigia, kad tiesiog nepriimtina apsigyventi ties pirmąja ir antra. Būtina gauti informaciją kiekvienam etapui.
Pagrindiniai Donaldo Kirkpatricko darbai:

„Mokymo programų vertinimas: keturi lygiai“ (1975);
„Keturi žingsniai į efektyvų mokymą“;
„Kaip planuoti ir vesti gamybinius susirinkimus“;
„Efektyvus pokyčių valdymas“.

Visos jo knygos tapo bestseleriais ir parduotos milijonais kopijų.
Peru D. Kirkpatrickui priklauso daugybė straipsnių, kurie buvo publikuoti nuo 1959 iki 2011 m.

Kirkpatricko pasiekimai

Ginčai dėl Kirkpatricko pasiūlyto modelio nerimsta, tačiau vis dėlto jis buvo ir išlieka vienas pagrindinių mokymo ir švietimo srityje.
Donaldo Kirkpatricko karjera labai sėkminga: jis parašė keletą knygų, kurios šiuo metu yra daugiausiai cituojamos; buvo Amerikos mokymo ir plėtros draugijos prezidentas.
Ilgą laiką jis ir toliau užsiėmė visuomenine veikla, rašė straipsnius ir vedė seminarus didžiausiuose pasaulio forumuose.
Garsus treneris visą savo laisvalaikį skiria žvejybai, golfui ir šeimai.
Iki šiol Donaldas Kirkpatrickas pasitraukė iš viešumos ir pradėjo naudoti savo literatūrinius bei muzikinius gabumus kurdamas dainas.

Nuorodos

Tai enciklopedinio straipsnio šia tema anga. Prie projekto kūrimo galite prisidėti tobulindami ir papildydami leidinio tekstą pagal projekto taisykles. Galite rasti vartotojo vadovą

Termino tipas: Apibrėžimas

Terminas: Kirkpatrick modelis

Alternatyvūs terminai: -

Trumpas aprašymas: Kirkpatrick modelis – keturių lygių modelis, skirtas treniruočių efektyvumui įvertinti

Ilgas aprašymas:

Kirkpatrick modelis- keturių lygių mokymo efektyvumo vertinimo modelis:

Reakcija (emocinis lygis)

Asimiliacija (žinių lygis)

Elgesys (įgūdžių lygis)

Rezultatas

Reakcija (emocinis lygis)- emocinis dalyvių mokymų įvertinimas . Viena vertus, pati teigiama reakcija nėra labai svarbi, nes „patiko treniruotė“ nereiškia „veiksmingos treniruotės“. Tai negali niekaip pakeisti dalyvių. Kita vertus, šio faktoriaus nevertėtų nuvertinti: pasitenkinimas mokymais – sėkmingam mokymui reikalingas dalyvių susidomėjimas, dėmesys ir teigiamas požiūris.

Asimiliacija (žinių lygis) parodo, kokių žinių, įgūdžių, technikų ir metodų įgijo mokymų dalyviai. Naujų žinių įgijimas yra svarbus, bet nepakankamas mokymo rezultatas. Norint įgyti žinių, nebūtina lankyti mokymus – tiesiog paskaityti knygą ar lankyti paskaitą. Be to, naujų žinių įgijimas pats savaime, neturint gebėjimo ir noro jas pritaikyti, dažnai neturi įtakos žmogaus darbo efektyvumui. Vertingesnis mokymų rezultatas gali būti dalyvių gaunamos „realizacijos“, vadinamosios „įžvalgos“, kai mokymų dalyvis kai kurias žinias gauna ne iš trenerio, o kaip įgytos patirties analizės rezultatas. bet kokio pratimo metu.

Elgesys (įgūdžių lygis) – keičiant dalyvio elgesį darbo situacijoje, taikant įgytus įgūdžius darbo aplinkoje. Elgesio pasikeitimas rodo, kad dalyviai praktiškai taiko mokymuose įgytas žinias ir įgūdžius. Tai yra svarbiausias veiklos rodiklis, nes pagrindinis mokymų tikslas – gerinti verslo rezultatus gerinant dalyvių elgesį. Juk naujos žinios ir įgūdžiai yra nenaudingi, jei jie nepritaikomi.

Rezultatas- nustatomi išmatuojami rezultatai (pavyzdžiui, gerėja paslaugų kokybė, mažinamos švaistomos išlaidos ir pan.). Įmonės dažniausiai turi duomenis apie pagrindinius, neatsiejamus verslo rodiklius, tokius kaip pardavimai, pelnas, kaštai. Akivaizdu, kad organizuojami mokymai nėra vienintelis veiksnys, turintis įtakos šiems rodikliams, yra daug kitų veiksnių, tiek išorinių, tiek vidinių. Ir gana sunku tiksliai išmatuoti mokymų indėlį, pavyzdžiui, didinant pardavimus, ypač jei tai buvo vadovavimo įgūdžių ar saviorganizacijos įgūdžių mokymas. Šio rodiklio tyrimo kaina gali būti daug kartų didesnė nei pačių mokymų kaina, todėl toks įvertinimo lygis rekomenduojamas tik ilgalaikių ir brangių programų atveju.

baigiamasis darbas

1.6 D. Kirkpatrick mokymosi vertinimo modelis

Kaip jau ne kartą buvo minėta, mokymų efektyvumo vertinimo problema vis dar aktuali daugeliui įmonių, kurios užsiima personalo ugdymu.

Įdomu tai, kad ginčai dėl Kirkpatricko pasiūlyto požiūrio nesiliauja, dar šeštojo dešimtmečio pabaigoje jis suformulavo dabar žinomus 4 veiklos vertinimo lygius, tačiau jo mokymo vertinimo modelis išlieka vienu iš pagrindinių, o jo knygos yra labiausiai cituojamas. Kirkpatrick vertina vertinimą kaip neatskiriamą mokymosi ciklo, kurį sudaro 10 žingsnių, dalį:

1. Poreikių apibrėžimas.

2. Tikslų nustatymas.

3. Dalyko turinio apibrėžimas.

4. Mokymų dalyvių atranka.

5. Optimalaus grafiko sudarymas.

6. Tinkamų patalpų parinkimas.

7. Tinkamų mokytojų parinkimas.

8. Audiovizualinių priemonių paruošimas.

9. Programos derinimas.

10. Programos vertinimas.

Kirkpatrickas mano, kad daugeliu atvejų vertinimas apsiriboja klausimynų naudojimu po mokymų – mokinių tiesioginio atsako į mokymą tyrimu. Šias anketas jis vadina „šypsenos lapeliais“, o tai reiškia, kad dažniausiai dalyviai klausimynus naudoja norėdami išreikšti padėką.

Keturi lygiai, pasak Kirktpatrick, lemia mokymosi vertinimo seką. Jis rašo: „Kiekvienas lygis yra svarbus ir daro įtaką kitam lygiui. Kai pereinate iš vieno lygio į kitą, vertinimo procesas tampa sunkesnis ir atima daug laiko, tačiau taip pat suteikiama daugiau vertingos informacijos.

1 lygis – reakcija

2 lygis – mokymasis

3 lygis – elgesys

4 lygis – rezultatai

1. Reakcija

Šio lygmens vertinimas lemia, kaip programos dalyviai į jį reaguoja. Pats Kirkpatrickas tai vadina klientų pasitenkinimo balu. Tuo atveju, kai mokymai vyksta firmoje, dalyvių reakcija ne visada interpretuojama kaip klientų pasitenkinimas. Dažnai vadovybė nustato poreikį dalyvauti bet kurioje edukacinėje programoje. Kirkpatrickas pabrėžia, kad ir šiuo atveju dalyvių reakcija yra labai svarbus mokymų sėkmės kriterijus, dėl bent dviejų priežasčių.

· Pirma, žmonės kažkokiu būdu dalijasi įspūdžiais apie mokymus su vadovybe, ir ši informacija pakyla. Todėl tai įtakoja sprendimą tęsti treniruotes.

· Antra, jei dalyviai neatsakys teigiamai, jie nebus motyvuoti mokytis. Teigiama reakcija negarantuoja sėkmingo naujų žinių, įgūdžių ir gebėjimų ugdymo. Neigiama reakcija į mokymą beveik neabejotinai reiškia mokymosi tikimybės sumažėjimą.

2. Mokymasis

Mokymasis apibrėžiamas kaip požiūrio keitimas, dalyvių žinių ir įgūdžių tobulinimas jiems dalyvaujant mokymo programoje. Pakeisti dalyvių elgesį dėl mokymų galima tik tada, kai vyksta mokymasis (keičiasi požiūris, tobulėja žinios ar tobulėja įgūdžiai).

3. Elgesys

Šiame lygmenyje įvertinama, kiek pasikeitė dalyvių elgesys dėl mokymų. Kirkpartickas pabrėžia, kad dalyvių elgesio pokyčių nebuvimas nereiškia, kad mokymai buvo neveiksmingi. Gali būti situacijų, kai reakcija į mokymus buvo teigiama, pasimokyta, tačiau dalyvių elgesys nepasikeitė ir ateityje, nes nebuvo tam reikalingų sąlygų. Todėl dalyvių elgsenos pasikeitimo nebuvimas po mokymų negali būti priežastis priimti sprendimą nutraukti programą. Tokiais atvejais, be atsako ir mokymosi įvertinimo, rekomenduojama patikrinti, ar nėra šių sąlygų:

· Dalyvių noras keisti elgesį.

· Dalyviai turi žinių, ką ir kaip daryti.

· Tinkamo socialinio ir psichologinio klimato buvimas.

· Dalyvių apdovanojimas už elgesio pasikeitimą.

Kalbėdamas apie socialinį-psichologinį klimatą, Kirkpatrick pirmiausia turi omenyje tiesioginius mokymų dalyvių vadovus. Jis išskiria penkis „klimato“ tipus: draudžiantį, atgrasantį, neutralų, palaikantį, reikalaujantį. Vadovo pozicija atitinkamai keičiasi iš draudimo keisti elgesį į reikalavimą keisti elgesį pasibaigus mokymui. Kirkpatrickas mano, kad vienintelis būdas sukurti teigiamą atmosferą yra įtraukti lyderius į mokymo programų kūrimą.

4. Rezultatai

Rezultatai apima pokyčius, įvykusius dėl to, kad dalyviai buvo apmokyti. Kaip rezultatų pavyzdžius Kirkpatrick nurodo padidėjusį produktyvumą, pagerėjusią kokybę, sumažėjusį nelaimingų atsitikimų skaičių, išaugusius pardavimus, sumažėjusią darbuotojų kaitą. Rezultatai neturėtų būti vertinami pinigais.

Pasak Kirkpatrick, vertinimas šiame lygyje yra pats sunkiausias ir brangiausias. Štai keletas praktinių gairių, kurios gali padėti įvertinti rezultatus:

jei įmanoma, naudokite kontrolinę grupę (neapmokyta),

Įvertinkite po kurio laiko, kad rezultatai taptų pastebimi,

atlikti vertinimus prieš ir po programos (jei įmanoma),

atlikti vertinimą kelis kartus programos metu,

· palyginti informacijos, kurią galima gauti atliekant vertinimą, vertę ir šios informacijos gavimo kainą (autorius mano, kad vertinimas 4 lygmeniu ne visada tinkamas dėl didelių sąnaudų).

Esminiai šio požiūrio trūkumai yra tai, kad pasirinkti informacijos blokai nėra tarpusavyje susiję, be to, nėra grįžtamojo ryšio mechanizmų, leidžiančių kontroliuoti žinių generavimo ir perdavimo procesą.Likę sunkumai yra susiję su neišplėtota procedūrine tvarka. informacijos rinkimo ir apdorojimo lygis. Vadinasi:

1) apibendrintos skaitinės charakteristikos objektyviai neatspindi būsenų ir ryšių išmatuotoje empirinėje sistemoje;

2) naudojami matavimo metodai neturi pagrįstumo, jautrumo ir patikimumo savybių;

3) neatsižvelgiama į išorinių veiksnių įtaką;

4) neaišku, kaip išskirti treniruočių „grynąjį efektą“.