Eksāmena U-pagrieziens: aiz algoritma, kas izraisīja A līmeņa atzīmju haosu
“Politikas katastrofas sēklas”, kas iesētas Gevina Viljamsona vēstulē, jo martā tika paziņots par bloķēšanu
“Politikas katastrofas sēklas”, kas iesētas Gevina Viljamsona vēstulē, jo martā tika paziņots par bloķēšanu
Kriss J. Retklifs/Getty Images
Kad pagājušajā nedēļā izcēlās dusmas pēc A līmeņa atzīmju publicēšanas, premjerministrs Boriss Džonsons uzstāja, ka rezultāti ir stabili, labi un uzticami darba devējiem.
Taču tikai dažas dienas vēlāk, pēc Ofqual pēkšņās atzīmju pārsūdzēšanas kritēriju atsaukšanas, valdība bija spiesta veikt apkaunojošu pagriezienu, un rezultāti tagad ir balstīti uz skolotāju prognozēm, nevis pretrunīgi vērtētā algoritma prognozēm.
Automātiskā sistēma tika izmantota, lai izvairītos no tā, ko izglītības sekretārs Gevins Viljamsons raksturoja kā niknu pakāpes inflāciju koronavīrusa pandēmijas un atcelto eksāmenu fona apstākļos. Bet kurš izdomāja algoritmu, kas Viljamsonam varētu izmaksāt viņa kabineta darbu?
Bezprecedenta apstākļi
Politikas katastrofas sēklas tika iesētas dienā, kad bloķēšana stājās spēkā, kad Viljamsons vēstulē Ofqual brīdināja, ka prioritāte ir izvairīties no cenu inflācijas. Laiki ziņojumi.
Ofqual iespēju robežās jānodrošina kvalifikācijas standartu saglabāšana un atzīmju sadalījums pēc līdzīga profila kā iepriekšējos gados, eksāmenu regulatoram sacīja Viljamsons.
Citiem vārdiem sakot, laikrakstā teikts, ka, neskatoties uz to, ka skolēni nekārtoja eksāmenus, valdība vēlējās izturēties pret 2020. gada klasi tāpat kā iepriekšējos gados. A līmeņi tika uzskatīti par izglītības sistēmas “zelta standartu”, un tos nedrīkstēja devalvēt.
Taču, uzdodot eksāmenu regulatoram noslēgt apdrošināšanas polisi sava neveiksmīgā algoritma veidā, šī vēlme ierobežot atzīmju inflāciju aizgāja pārāk tālu, piebilst BBC .
Kas notika?
Pēc izglītības sekretāra lūguma regulatora statistiķi sākaatzīmju izsniegšanas sistēmas izstrādetas neļāva eksāmenu rezultātiem palielināties salīdzinājumā ar iepriekšējiem gadiem, skaidro Džo-Anne Bērda, Oksfordas universitātes izglītības vērtēšanas profesore un Ofqual padomdevējas komitejas locekle.
Problēma bija tā, ka Covid klases gadījumā rūpes par standartu saglabāšanu maksāja pārāk augstu cenu, norāda BBC.
Kopā 39% no pagājušajā ceturtdienā publicētajiem A līmeņa rezultātiem tika pazemināti , un skolēni nelabvēlīgos apgabalos nesamērīgi cieta vissmagāk, saka NS Tech , New Statesman nodaļa.
Algoritms paredzēja atzīmes pēc dažādu datu bitu ievadīšanas.
Pirmā bija skolotāja prognozētā atzīme katram skolēnam, pamatojoties uz viņu sniegumu stundā un izmēģinājuma eksāmeniem, skaidro ziņu vietne. Taču tas tika uzskatīts par nepietiekamu, tāpēc skolotājiem tika lūgts sarindot katru skolēnu no augstākās līdz zemākajai viņu paredzamās atzīmes ziņā.
Skolas iesaistījās vērtēšanas uzdevumā, piebilst The Times, un nodaļu vadītāji vadīja sanāksmes, kurās skolotāji argumentēja savu skolēnu labā.
Taču, kā teikts izdevumā, Ofqual sistēmā bija kāda ķibele. A Ziņot Regulators pagājušajā nedēļā atklāja, ka skolotāju piešķirtajām atzīmēm tika piešķirta prioritāte tikai klasēs, kurās ir mazāk nekā 15 skolēnu – sistēmai, kas dod priekšroku privātajām skolām ar mazāku klašu lielumu.
Turpretim skolēnu lielās skolās atzīmes daudz vairāk ietekmēja skolas vēsturiskais sniegums un viņu skolotāju vērtējums nekā prognozētās atzīmes, piebilst NS Tech.
Šī neatbilstība ir iemesls nesamērīgi lielam studentu skaitam no skolām, kuras parasti nesūta skolēnus uz Apvienotās Karalistes labākajām universitātēm un kuru prognozētās atzīmes tika agresīvi pazeminātas.
Vai bija iespējama godīgāka sistēma?
Saskaņā ar Laiki Zinātniskais redaktors Toms Vipls, godīga algoritma izveide ir kā mēģinājums izvārīt olu – tas ir, neiespējami.
Problēma, raksta Whipple, ir tāda, ka, kad cilvēki ekstrapolē no populācijas datiem, lai izteiktu prognozes par indivīdiem... jūs varat pieļaut visa veida pretintuitīvas, pārsteidzošas un dažreiz absurdas kļūdas.
Tas ir tas, kas nogāja greizi ar algoritmu, kas tik ļoti balstīts uz skolas vēsturiskajiem rezultātiem, viņš apgalvo. Skaidrs, ka tas būs negodīgi pret izciliem bērniem neparastās skolās, savukārt, otrādi, tas būs pārāk laipni pret neparastajiem bērniem izņēmuma skolās.
Sems Frīdmens, nevalstiskās organizācijas Education Partnerships Group izpilddirektors, piekrīt šim spriedumam. Algoritms neizbēgami skars studentus, kuri bija izplatības augšgalā skolās, kurās agrāk nebija daudz izcilu sniegumu. tvīti .
Taču Frīdmens piebilst, ka valdības lēmums izmantot tikai skolotāja prognozētās atzīmes ir arī negodīgs pret to skolu skolēniem, kuras atzīmēja piesardzīgi, netaisnīgs attiecībā uz pagātnes/nākotnes kohortām un izveido [d] loteriju par universitātēm.
Un dažiem studentiem apgrieziens var nākt par vēlu, jo daudzas universitātes saka, ka nākamā akadēmiskā gada kursi jau ir pilni.
Runājot par algoritmu, statistika pēc definīcijas ir veids, kā attēlot daudzus skaitļus mazākos skaitļos, saka Whipple.
Tas ir ārkārtīgi noderīgi, taču mums ir jāzina, ko tas nozīmē: aizmirst par indivīdu.
