Flawed Algorithms Are Grading Millions of Students’ Essays

Els algorismes de puntuació d’exàmens són entrenats amb col·leccions d’exàmens vells, amb el propòsit d’identificar patrons que es correlacionen amb qualificacions assignades per humans. Els exàmens que reben un aprovat solen tenir aquestes característiques, els que reben un excel·lent solen tenir aquestes altres, etc.

Després d’això, aquests algorismes ja poden pronosticar quina puntuació assignaria un humà a exàmens nous, basant-se en els patrons que han identificat abans… Amb la qual cosa es repetiran els mateixos biaixos de què som culpables i víctimes els humans, per exemple contra certs grups demogràfics.

D’altra banda, entre altres patrons d’èxit, hom pot enganyar l’algorisme amb textos sense sentit que empren un vocabulari sofisticat. En resum: els algorismes no entenen res, només identifiquen patrons valorats positivament o negativament per majories d’examinadors.