Jak jsem zaváhal ve víře v užitečnost testování
Jakmile se v jakémkoli textu přiznám ke své víře v užitečnost testování, povzbudím tím ochotu čtenářů reagovat na příspěvek, i když zároveň reakce obvykle vůbec nesouvisí s tématem článku, ale právě jen s testováním. Většina čtenářů ovšem s mou vírou v testování polemizuje. Musím se přiznat, že jsem v poslední době trochu zaváhal a řekl jsem si, že bych o prázdninách měl k testování něco dostudovat. Rád bych se s vámi rozdělil o dvě svá zjištění, jedno vyznívá spíš pro testy (v USA), jedno spíš proti testům (u nás).
1. Kupodivu plošné testování nebylo jen hloupým nápadem vysmívaného pravičáckého prezidenta G. Bushe jr. Vzdělávací koncepce „liberálního“, pro mnoho Američanů vlastně socialistického prezidenta Obamy ¨(http://www2.ed.gov/policy/elsec/leg/blueprint/blueprint.pdf) počítá s plošným testováním v pro nás nepředstavitelné míře. Líhne se model, podle kterého budou na základě nových standardů (CCSS) všichni žáci v ročnících 3-8 (nebo i výš) testováni čtyřikrát ročně jednotnými testy z mateřského jazyka a matematiky. Ještě moc nechápu, proč jsou touto cestou, když jim je skoro každý český odborník ochoten prozradit, že plošné testování je nesmysl, že výběrové testy ho plně nahradí. Čili: zdá se, že svět testování (a to ani plošné) ještě nehodil přes palubu. V USA si prý dvě třetiny voličů myslí, že jednotné celonárodní testy jsou lepší než testy odrážející lokální vzdělávací priority. Kdo zná anglosaskou tradici vzdělávací autonomie, zírá. Samozřejmě, ty testy mají mít řadu vychytávek – mají být masivně podpořené použitím ICT, mají se orientovat na nejen na jednoduché dovednosti, ale i na náročnější myšlenkové operace…
2. Na druhou stranu, letní přemítání a studování ve mně probudilo obavu, že u nás testování opravdu fungovat nebude. Už dlouho sdílím obavy svých názorových odpůrců, že to nedokážeme udělat pořádně z podobných důvodů, proč máme zvlněné dálnice apod. Ale došlo mi, že i kdybychom nakrásně měli dobré standardy a testy, skutečně nám to nepomůže, pokud bude dál přetrvávat názor, který zazněl v debatě o čtenářské a matematické gramotnosti: „Učitelé testy nepotřebují.“ Dokud podstatnou část učitelů testové výsledky jejich žáků nebudou zajímat (nebo je budou zajímat jen z donucení), je asi opravdu zbytečné se s testováním námáhat. Němci nedávno v diskusi o příčinách německých problémů v šetření PISA konstatovali: Středoevropské pojetí tradičně považovalo důležité cíle vzdělávání za neměřitelné, proto nic neměřilo. Ale teď přinejmenším významná část německé společnosti a odborníků změnila názor a věří, že to, co PISA měří, je důležitým cílem vzdělávání. A že mít data jen z šetření PISA nestačí. Je to bludný kruh: dokud si myslíme, že testování není ve vzdělávání důležité, neděláme ho dobře. A testování s chybami (jako státní maturita) nás jen logicky ujišťuje, že ho nemáme brát vážně. I o celé kategorie lépe udělaný test PISA budeme, poučeni částí odborníků, považovat za imperialistické spiknutí. Takže zatímco Obamova koncepce chce testovat čtyřikrát do roka, pro nás bude plošný test dvakrát za základní školu zbytečně moc. A v naší situaci to může být i pravda. Testy budou mít smysl, jen když budeme mentálně nastaveni – ochotni a schopni – využívat jejich výsledků pro zlepšení vyučování a učení. V tom smyslu dávám skeptikům za pravdu.
Související články
Zanechat komentář
Finanční dárci:
Produktová podpora:
Spolupracujeme:
48 Komentáře
Já bych u PISA nemluvil o plošném testování, ani o „testování“, ale opravdu o „šetření“, a to výběrovém šetření. U „plošného testování“ je nejdůležitější, jak se s ním nakládá a jaké má důsledky. PISA žádné důsledky nemá. Každý stát se do tohoto šetření zapojuje dobrovolně, nemusí se zapojit do všech jeho částí, a hlavně – s výsledky si může dělat cokoliv. Nemá tedy žádný vliv na jednotlivé školy, ani jejich ředitele či učitele, natož žáky!
I v ČR je spousta testů a testování – učitelé si dělají jednak své testy „na koleně“ (bez znalostí pojmů jako validita či reabilita). Školy si také testy nakupují od firem jako Kalibro či Scio (a takových škol není zrovna málo). Před tím je dodával „zdarma“ (za peníze, které by mohly jít na něco užitečnějšího…) i CERMAT (jejich kvalita nebyla nic moc). Nyní je nutí školám ČŠI (kvalita opět nedobrá…).
Cestu vidím v tom, že školy si budou nadále testy dobrovolně nakupovat, pokud jim přijdou smysluplné a budou je umět využít, nebo budou zdarma k dispozici na internetu (například testy hrazené z prostředků ESF). Ale se státem vnucenými (často nekvalitními) plošnými testy to vidím bledě…
Jak jsem říkal, škoda, že Obama nemá po ruce pár Čechů. Určitě by mu poradili, kudy vede cesta.
Jen tak mimochodem: Já někde říkám o PISA, že jde o plošné testování?
A proč se Vám nezdá vhodné používat ve spojení s výzkumem PISA mluvit o testování?
Samozřejmě, občas se tam přidá něco navíc, ale jádro šetření tvořilo testování dosud převážně klasickými položkami tužka+papír, do budoucna aspoň po stránce administrativně „po dobešovsku“, tedy na počítači. Mám dojem, že u nás platí: když je něco edukometricky kvalitní, nesmí se tomu říkat testování.
Testování je, když někdo vyplňuje testy. V PISA se žáků ptají i na další věci – vyplňují zároveň dotazníky… Testování bych proto používal pro čisté zjišťování, co žák ví a umí. Šetření je širší a má hlavně jiné cíle! Naše testování je jen formou uzavřených otázek, v PISA jsou i otázky velmi otevřené. Tak proto… Aby to ostatním nesplynulo jako ministru Dobešovi, který chtěl lepších výsledků v PISA dosáhnout plošným testováním znalostí páťáků a deváťáků na úrovni čtyřkařů. To byl totální nesmysl!
Souhlasím s Vámi v tom smyslu, že u náa zatím zadávané testy představovaly jen velmi chudou podmnožinu toho, jak mohou testy, i ty zadávané na počítači vypadat. Napsal jsem, co považuju za příčinu: díky dlouhodobému podceňování významu testování máme u nás zkreslené představy (viz diskuse níže), co test je a může být. V důsledku toho se učíme testovat po malých krocích. Je důležité, že se začalo, a začalo se způsobem, který se může do budoucna docela rozumně rozvíjet, i když teď je to spíš slepé kotě. Ale za pár let z něj tu můžeme mít docela zdatného lovce myší, pokud mu ovšem neostříháme drápy. Souhlasím s tím, že minimální standardy jsou málo a potřebujeme i další úrovně, ale právě testování na počítači v dynamické formě pro to vytváří dobré předpoklady.
Abychom neslovíčkařili: jistě, PISA je šetření, originální název je „program“, v ÚIV se užívalo „výzkum“. Z pohledu žáka ho tvoří 120 minut vyplňování testových sešitů a tuším 30 minut žákovského dotazníku. Tedy z pohledu žáka je 80 % času věnováno testování. Když se mluví o výsledcích, tak se jimi rozumím především rozložení žáků do úrovní výkonu a průměrné výkony jednotlivých zemí v testové části, i když šetření/výzkum/program opravdu shromažďuje a využívá (i při výpočtu výsledků testu) bohatství dalších informací.
Už mi fakt hlava nebere, proč si někteří ze stálých přispěvatelů do diskusí v oblasti vzdělávání hrají na odborníky, když neovládají základní terminologii daného oboru. Nejdříve jsem si myslel, že se jedná o obyčejný překlep, ale když vidím a čtu opakovaně zkomolené slovo „reabilita“ namísto správného „reliabilita“, tak je mi zcela jasné, že dotyčný autor příspěvků zřejmě neví o čem píše, přesto se snaží vystupovat v pozici suverénního znalce odborné problematiky. Ovšem za nehoráznost považuji, když takovýto člověk ještě upozorňuje na neznalost pojmů u jiných, i když u tohoto „všeználka“ mě to vlastně nepřekvapuje, spíše by mě u něho překvapil opak, tj. ocenění či pochvala práce ostatních, neb toho není absolutně schopen. Prostě někdo si jako svůj cílený program vybral pouze „bourat“, „ničit“, urážet a zesměšňovat…
Je to téměř k nevíře, ale až dosud jsem od stoupenců testování nikdy neslyšel odpověď mj. na tyto zásadní otázky. 1) Je obsah vzdělání tvořen výhradně skutečnostmi, které lze testovat, tzn. podstatným znakem jejich osvojení je jednoznačnost a jistota, nebo je tvořen i skutečnostmi, které nemají podobu holého faktu, na které si můžeme udělat pouze kvalifikovaný názor, ale jednoznačné a jednou provždy platné řešení nemají (už proto, že to ve složitějších případech neumožňuje jazyk – viz strukturální jazykověda)? 2) Co se z celého obsahu vdělání testovat dá, a co ne? Proč právě to, co nám poskytnou výsledky testů, pokládáme za důležité do té míry, že podle toho chceme srovnávat úroveň vzdělání? Jaký je dopad srovnávacích testů na předchozí výuku? Kdo se u nás zabývá tím, co testy ověřit dokážou, a co ne?
Ano, to jsou velmi těžké otázky. Myslím, že v této obecnosti se takřka zodpovědět nedají. Sám pro sebe považuju za lepší trochu si to rozdělit s využitím vývojového pohledu, a klást si např. otázku, co tvoří obsah základního vzdělávání a v jakém vztahu jsou v jeho případě testovatelné a netestovatelné dovednosti. V zásadě se domnívám, že mladší děti potřebují spíš zvládnout to, co civilizace vytvořila před nimi, a tudíž tam je velký prostor pro úlohy reproduktivního charakteru, kde existují relativně jednoznačná a jistá řešení. Jak žáci přecházejí na vyšší stupeň vzdělávání, potřebují víc dostávat prostor pro hledání své jedinečné cesty, a tudíž se potřebují setkávat i s úlohami divergentními, nemajícími jedno správné řešení. Nesmí se to ale přehnat, aby se tvořivost v těch mladších neubila, a naopak.
Ovšem test nemusí znamenat jen uzavřenou úlohu s jednou správnou odpovědí. To, že u nás neumíme „esej-test“ hodnotit, neznamená, že nejde „testovat“ i schopnost postavit se k poměrně komplexním problémům.
O dopadu testování na výuku se poměrně dost ví. Pro naši situaci je ovšem stejně důležité diskutovat o dopadu NEtestování na decentralizovaný systém s vysokou mírou autonomie. Já postrádám tuto diskusi.
Dominiku, vždycky jsem obdivoval tvou intelektuální poctivost. Tento článek je jejím dalším důkazem.
Ke slovům souhlasu s tvým názorem připojím pár navazujících myšlenek.
Testy jsou jen formou hodnocení, v národním kurikulu však není shoda ani nad obsahem (který je a který už není nutný). Je možné z testových otázek zpětně odvodit obsah, ale hloubka zapojení žáků by pak plošně byla odvozována z roviny „objektivně testovatelné“.
Pokud však budeme věnovat energii „výstupnímu standardu kvality žáka“, musíme předtím definovat „standard kvality práce učitele“, protože ten určuje změny, které se mají při sledování plnění „standardu žáka“ ve výuce udělat.
S úctou k menšině pedagogů, kteří jsou profesionály, a s vědomím stavu, který mohu jako rodič nebo lektor sledovat, říkám, že první analýza, kterou je třeba provést, je analýza míry profesionality/kompetentnosti učitelského stavu. Ano, myslím si, že bychom z výsledků moc velkou radost neměli.
Testováním žáků bychom proto, domnívám se, dostali data, která nedokážeme převést do akce… podle teorie znalostního managementu se tedy dostaneme možná k „informacím“, ne však k (učitelovým) „znalostem“.
A z manažerské praxe tvrdím, že data, která nedokážeme užitečně využít, jsou nadbytečná. A poučen studiem evoluce říkám, že co je nadbytečné, to tu nemá co dělat.
Pokládám za nutné doplnit, že testem rozumím úlohu, kdy žák zaškrtává jedno z nabízených řešení, resp. toto řešení formuluje sám jedním slovem či souslovím. Testem je tedy podle mne úloha, kdy autor testu předem zná a určí správné řešení. Esej v tomto smyslu za test nepokládám. Standardizovaná, tedy režimu testování se blížící oprava písemných maturitních prací v minulém školním roce názorně předvedla potíže, které vznikají tehdy, když se pokoušíme exaktně hodnotit něco, co se exaktnosti z podstaty věci vymyká, co lze pouze kvalifikovaně posoudit. Je proto nanejvýš nutné zabývat se tím, co jsou testy schopny ověřit a ve kterých případech je můžeme použít, aniž by zpětně deformovaly (redukovaly) proces vzdělávání.
Ale ono není důležité, co testem rozumíte Vy, ale co test je. Pedagogický slovník (4. vydání, str. 43) říká doslova v hesle didaktický test: „Často chápán jako krátká písemná zkouška, při níž žák odpovídá výběrem z nabídnutých variant odpovědí. VE SKUTEČNOSTI (zdůraznil DD) nástroj systematického zjišťování výsledků výuky.“ Z dalšího textu vyplývá, že test dělá testem určitá standardizace a psychometrické kvality. Můžu uvést příklad testu TWE (Test of Written English), což je celosvětově užívaný esejtest v rámci TOEFL, tzn. žádná „zaškrtávačka“. Obecněji, když si vzpomenete, jak vypadá třeba Rorschachův test (což ovšem není didaktický test), tak vidíte, že test může být leccos. Ta podstata není ve výběru odpovědi, ale ve standardizaci zadávání a vyhodnocení zkoušky.
Moje ztráta víry v testování neznamená, že už si nemyslím, že bychom neměli děti testovat, a asi i plošně testovat, ale že vidím, že se musíme nejdřív doučovat, co jsou to TESTY ve skutečnosti. Souhlasím s tím, že toto doučování potřebují nejen uživatelé výsledků testů, ale i politici a organizátoři testování.
Souhlasím s úvahou p. Dvořáka, stejně jako se stanoviskem p. Křístka.
Jako učitel ZŠ se ale nemůžu stále smiřovat s tím, jak to dnes ve školách vypadá – žáci se nechodí do školy učit, ale vyblbnout se, když to nadsadím, ale mnohokrát to už tady v diskusích zaznělo. Takhle se prostě nedá pokračovat, je to rok od roku horší a nikoho z venčí to nezajímá.
Ptám se, jestli máme špatný proces se špatnými vstupy i výstupy dále neměřit a nekontrolovat, nebo ano. Máme vůbec nějakou šanci, kromě současného zavádění standardů – učiva i pedagogů – na něco zatlačit? Já opravdu odmítám chodit denně do práce s perspektivou propadání se níž a níž, dnes už pomalu jen hlídáme děti a řešíme kázeňské přestupky, někdy i celé hodiny.
Pokud má prověřování/kontrolování/testování výsledků práce žáků aspoň minimální preventivní či motivační dopad, pak jsem jednoznačně pro ně.
Letošní testování u nás ve škole proběhlo bez problémů.
Máme-li říci o školství, že je takové nebo makové, má ty a ty dobré a špatné stránky, musíme se to přece z něčeho dozvědět.
Nikolo, kéž bys měl v té první části pravdu. Ono se v uplynulých letech pracovalo tempem, kdy na intelektuální poctivost moc prostoru nebylo…
Ale k druhé části Tvého příspěvku. Jak se teď doučuju, tak jsem narazil na tezi, že nejlevnější způsob, jak zlepšit průměrnou kvalitu učitelského sboru, je vyhodit ty nejslabší. Čeká nás určitě redukce počtu škol, hlavně asi „plně organizovaných“. Tak by to možná šlo spojit.
Je ovšem jasné, že současné testy nejsou vhodné pro posouzení kvality práce školy/učitele s tak zásadním důsledkem jako uzavření/propuštění. Ale pro takováto opatření potřebuje člověk dva testy: jeden levný s velkou citlivostí, ale malou specificitou (změřit všechny školy a najít všechny se špatnými výsledky), a pak na takto vytvořený soubor použít nákladnější, ale inteligentnější nástroj (zaměřit se na všechny školy/učitele se špatnými výsledky, a pak z nich vybrat ty, které/kteří na stavu mají spoluvinu). Samozřejmě, nezachytil jsem školy s dobrými výsledky, které by mohly mít vzhledem ke složení žákovské populace výsledky lepší, a školy s dobrými výsledky díky podvádění v testu. Ale nic není dokonalé.
Martine, díky za reakci. Já stále ještě v to testování (plošné) věřím a podporuji ho. Rozhodně si myslím, že máme dál pracovat na Standardech, protože zatím děláme spíš takové začátečnické pokusy.
Můj názor se mění v tom smyslu, že je třeba před tím a současně s tím hodně vysvětlovat, argumentovat, diskutovat, „budouvat konsenzus“ ohledně cílů, obsahu a používání výsledků testování.
Z toho, co jsem napsal, vyplývá, že s definicí testu v PS nejsem v rozporu. Potíže tkví ve „standardizaci a psychometrických kvalitách“ (v psychologii osobnosti to dokládá i Rorschachův test, přičemž vzdělání je jev mnohem složitější). Standardizace zadávání a vyhodnocení zkoušky znamená, že vše, co se této standardizaci vymyká, musíme buď z obsahu vzdělání vypustit, nebo ve smyslu redukce „upravit“. Příprava na plošné standardizované zkoušky pak musí být logicky rovněž standardizovaná. Tím se ovšem do zcela neúnosné míry vytrácí smysl předmětů, v nichž lze standardizovat jen některé složky (Jejich faktografii a kauzální vztahy):češtiny a filosoficky založených společenských věd (do jisté míry však i matematiky a věd přírodních pro ty, kteří se jimi nebudou profesionálně zabývat). Jde vlastně o aplikaci pozitivismu tam, kde věda již dávno využívá např. metod strukturalismu. Proto bychom měli pečlivě zvážit, co je smyslem výuky toho kterého předmětu a jak tento smysl naplnit. Testujme to, co testovat lze, přičemž předem uveďme, co vlastně testem ověřujeme, proč je to důležité a co takový test vypovídá o kvalitě vzdělání. Už jsem to napsal víckrát a těm, kteří to četli, se omlouvám, ale znovu musím připomenout Orwellův citát, který plně vystihuje stav, do kterého bychom se mohli dostat neuváženým používáním všech možných standardizací: „Zdravý rozum lze měřit statisticky. Jde jenom o to, naučit se myslet tak, jak myslí oni.“ (1984)
Ptám se, jestli máme špatný proces se špatnými vstupy i výstupy dále neměřit a nekontrolovat, nebo ano., napsal Martin.
Ano, asi máme špatné procesy, a podle mého soudu, dokonce i cíle dříve snad správné jsou dnes vadné. je to rok od roku horší, asi ne tím, že nemáme testy, ty jsme dřív taky neměli, ale asi působí nějaké jiné vnější faktory. Jaké? Změní se ty faktory, když začněme testovat výstupy?
Proto se mi nezdá, že tím, že začneme výstupy měřit a kontrolovat, že to může vyřešit problém špatných procesů a vadných cílů.
Taky mi vrtalo hlavou, proč se mi vlastně tak líbí to testování, když – pokud tedy vezmu za měřítko třeba PISA, – jsme dřív dosahovali dobrých či výborných výsledků bez testování.
Myslím, že problém je v zásadní změně kontextu. V striktně centralizovaném tradičním kontinentálním/středoevropském modelu se za desítky let věci zaběhly a nějak fungovaly. Po roce 1989 se ale začaly v našem vzdělávání mísit prvky různých modelů eklekticky.
Teď máme systém s velmi vysokou mírou autonomie, ale bez měření a kontroly a odpovědnosti. Přitom se ukazuje, že autonomie škol (zejména ta manažerská) prospívá, když je vyvážena právě akontabilitou, jinak výsledkům ubližuje. Musíme dopředu, nebo zpátky. Buď se vrátíme k centralizovanému systému, který bude normovat vstupy (jednotné podrobné osnovy apod., mocná inspekce), anebo půjdeme vpřed, necháme školám autonomii, ale dobudujeme systém, budeme normovat a měřit výkony (nebo ještě lépe přírůstky výkonů). Martinovi ale jde ne (jen) o školy, ale taky o žáky. Asi tam platí podobná logika: dětem víc svobody, ale taky víc odpovědnosti za kontrolované výsledky, ne?
„dětem víc svobody, ale taky víc odpovědnosti za kontrolované výsledky“
Dovolila bych si to poupravit, takhle mi to připadá jako protimluv (svoboda vs. kontrola). Co takhle – dětem více svobody s přirozenými důsledky?
Abych se přiznal, momentálně nevím, jaké okamžité přirozené důsledky má pro 14letého kluka nebo stejně starou holku to, když nedosáhne určité schopnosti kriticky posuzovat statistická data, a přesto se obecně soudí, že je důležité, aby odešli „do života“ vybaveni i touto „gramotností“. Obávám se, že ve škole se musí některé důsledky vytvářet uměle. Ono dokonce i později, když špatně zvolí třeba parlament na základě neschopnosti kriticky posuzovat volební programy apod., tak ty přirozené důsledky přijdou třeba až za desítky let… viz dluhová krize.
to Jana Petrů
„více svobody s přirozenými důsledky“ – ale jaké to jsou? Poznámka nebo pohlavek, oznámení rodičům, že dítě nemá výsledky…? Pohybujme se v rámci platné legislativy, a tu toho učitel mnoho nezmůže. Vzbudit zájem a spolupráci rodičů ovšem bude jedním z hlavních úkolů případných změn. Ovšem jak a čím… zájem o známky na vysvědčení je to poslední, co občas zbývá.
Dominik Dvořák 08. 08 .2012 v 14:30
Myslím, že problém je v zásadní změně kontextu… Teď máme systém s velmi vysokou mírou autonomie, ale bez měření a kontroly a odpovědnosti.
Já si ovšem nemyslím, že zhoršování výsledků souvisí nějak významně s posílením autonomie a nebo snad s RVP. Podle mého má zejména mimoškolské příčiny a proto náprava musí být zejména v hledání jiného vztahu školy a světa kolem.
Viz jak píše Martin „více svobody s přirozenými důsledky“ – ale jaké to jsou? Poznámka nebo pohlavek, oznámení rodičům, že dítě nemá výsledky…? To přece nejsou „přirozené důsledky“, přirozený důsledek, je, že když si špatně postavíte stan, tak máte do rána mokrý spacák. Takové důsledky ovšem ve školním – akademickém (a podle mého dramaticky přeakademizovaném) nelze vytvořit.
To Ondřej Šteffl
Samozřejmě, nejvíc se toho děje mimo školu. Ale pak jsou tu takové zajímavé nuance: třeba čtenářská gramotnost žáků ve střední Evropě je horší, než by odpovídalo jejich výkonům v matematice a přírodovědě. Nebo tohle: procházíme tady všichni nějakou post-komunistickou transformací, ale v jejím rámci se v PISA Češi dramaticky zhoršují, Poláci celkem rychle zlepšili, Maďaři stagnují…
Norská a švédská společnost jsou si asi dost podobné, měly podobný vývoj výsledků, a pak Norové udělali reformu výuky a začali se trochu zlepšovat, a Švédové jsou dál dolů…
Samozřejmě společnost se mění, ale některé vzdělávací systémy jsou schopny na ty změny reagovat, udržovat úroveň výsledků, nebo ji i zlepšovat, a jiné nikoli. Zdá se mi.
Pane Dvořáku, prosím, vysvětlete mi, co znamená „obecně se soudí“. A dále bych s Vámi chtěla polemizovat nad větou „špatně zvolí třeba parlament na základě neschopnosti kriticky posuzovat volební programy“, a to hned z několika důvodů – krize je v celém světě, a nejen dluhová (dále politická, morální, školská, sociální aj.), to znamená, že všichni voliči (když pro tuto chvíli pominu fakt, že volební programy v naší republice – jiné neznám – jsou sádrovým vajíčkem) byli, dle Vaší teorie, špatně vzděláni minimálně ve schopnosti kriticky posuzovat statistická data ?
Pane Martine, mám pocit, jako byste si odpovídal sám, jen Vám vypadla z věty – „Vzbudit zájem a spolupráci rodičů ovšem bude jedním z hlavních úkolů případných změn.“ – důležitá slůvka „a žáků“. A to lze (zatím) i v rámci platné legislativy. Tou cestou ale rozhodně nejsou plošné, standardizované testy.
„Češi (se) dramaticky zhoršují “ (co to je?) „…, Poláci celkem rychle zlepšili, Maďaři stagnují…a pak Norové udělali reformu výuky a začali se trochu zlepšovat, a Švédové jdou dál dolů…“
No a co??? Proč je to „trochu zlepšovat“ tak důležité? O co vlastně jde? Já té posedlosti srovnáváním výsledků vzdělávání fakt nerozumím (a to už vůbec nemluvím o tom, jakými prostředky a za jakým účelem se to děje).
Proč se zhoršujeme? Bohužel to vůbec netušíme… Ale nabídnu jednu možnou příčinu: Učitelé po roce 1989 dostali spoustu příležitostí dělat něco jiného, např. podnikat. Postupně školství opustila většina mužů. Školství nenabízí schopným lidem platový ani kariérní růst, který nabízejí jiné obory. Ve školství je tedy stále méně těch nejlepších pedagogů…
Zavedením plošného testování se u této příčiny nic nezmění. V případě, že bude nekvalitní (jako že je), se naštve posledních pár nadšenců pracujících ve školství a půjdou dělat něco jiného… To např. hrozí u státní maturity v letošní verzi. Já bych tedy za současné situace češtinu na SŠ učit nešel.
„Proč se zhoršujeme? Bohužel to vůbec netušíme…“
To samozřejmě platí, pokud ignorujete např. výsledky analýzy OECD, podle které autonomie škol bez odpovědnosti akontability vede ke zhoršování výsledků.
„Učitelé po roce 1989 dostali…“
Určitě na tom něco je. Ale proč je ten vývoj v různých zemích odlišný? Jsou polští učitelé výrazně lépe placeni?
„…se naštve posledních pár nadšenců pracujících ve školství…“
Zajímavé je, že poměrně hodně lidí pracujících ve školství o to testování stojí. Samozřejmě neříkám, že stojí o nekvalitní testování. Ale myslím, že bychom měli nejdřív řešit, jestli testování potřebujeme, nebo ne. Jestli ho potřebujeme, tak ho musíme dotáhnout postupně do kvalitní podoby. Jestli ho nepotřebujeme, tak se opravdu nemusíme vzrušovat. Asi se vůbec nemusíme vzrušovat. Na světě je nějakých 1500 mil. dětí ve školním věku. Z globálního hlediska je úplně fuk, jak vypadá vzdělávání toho jednoho milionu (tedy ani ne 1 promile) školních dětí, co náhodou chodí do školy v Česku. Předpokládám, že jen Šanghaji a okolí je víc školáků než v celé naší zemi.
Vážená paní Petrová, děkuju Vám za Vaše názory. Ale nezlobte se, teď Vám vysvětlovat podrobněji své stanovisko nebudu. Prostě pro někoho jsou cíle šetření PISA a jeho výsledky důležité, pro někoho ne. Domnívám se tedy, že Váš a můj pohled na problematiku vzdělávání jsou natolik rozdílné, že bychom stejně ke konsenzu nedošli. Stačí, že tady ty názory zazní vedle sebe. DD
„Ale myslím, že bychom měli nejdřív řešit, jestli testování potřebujeme, nebo ne. Jestli ho potřebujeme, tak ho musíme dotáhnout postupně do kvalitní podoby.“
To je těžké… Kdo je to skryté „my“ v těchto větách? A proč řešit zrovna testování? Třeba na prvním až desátém místě „potřebujeme“ jiné věci a testování je někde na 11. nebo třeba 25. místě. Já plošné testování v první desítce nevidím… Ale možná, kdyby došlo k celostátnímu hlasování, vyhraje testování zlatou. 😉
Jinak to testování i v ČR umí někdo lépe (Scio, Kalibro) a někdo hůře (CERMAT, ČŠI). Kupodivu to plošné dělají z nějakého záhadného důvodu zrovna ti, kteří to neumějí a nejde jim to, zatímco to dobrovolné dělají ti dobří. Trošku Kocourkov – jako u nás v mnoha dalších věcech. 🙂
Pane Sárközi,
příčinou toho, že případně těch „pár posledních nadšenců odejde ze školství“, nebudou s největší pravděpodobností testy, nýbrž právě fakt, že se nic neděje a ve školách to jde dolů.
„Kdo je to skryté „my“ v těchto větách?“ A za koho mluvíte Vy osobně? Zatím mám dojem, že děláte PR jistým soukromým testovacím agenturám.
Cituji: „Přitom se ukazuje, že autonomie škol (zejména ta manažerská) prospívá, když je vyvážena právě akontabilitou..“
To mi příjde naprosto logické. Je to stejné, jako řekněme hypotetický trh automobilů. Představme si, že neexistuje způsob, jak před nákupem zjistit, jaké má daný automobil vlastnosti (tj. jak je prostorný, jaký má výkon, jak je bezpečný, jakou má spotřebu). K čemu na takovém trhu bude docházet? Bude tlak na zvyšování kvality automobilů a zlepšování jejich vlastností, nebo tomu bude naopak? K čemu budou motivováni výrobci automobilů?
to Šteffl: „To přece nejsou „přirozené důsledky“, přirozený důsledek, je, že když si špatně postavíte stan, tak máte do rána mokrý spacák. Takové důsledky ovšem ve školním – akademickém (a podle mého dramaticky přeakademizovaném) nelze vytvořit.“
Pane Šteffle, ale ty důsledky opravdu nemusí být okamžité. On důsledek toho, že si vyberete špatný obor (neperspektivní, bez uplatnění) také ponesete až třeba za pět, deset, dvacet let. Myslíte si, že když budu vysvětlovat své čtyřleté dceři důsledky jejího dovádění na silnici, že ty důsledky bude chápat a plně si je uvědomovat? Ona v tu chvíli neřeší vlastní ohrožení, nebo to, jestli bude za padesát let na vozíku, ona řeší to, že ona je zloděj a musí utéct svému kamarádovi, který je policajt. Stejně tak na vysoké škole považuji za lepší, když kurikulum je sestavováno alespoň ve svém základu shora a ne zespoda, protože shora je tak nějak lépe vidět (tj. ti, kteří již mají nastudováno a znají obsahy jednotlivých kurzů mají lepší představu o tom, jaké kurzy patří k základům oboru a jaké nikoliv). Svoboda jednotlivce bez poučení z minulosti a bez vědomostí starších a zkušenějších je dost nebezpečná hračka. Uznávám, že některá individua jsou na svobodu velmi háklivá. Nechápu proč. Zřejmě to mají na svědomí nějaké direktivní matky či učitelky, nebo jiná traumata z dětství a dospívání.
to Jana Petrů: „O co vlastně jde? Já té posedlosti srovnáváním výsledků vzdělávání fakt nerozumím (a to už vůbec nemluvím o tom, jakými prostředky a za jakým účelem se to děje).“
Jde o zpětnou vazbu a motivaci. Důsledkem plošných testů není ani zdaleka jen srovnání, ale hlavně dát těm žákům motivaci uspět. Oni mohou snadno uspět třeba ve fotbalu, nebo v běhu na 100 metrů. Tam se výsledky měří a porovnávají, někdo vypadne, někdo projde do finále. Vyhraje černoušek a je obdivován. Proč nechcete dát podobnou šanci uspět a předčít ostatní brejlatému beďaratému vychrtlému chlapečkovi s IQ 170? Vy vlastně říkáte, že celé olympijské hry jsou jeden velký nesmysl daný posedlostí srovnáváním. Přitom srovnávání a vynikání je jednou ze základních lidských potřeb, která je pozorovatelná už na malých dětech. Mnoho lidí motivuje úspěch a ten úspěch je pochopitelně měřitelný pouze v kontextu výkonu ostatních. Asi budete souhlasit, že skákat do dálky 10 metrů je výkon naprosto obdivuhodný. Ale jak to víme? Mezi klokany toto tvrzení neplatí a stejně tak nebude platit třeba na Měsíci.
to Sárközi:
Cituji: „Jinak to testování i v ČR umí někdo lépe (Scio, Kalibro) a někdo hůře (CERMAT, ČŠI). Kupodivu to plošné dělají z nějakého záhadného důvodu zrovna ti, kteří to neumějí a nejde jim to, zatímco to dobrovolné dělají ti dobří.“
Podle čeho to měříte? Mně se test CERMATu z matematiky líbil. Podle mě je vysvětlení tohoto jevu, pokud ho příjmu jako reálně existující, stejné, jako proč právo vymáhají neefektivní a pomalé soudy a ne nějací soukromníci. Ostatně je to dobře vidět na exekucích, do nichž se soukromníci nechali jít. Prostě když bude testování provádět soukromá firma, nezabráníte jí pořádat kurzy a vydávat brožurky s „podobnými typy úloh“, jako budou v ostrých verzích. Prostě nedá se zabránit tomu, aby se s tím kšeftovalo a aby ti, co mají, nebyli zvýhodněni oproti těm, co nemají (myslím zlaťáky, ne nadání). A stát maturitními testy zrovna asi nechce měřit velikost peněženek, nýbrž spíše to nadání.
A co místo testování něco takového: http://www.youtube.com/watch?feature=endscreen&NR=1&v=WXVB4zK2aq8 (jsou tam i jednodušší příklady, všechny super)
Než v tomhle chatu zhoustly trollí zápasy, bylo tu předoženo dilema „a) autonomie se zodpovědností za výsledky/důsledky, anebo b) předpisy/kontrola vstupů, tj. osnovy, podrobné vymezení co a jak učit“.
A co když i tohle myšlení v dichotomii a X b patří k minulosti? Vnutit terénu osnovy je zastaralý nápad, ale já pořád tvrdím, že dnes už stejně překonaný je i postup „překontrolovat na výstupu“, tedy skrze testy, závěrečná vysvědčení, státnice na VŠ atp.
Co mi připadá nejen novější, ale hlavně životaschopnější a účinnější, je takové ovlivňování kvality výuky a učení, které není ani předem (osnovy), ani zadem (testy a maturity atp.), ale během (důkladná spolupráce žáka s učitelem a učitele se žákem v průběhu učení)!
„Průběhem učení“ nemylsím „během školního roku“, ale opravdu „když se žák pustí a pak zakousne do nastudovávání nějakého jevu, problému, pojmu, situace a jejích zákonistostí, okolností, pohledů na ni atd.“.
Aby to prováděl kvalitně, a aby tedy pak asi vznikly co nejlepší jeho výkony a výsledky, potřebuje různou podporu: naučit se, jak se zprvu po daném tématu, problému, pojmu, jevu rozhlídnout – aby přesněji poznal, které jsou v něm účastny složky, činitelé, jejich projevy… Pak hledá, jaké je na to možno vrhnout pohledy, z kterých pozic to zkoumat nebo posuzovat, a to si poznamenává, dělá si hypotézy, aby se k nim později vrátil a přehodnotil je. Pak zkouší věc obracet sem tam, experimentovat, proměňovat ji a sledovat změny, vztahy. O tom si činí a zaznamenává, i s druhými sdílí úsudky, ty si opravuje či prohlubuje, pomáhá druhým a nechává si pomoct. Činí své závěry a eviduje trvající pochybnosti. Nakonec se ohlídne za svou prací a za svým postupem poznávání, reflektuje, co se vyplatilo a co byla slepá cesta, i kolik ho co stálo úsilí a co stálo za to, a jak asi bude postupovat příště.
Tak se učí.
V tom všem potřebuje, aby mu učitel byl k dispozici různými svými otázkami, nebo i jen trpělivým poslechem, případně modeloval své osvědčené postupy, přistrkoval inspirativní materiály, a dával žáky dohromady k spolupráci.
Kdyby tohle dokázal stát (činovníci vzdělávání) pochopit a podporovat, tak jako se to osvědčuje v mnoha civilizovaných zemích, odkud nám to zkušení učitelé potvrzují, asi by se i u nás zlepšilo vzdělávání, a nakonec i jeho výsledky, které jediné umějí staří pozorovat a vyhodnocovat. Přitom by se i ověřilo, jak nosné a plodné pro rozvoj dětí jsou různá „témata“ výuky z osnov, nebo jak sdělné jsou ty výstupy v RVP – prostě v procesu učení je vidět, jak co může být užitečné. Před učením (v osnovách) o tom víme houby, protože děti jsou stále nové a jiné, než jaké byly v dosavadních třídách s těmi osnovami. Po učení, nad výsledky, už stihneme jenom zaplakat.
Je jasné, že pracovat BĚHEM učení vyžaduje od učitelů dost dovedností, empatie, taky sebeúcty a odbornosti. V takové míře, která není běžná v starším modelu školy a výuky. Jenže požadovat, aby se učitelé naučili novým přístupům, novému pochoppení své role, to neznamená „tak to jsem snad dělal/a dosud vše špatně?“ – jak mnozí říkávají, když porozumějí novějším principům a metodám. Dělali to nejlíp, jak mohli umět! Tak se tomu lidi na učitelské fakultě naučili, to se vědělo o učení v té a té době. Ale věci se stále mění a stále je potřeba se učit, pokud má být vzdělávání kvalitní. Jako žáci, tak i učitelé potřebují vstřícnou podporu. I ti, ve kterých každé setkání s novinkou budí odpor, i ti, kteří se na to těší.
Ano, souhlasím s kolegou Lippmannem.
v ČEŠTINĚ SE JISTĚ DÁ OTESTOVAT, ZDA JE STUDENT GRAMOTNÝ, ZDA UMÍ POUŽÍVAT JAZYK V KONKRÉTNÍ SITUACI (JASNÉ A ZŘETELNÉ), ZDA SI PORADÍ S INTERPUNKCÍ.
Ale nemůžeme testovat způsob myšlení, originalitu, obraznost vyjadřování. To jsou složky jazyka, které testovat nelze. A CERMAT se o to pokusil. Ve slohu i v didaktických testech. Snad už je to za námi.
1.9. nás zvou do Olomouce na slet češtinářů, přáním mnoha z nás je vznik češtinářské komory. Věřím, že kolega Lippmann a všichni, kterým celá tato debata není lhostejná, přijedou! Pokud nemáte zvací dopis, napište mi, moje adresa je na mém blogu.
EDUin snad bude informovat.
Děkuji všem za vstupy. Zdá se, že diskuse by mohla pokračovat pod článkem O. Hausenblase
Co všechno nám chybí k testování?
Je tam řada důvodů, proč to u nás bude mít testování těžké. Problém z mého pohledu je v tom, že podobně by šlo uvést řadu důvodů, proč nezrušit osnovy a nenechat učitele, aby si určovali obsah vzdělávání.
Když O. H. říká: „Je však dobré nezačínat takovou společnou profesní debatu velkými činy typu celoplošné státní testování“, pak já říkám: „Je však dobré nezačínat takovou společnou profesní debatu velkými činy typu Navrhněte si v každé škole vlastní osnovy, a to plošně“.
Kdyby nebyla reforma, nebylo by naléhavé zavést systém plošného testování. Jenže tygr už je z klece venku, a my ho teď musíme držet za ocas a nepustit. Plošné monitorování, nejspíš za pomoci testů, bude nevyhnutelné. Souhlasím s tím, že je potřeba dělat vše jednak pro to, aby se minimalizovaly školy (jak decentralizace bez monitorování, tak z nekvalitních testů).
Možná by byla nejlepší tato cesta:
1) Dobrovolné testování
2) Zkvalitnění úrovně testů
3) Plošné testování
My jsme bohužel začali trojkou…
No, nezačalo se optimálně.
Ale má to svou historii. Kdyby se nezařízlo testování 5/9, které před pár lety pomalu, na začátku taky (pokud se pamatuju) jen v krajích, které o to stály, a bez velkých emocí připravoval Cermat (pod jiným vedením než současným, resp. tím, které připravilo současné maturity), tak věřím, že dnes už jsme prošli fází 2 a mohli jsme jít do fáze 3 s mnohem kvalitnějšími testy.
Podle mne je strašná škoda a odpovědnost Kuchtové a jejích náměstků, že to tehdy nechali padnout.
Ale je potřeba dívat se do budoucnosti: necháme to zase padnout, abychom za tři roky začínali znova v nějaké nové instituci, která bude nakupovat počítače a shánět lidi?
Ovšem ty tehdejší testy z CERMAT byly prachšpatné (viděl jsem češtinu)! V té tobě byly mnohem kvalitnější testy z Kalibra a Scia. Nevím, proč stát vymýšlel (a platil vývoj) svoje vlastní testy a nedal prostě školám dotaci na nákup hotových testů. Stejná situace je dnes. Kvalitní testy jsou. Některé školy si je nakupují, jiné ne. Stát by je prostě mohl pro školy hromadně se slevou nakoupit. K čemu dělat na koleně vlastní testy? Vždyť je stát (aktuálně ČŠI, předtím CERMAT…) oproti těmto firmám pozadu o 15 let v otázce vývoje testů!
To by bylo fakt divný, kdyby nebyly ty testy ze Scia a Kalibra lepší než státní. Za prvé soukromníci obvykle dělají věci lépe než stát, a za druhé ti pánové a dámy v soukromém sektoru to dělají v podstatě 20 let, zatímco stát se zmítá v křečích, zda nějaké testování chce nebo nechce. Dobrý test potřebuje minimálně 2-3 roky přípravy. Jsem přesvědčen, že pod vedením, které realizovalo testování 5/9 v krajích a které odvolala Kuchtová a její tým, bychom dnes už měli slušné testy.
Ale Vaše poznámka nechává stranou jednu důležitou věc: Jsou ty „kvalitnější“ testy ověřující, nebo rozlišující? Jsou kurikulárně validní? Jsou citlivé v oblasti slabých, nebo dobrých žáků? Mohou to být kvalitní testy např. pro výběr studentů na práva, ale současně úplně jiné, než stát potřebuje pro monitorování výkonu systému.
A na závěr: vždy jsem říkal i psal, že bych neměl problém s tím, kdyby státní zakázku na testování dostal soukromník, který to umí a zveřejňuje parametry svých testů. Jako druhá možnost mi přišlo, že si to stát udělá sám, protože tam si může veřejnost vynutit (třeba soudně) vyložení karet, což se může stát u maturity. Jako nejhorší (a naštěstí snad nerealizovaný) scénář mi přišlo, že zakázku na věcnou stránku testování dostane nějaká firma, která byla zapsána do rejstříku týden po vypsání této zakázky. Tohle se snad nestalo.
To nevím, jaké zkušenosti měla a jak dlouho existuje firma, která vyhrála výběrové řízení ČŠI na plošné testování žáků v 5. a 9. ročnících…
A ona je nějaká firma, která by vyhrála „testování“? Co já vím, testovala a bude testovat ČŠI, a taky zajišťuje konstrukci testů. Pokud byly nějaké soutěže, tak na HW/SW a podobné věci, a tam šlo o firmy, které ve svém oboru nebyly zpochybněny. Nikdo z těchto firem (naštěstí nebo naneštěstí) ale neřeší to, co nás zajímá – tj. vlastní testy. Mně je z tohoto hlediska celkem jedno, kdo dodá server, na kterém to běží, maximálně by mě zajímalo, v jakém poměru jsou peníze vynaložené na HW a SW k tomu, kolik se dá na zajištění kvalitních testů.
To je pravda. Ta firma obsah testů neřešila. Na obsah myslím ani nezbylo moc peněz… Jen se při generálce potýkala s přetížeností serverů. ČŠI pak z těch testů, kde se žáci nemohli třeba celý den přihlásit, nebo jim to neukládalo výsledky, případně jim to opakovaně padalo, nadělala krásné statistické koláče. Takže budoucnost plošného testování vidím velmi růžově… Vše působí profesionálně.
6. V USA sílí protesty proti standardizovaným testům a tomu, jakým způsobem jsou využívány výsledky testů. Rodiče nejsou spokojeni s tím, že výuka se věnuje hlavně přípravě na testy na úkor předmětů jako je přírodopis, společenské vědy a umělecká výchova. Výsledky testů rozhodují o dalším studiu žáka, výši mzdy učitele, často o existenci školy. Není zřejmé, zda se výsledky žáků díky testům zlepšily. Testů přibývá, testování vyžaduje nákladnou organizaci a jednorázové testování nevypovídá o celkové úrovni žáka. Testové otázky s výběrem jedné správné odpovědi nejsou považovány za dostatečně kvalitní. Obamova administrativa udělila granty, za které by měly být vypracovány moderní testy, ale od testování upustit nehodlá (http://www.reuters.com/article/2012/06/12/us-usa-education-testing-idUSBRE85B0EO20120612 ). Studenti v Ontariu se na SŠ dělí na akademický směr a praktický směr, zaměření jejich výuky se liší, ale všichni musejí v 10. třídě složit standardizovanou zkoušku ze čtenářské gramotnosti. Studenti z praktického směru mají mnohem menší úspěšnost ve zkoušce. Důvodem může být jiné zaměření kurikula nebo to, že je zde mnoho žáků, jejichž mateřštinou není angličtina. 78% studentů, kteří neuspěli v 10. třídě, neuspěli už v 6. třídě v testu čtení (http://www.theglobeandmail.com/news/national/eqao-findings-show-gap-between-applied-and-academic-success/article4255480/).
Dominik Dvořák 14.8.2012 v 10:49
Ale Vaše poznámka nechává stranou jednu důležitou věc: Jsou ty „kvalitnější“ testy ověřující, nebo rozlišující? Jsou kurikulárně validní? Jsou citlivé v oblasti slabých, nebo dobrých žáků? Mohou to být kvalitní testy např. pro výběr studentů na práva, ale současně úplně jiné, než stát potřebuje pro monitorování výkonu systému.>/i>
Testy jsou takové, jaké chce zákazník. Jsme si vcelku jist, že my bychom uměli vytvořit na zakázku kvalitní testy podle jasného zadání (ověřující, sociálně citlivé apod.).
Moje dosavadní zkušenost ovšem je, že takové zadaní mšmt připravit neumí, ale budiž v Sondách maturant jsme si s tím poradili. Mnohem větší problém je, že stále nevíme, k čemu má být testování dobré a nemáme (my všichni, školy, žáci) žádné záruky (ŽÁDNÉ!), že nepřijde nějaký dobeš, nepoužije to např. k prohloubení sociální segregace. A v takové situaci od toho, na rozdíl od kolegy Dvořáka, dávám ruce pryč.
Kdyby standardizované testy nebyly používány jako testy rozhodné (high stake), jak by to mohlo ovlivnit školy: učitelé by získali všechen čas, který věnují přípravě na testy, na běžnou výuku, učitelé by nemohli přijít o práci na základě výsledků testů a z nich odvozeného výpočtu přidané hodnoty, veřejné školy by měly rovnocennou pozici v soutěži s charterovými školami, nikoli založenou na výsledcích testování, technologie by mohla být využívána ve všech svých možnostech, nikoli na úrovni primitivní mechanizace (677). V Austrálii rodiče protestují proti standardizovaným testům ve školách. Testování není pro děti povinné, ale federální vláda je prosazuje, proti testům protestovali i někteří učitelé a ředitelé. Odpůrci poukazují na to, že výuka se zaměřuje na učení se k testu a dochází ke zúžení kurikula, a dále na to, že testy neměří kritické myšlení, kreativitu, zvídavost nebo motivaci (678).
(677) http://www.huffingtonpost.com/john-thompson/remove-stakes-from-standa_b_1511493.html?ref=education
(678) http://www.brisbanetimes.com.au/national/education/teach-or-test-20120514-1ymtv.html
V úterý 24.4. byla v USA zveřejněna rezoluce skupin pedagogů, rodičů a obhájců lidských práv proti využití výsledků standardizovaných testů pro závažná rozhodnutí, jako je hodnocení učitelů a ředitelů, postup žáků do dalších ročníků a absolvování střední školy. Odborníci varují, že rozhodné standardizované zkoušky vedou ke zužování kurikula, nespravedlivému hodnocení, učení se na test (624). Podle autorky dalšího příspěvku jsou standardizované testy v protikladu k možnostem, které nabízí technologie ve výuce. Učitelé oceňují přínos formativního hodnocení více než standardizované plošné testy. Kriticky je zmíněna možnost automatizovaného vyhodnocování esejů – ačkoliv studie k zavedení automatizovaného hodnocení říká, že výsledky nejsou horší než u hodnocení písemných prací lidmi, kritici vidí v automatizovaném vyhodnocování jen další krok ke standardizaci písemného projevu, omezení kreativity a originality (633). Opačné stanovisko zastává blog Getting Smart, kde autor argumentuje, že automatizované hodnocení umožní studentům psát víc textů a dostat včasnou zpětnou vazbu, může sloužit jako pomocné hodnocení pro učitele a povede ke zdokonalování se v písemných pracích (635).
(624) http://www.washingtonpost.com/blogs/answer-sheet/post/national-resolution-against-high-stakes-tests-released/2012/04/23/gIQApRnNdT_blog.html
(633) http://spotlight.macfound.org/blog/entry/jamming-the-system-standardized-tests-automated-grading-future-of-writing/
(635) http://gettingsmart.com/blog/2012/04/better-tests-more-writing-deeper-learning/