2019. június 25., kedd , Vilmos

1055 Bp., Szalay u. 10–14.

Tel.: (+36-1) 235-7200

Fax: (+36-1) 235-7202

magyar english
Elfelejtett jelszó

Intézeti folyóiratok

Köznevelés
Új Pedagógiai Szemle
Educatio
Könyv és nevelés
Kattintson ide a rendeléshez!
Tudástár >> Érettségi >> Új érettségi Magyarországon

A német nyelvi érettségi vizsgafeladatok fejlesztése – a tartalmi érvényesség és az értékelhetőség ellentmondásai

2009. június 17.

Einhorn Ágnes

A német nyelvi érettségi vizsgafeladatok fejlesztése

A tartalmi érvényesség és az értékelhetőség ellentmondásai

A vizsgafejlesztési folyamat

Az érettségi vizsga fejlesztési munkálatai során a közérdeklődés erősen a vizsga szervezési és szabályozási kérdései felé fordult. Sokáig meglepően kevés figyelmet kapott a vizsga tartalmi modernizációjának problémája, holott ez minden tantárgyban jelentős változásokat hozott, és a felkészülés, felkészítés szempontjából is nagy jelentőséggel bírt, miközben a vizsgakészítés oldaláról is sok érdekes megoldandó problémát vetett fel.

Az idegen nyelvek, így a német esetében is, a modernizáció tartalmi része, tehát a vizsgakövetelmények kompetenciaközpontúvá válása nem jelentett akkora újdonságot, mint sok más tantárgyban, hiszen az idegen nyelvek tanításában a nyelvi kompetenciák fejlesztése az elmúlt néhány évtizedben természetessé, szinte magától értetődővé vált. A kompetenciák fejlesztésének igényéből adódik néhány alapvető szakmai, módszertani kérdés, mint például a tanulóközpontúság, a tanulói önállóság fejlesztése, a tanári szerep átértékelése, a tanári beszéd arányának csökkenése, a különböző (nem frontális vagy plenáris) munkaformák gyakorlati alkalmazása, melyeket az általános pedagógiában jó ideje igényként megfogalmaztak és kutatnak, amelyekre azonban sok tantárgy módszertana nem tudott még konkrét, szakmapedagógiai javaslatokat és megoldásokat találni. Ezzel szemben az idegen nyelvek tanítási módszertanában ezek napi gyakorlattá váltak, a szakmódszertan szerves részét képezik. Azaz a tanárképzés és -továbbképzések, a tananyagok, módszertani segédletek az utóbbi évtizedekben németből olyan feladatokat, feladatsorokat, munkaformákat alkalmaznak, amelyek puszta lemásolása vagy egyszerű követése is voltaképpen kompetenciákat fejlesztő tanítást eredményez még akkor is, ha a tanár nem feltétlenül tudatosan és rendszerbe szervezve próbálja meg fejleszteni a tanulók nyelvtudását. Nagyrészt ennek köszönhető, hogy a fejlesztési folyamat során többször változó, de az alapelvek tekintetében teljesen stabil vizsgakövetelményeknek meglehetősen nagy volt a szakmai elfogadottsága. Két ponton merültek fel csupán kétségek és viták: az egyik a közvetítési képesség hiánya, a másik pedig a célnyelvi kultúra megjelenésének módja a követelményekben. Ezek a viták azonban nem voltak jelentősek.

A német nyelvi vizsga esetében ezért a fejlesztőmunka középpontjába nem az új követelmények és az alapelvek meghatározása került, hanem elsődlegesen a vizsgamodell kialakítása, mert itt már jelentősebb problémákkal álltunk szemben. Míg sok érettségi tárgyból a korábbi vizsgák egyes részei, elemei, feladattípusai átkerülhettek az új vizsgákba, addig németből a korábbi érettségi és felvételi vizsgának szinte semmilyen részét, feladatát nem tudtuk használni az alapelvek, illetve a mérési módszerek alapvető megváltozása miatt. Így tehát a feladatfejlesztés, a feladattipológiai kísérletezés és az ehhez kapcsolódó képzés (feladatírók, vizsgáztatók és felkészítő tanárok képzése) e tantárgy fejlesztési munkálatai során kiemelt szerephez jutott.

Ellentmondások a vizsgafejlesztésben

A munkát végigkísérte egy alapvető ellentmondás leküzdésére tett kísérlet, és ez egyben a fejlesztési folyamat egyik kifejezetten érdekes területévé vált. Az idegen nyelvi kompetenciák fejlesztése során kulcskérdés, hogy a receptív készségek (szövegértés írásban és szóban) alapján legyen képes a nyelvet tanuló a produktív készségekre (szövegalkotás írásban és szóban). Az idegen nyelvi alapkészségek fejlesztése során tehát alapelv a különböző készségterületek fejlesztésének folyamatos kombinálása, azaz a napi gyakorlás szintjén a szövegértés és a szövegalkotás állandó összekapcsolása, a nyelvtan és a szókincs gyakorlásának kontextualizálása, vagyis a nyelvi elemek szövegbe és szituációba helyezése. További fontos alapelv még a tanulói önállóság folyamatos erősítése, azaz a feladatsorokban a receptív feladatoktól és tevékenységektől következetesen a produktív felé haladás. Ezek az alapelvek természetesen és maguktól értetődően hozzák magukkal a nyitottabb feladat- és munkaformákat.

A szemléletében megváltozott idegennyelv-tanítást követni igyekvő mérésnek tehát ehhez is igazodnia kell, azaz akkor lehet tartalmilag érvényes mérőeszközöket létrehozni, ha ezek leképezik a vizsgafeladatokban ezen tendenciákat, tehát nyitottabb, produktívabb feladattípusok jelennek meg a vizsgán, amelyek alkalmat adnak a tanulónak nyelvtudása alkalmazására. A feladatok lehetőség szerint autentikus szövegeken alapulnak, és valós élethelyzeteket imitálnak, amikor világos, hogy ki, milyen helyzetben, milyen kommunikációs céllal próbál megérteni vagy létrehozni egy adott szöveget.

Másrészről azonban a pedagógiai méréssel kapcsolatban nagyon komoly elvárások jelentek meg, e tudományterület fejlődése is hihetetlenül meggyorsult az elmúlt évtizedekben, azaz olyan minőségi igényekkel lépünk fel a mérőeszközökkel szemben, amelyek akár még 10–15 évvel ezelőtt is elképzelhetetlenek voltak, vagy olyan ellenőrzési technikák állnak rendelkezésünkre, amelyek korábban nem jelenthették a tesztkészítési gyakorlat részét.

Az idegennyelv-tudás mérése során elvárás, hogy a vizsgaeredmények analitikusan is tükrözzék a képességeket, ezért tehát az egyes készségterületek mérését tudatosan és határozottan szétválasztjuk. A vizsgafeladatokkal kapcsolatban alapvető és nagyon jogos igény továbbá, hogy összemérhető és reális vizsgaeredményeket kell eredményezniük, azaz legyenek korrekten javíthatóak és értékelhetőek. Ezt a célkitűzést, azaz a teljes mértékű objektivitást azonban csak olyan zárt feladattípusokkal lehet elérni, amelyek általában csak részterületek mérésére alkalmasak, ráadásul sok esetben csak a felismerés képességét tudják mérni, az alkalmazásét sokkal nehezebben.

Ugyanekkor e két tendencia teljesen különböző irányban hat: azaz az idegennyelvtudás mérésével kapcsolatban támasztott két legfontosabb követelményünk és alapelvünk, tehát hogy a vizsga egyrészt tartalmilag legyen érvényes, alkalmas a nyelvtudás lényegének mérésére és ezzel egyidejűleg a mérés legyen szakszerű (objektív és megbízható), lényegében egymásnak ellentmondó és egymást nagyrészt kizáró elvek. A vizsgafejlesztés során tehát egyik központi kérdéssé vált, hogy hogyan lehet a vizsgát feladattipológiailag nyitottabbá tenni, több produktívabb feladatot beépíteni, ám ugyanakkor megbízható értékelési rendszert is biztosítani, továbbá az egyes mérési területeket egymástól jól elkülöníteni.

Ebben a tekintetben sok használható minta állt rendelkezésünkre, hiszen ezen ellentmondás feloldására számtalan törekvés figyelhető meg. Találhatunk más vizsgákban is példákat arra, hogyan lehet nyitott, tartalmilag érvényes mérőeszközöket létrehozni úgy, hogy eközben a mérés biztonsága is megmaradjon. A nemzetközi nyelvvizsgák esetében például sok esetben annak ellenére is biztosítható ez, hogy a nyelvi produktumokat értékelő tanárok kulturálisan meglehetősen eltérő közegben, adott esetben különböző földrészeken tevékenykednek.

S bár megfigyelhető a szakterületen egy erősödő, kicsit technokrata irányzat is, amely a mérés megbízhatóságát, a merőeszközök pszichometriai eszközökkel való folyamatos ellenőrzését mint egyedüli minőségi mércét tekinti, a fejlesztés során következetesen az az alapelv érvényesült, hogy egy a közoktatás részét képező záróvizsga kialakítása esetén a tartalmi érvényesség a legfontosabb alapelv. A záróvizsga visszahatása olyan komoly pozitív erőt jelenthet a közoktatásra, hogy amennyiben döntési helyzetbe kerülnek a fejlesztők, mert a tartalmi érvényesség és az objektivitásra törekvés kizárják egymást, akkor a tartalmi érvényesség szempontját kell elsődlegesnek tekinteni.

A vizsgamodell feladattipológiai kérdéseinek kezelésekor tekintettel kellett lenni még egy fontos jelenségre. Magyarországon a nyelvvizsgák és az érettségi vizsga kapcsolatának eddigi szabályozása, továbbá az egyébként is erős presztízsű nyelvvizsgabizonyítványok miatt az utóbbi években a középiskolai nyelvoktatásnak erős vizsgatréning jellege lett. A próbamérések során többször felvettünk háttéradatokat, például a tanításhoz használt nyelvkönyvek listáját, és ezek között mindig nagyon sok, különböző vizsgákra felkészítő feladatgyűjtemény volt. A vizsgatréning a felkészülés természetes és szükségszerű része, hiszen a tanulónak tisztában kell lennie azzal, hogy mi fog történni a vizsgán. Eltúlozva azonban kontraproduktívvá válhat, hiszen a didaktizálatlan „álmérőfeladatok” nem alkalmasak a kompetenciák felépítésére, ráadásul a folyamatos teljesítménykényszer kérdésessé teheti a tanítási folyamat sikerességét is. Ebből a szempontból nagyon fontos döntés, hogy a vizsga nagyrészt feladattipológiailag kötetlen, azaz van egy – a vizsgaleírásban rögzített – menüsor, a lehetséges vizsgafeladatok listája, amelyből kialakulhatnak a konkrét feladatsorok. Ily módon nem lehet a vizsgára való felkészítést néhány feladattípusra leszűkíteni, ugyanakkor ez a döntés természetesen megnehezíti a vizsgaanyagok létrehozását. Nem véletlen, hogy sok nyelvvizsga a vizsgaanyagok készítési nehézségei (és az ezzel járó költségtényezők) miatt feladattipológiailag kötött: azaz az egy készséghez tartozó feladatsor 2–3 feladatáról mindig pontosan lehet tudni, hogy az milyen típusú. A feladattipológiai kötetlenséggel és sokszínűséggel ugyanis sok tesztkészítési nehézséget kell felvállalni. Így nehezebbé válik a feladatírók képzése, a szövegválasztás, a lektorálás, bonyolultabbá válik a teszt összeállítása, hiszen a külön-külön már elfogadott és jónak tekinthető feladatok egyben, feladatsorként nem biztos, hogy jól működnek stb. A vizsga tartalmi érvényessége azonban ilyen módon kevésbé csorbul, továbbá így lehet nyitottabbá tenni a felkészítést.

Feladattipológiai tanulságok

Az egyes készségekhez tartozó modellek kialakítása egyenként is nagyon izgalmas és aprólékos munka volt. Meg kellett találni azokat a feladattípusokat, amelyekkel egyáltalán mérni lehet a követelményekben megfogalmazottakat, és amelyeket a magyar nyelvtanítási hagyományok is befogadnak. Meg kellett határozni az egyes feladatsorok mennyiségét, s ennek során el kellett dönteni, hogy a lehetséges vizsgaidő alatt mi teljesíthető. Meg kellett oldani, hogy a feladatsorok alkalmasak legyenek a különböző tanulói teljesítmények mérésére, azaz a jól és kevésbé jól teljesítő tanulók elkülönítésére, ami különösen a nagyon tág teljesítménysávot átfogó középszintnél jelentett komoly problémát. Ezen a téren természetesen a konkrét feladatok nehézsége vagy időigénye a döntő, de komoly feladat-tipológiai rendszerszerűségek is megfigyelhetők: bizonyos feladattípusok könnyebbek és kevesebb az időigényük, mint másoké. Nagyon sok kipróbálás és próbajavítás révén el kellett továbbá jutni oda, hogy a felhasznált feladattípusok értékelésére megbízható módszer alakuljon ki. Folyamatosan keresni kellett annak a módját, hogyan határozhatjuk meg a felhasznált konkrét feladatok és az abból kialakuló feladatsorok nehézségi szintjét, annak ellenére, hogy pillanatnyilag a magyar közoktatás teljesítőképességéről, azaz az érettségizők tudásszintjéről nagyon kevés adat áll rendelkezésre: sem a próbamérések, sem a próba-érettségik alapján nem lehetett egyértelműen prognosztizálni például az éles helyzetben érettségizők lehetséges és várható teljesítményét. Tovább bonyolítja ezt a kérdést az is, hogy az egységes érettségi egy rendkívül heterogén közoktatási rendszer záróvizsgája, ahol a különböző tanulói teljesítmények között nagyon jelentős különbségek figyelhetők meg, és erre a feladatsoroknak reagálniuk kell.

Ebben a nagyon érdekes és szerteágazó kérdéskörben sok olyan részterület van, amelynek az alaposabb vizsgálata tanulsággal szolgálhatna. Jelen tanulmány a problémahalmaz érzékeltetéséhez csupán két feladattípussal, illetve az azok fejlesztése során felmerült dilemmákkal és döntésekkel foglalkozik. Ezek a szövegértést mérő vizsgarészekben (olvasás és hallás) előforduló nyitott, azaz információgyűjtésre irányuló feladatok (jegyzetelés, rövid válasz) és az íráskészség vizsgarész szövegalkotási feladata, illetve a két feladattípus értékelése.

A szövegértést mérő nyitottabb feladatok

Feladatfejlesztés

Az olvasott szöveg értésének mérése a korábban érvényes érettségi, illetve érettségi-felvételi vizsgán is megjelent. Az új vizsgában alapvető különbségnek tekinthető, hogy csak autentikus szöveghez lehet feladatot készíteni, illetve egy jelentős feladattipológiai gazdagodást is megfigyelhetünk. A feladattipológiai sokszínűséget a vizsgaleírás listája ráadásul még le is egyszerűsíti, hiszen egy-egy feladattípus mögött sokszor nagyon sok különböző lehetőség áll, így például a „rövid választ igénylő nyitott kérdések” és a „nyitott kérdések” megjelölés mögött is (lásd 1. táblázat), amelyek fejlesztési problémájáról részletesebben szó lesz a továbbiakban.

1. táblázat
Feladattípusok az olvasási készség mérésére

  Érettségi / középszintű érettségi Érettségi-felvételi / emelt szintű érettségi
Rövid kérdések anyanyelven Cím hozzárendelése
Igaz/hamis állítások
Kiemelt szöveghely értelmezése
Feleletválasztás
Igaz/hamis állítás
Egymáshoz rendelés (cím és szöveg, kérdés és felelet, személy és kijelentés stb.)
Képek, események sorrendbe rakása a szöveg alapján
A szövegből kiemelt mondat, bekezdés helyének azonosítása a szövegben
A szöveg részeinek sorrendbe rakása
Hiányos mondatok kiegészítése a szöveg alapján
Rövid választ igénylő nyitott kérdések
Lásd középszint, továbbá:
hiányos szövegösszefoglalás kiegészítése nyitott kérdések

A fejlesztési munka kezdeteitől felmerült az igény arra, hogy nyitottabb feladatok is megjelenjenek a szövegértést mérő vizsgarészekben. Ennek elsősorban tartalmi oka van: ez imitálja a legjobban a valós nyelvhasználatot, különös tekintettel az emelt szintre, ahol a várható reális nyelvhasználatnak mindenképpen része az a képesség, hogy valaki anyagokat gyűjt német nyelvű szövegekből meghatározott céllal, és ehhez jegyzeteket készít. A szövegértési készség fejlesztése során gyakran használják is a jegyzetelési feladatot, illetve ennek előkészítő változatait (lényeg aláhúzása, kulcsszavak azonosítása stb.). Nyilvánvalóan gondot jelent azonban a vizsgafeladatként való felhasználás, mert nehéz az értékelés egységesítése. A jegyzetelés lényege ugyanis éppen az egyedisége, hiszen a felhasználó a saját gondolkodásmódjának, munkamódszerének vagy éppen az információk későbbi felhasználásának leginkább megfelelő módon írja ki a lényeget.

Az 1998-as mérésben mindkét szinten kipróbáltunk egy-egy ilyen feladatot. Középszinten egy kb. féloldalnyi szövegből, amely egy személy napi teendőit írta le, kellett információkat gyűjteni, a következő feladatmeghatározás alapján:

Olvassa el Waltraud Lackner naplófeljegyzéseit! Írja le címszavakban, hogy mi dolga volt a háziasszonynak az adott hét napjain! Jegyzeteljen a példa szerint! Minden gondolatjelhez kizárólag csak egy tevékenységet írjon! (Ezért természetes, hogy néhány tevékenység kimarad.)

Montag: die Familie wecken

Emelt szinten egy kb. kétoldalas leíró jellegű szöveghez kapták a tanulók az alábbi feladatot:

Lesen Sie den Text „Zielperson Kunde” noch einmal. Durch welche Mittel werden die Kunden in diesem Supermarkt zum Kauf verlockt? Notieren Sie in jedem Abschnitt (A-F) 3 davon. Schreiben Sie stichwortartig wie im Beispiel.

A Obst wird vielfach gespiegelt

A középszintű feladat statisztikai mutatói nem jeleztek nagy rendellenességet, mégis ez volt a füzet legproblémásabb feladata. Közepesen nehéz feladatnak tűnt: 59,6% volt a feladat átlagos megoldottsága (az egész füzeté 62,2%, a másik három feladaté 89,6%, 79,0%, 49,2% volt), megbízhatósága és diszkriminációs indexe – tulajdonképpen meglepő módon – az elfogadható értékhatáron fölül volt.

Az igazán komoly problémát az jelentette, hogy gyakorlatilag megoldhatatlannak tűnt a megoldások értékelése. A javítási útmutatóban megpróbáltuk ugyan összegyűjteni az összes lehetséges megoldást, és az értékelőknek szánt bevezető tartalmazta azt az utasítást, hogy bármilyen szinonimát el kell fogadni, továbbá hogy a nyelvtani és a helyesírási hibákat figyelmen kívül kell hagyni, amennyiben nem akadályozzák a megértést. Ennek ellenére sok olyan megoldás fordult elő a dolgozatokban, amelyekről az útmutató alapján nem volt egyértelmű a javító tanároknak, hogy elfogadhatóak-e, és ezért nagy volt az eltérés az értékelések között. Megkíséreltük tehát átalakítani, kibővíteni a javítási útmutatót, de ezzel sem sikerült megnyugtatóan kijavítanunk a dolgozatokat.

A kutatás során sok fontos kísérő adatot is felvettünk. Ennek alapján kiderült, hogy a tanulók erre a feladatra fordították a legtöbb időt (18,2 perc a 60 perces vizsgaidőből), és erről állították a legtöbben, hogy még nem találkoztak a feladattípussal (a válaszadók 19%-a). Sokan tartották nehéznek (26,7%), és sokaknak nem tetszett (37%). Öt tanár (a tizenhatból) ezt találta a legnehezebb feladatnak, hatan nem alkalmazták még soha ezt a feladattípust (Einhorn, 2000).

Emelt szinten ez volt a teszt legnehezebb feladata (megoldottság: 30,4%, az egész füzet megoldottsága: 38,4%, a többi feladaté: 41,2%, 34,4%, 63,5% volt). A feladat megoldására átlagosan 26,8 percet fordítottak a 80 perces vizsgaidőből. A feladat jól szórt, a megbízhatósági mutató és a diszkriminációs átlag is jó volt.

A tanulók közel fele tartotta ezt a feladatot nagyon nehéznek, 20%-uk pedig nem találkozott még soha ezzel a feladattípussal. A diákok közel felének nem tetszett, többen kiegészítették azzal, hogy hosszú, unalmas, fárasztó volt a szöveg, amelyhez sokat kellett írni, és túl sokat kellett gondolkodni(!). A tanárok is ezt találták a második legnehezebb feladatnak (öt említés a tizenkettőből), és hatan állították, hogy nem használják ezt a feladattípust (Einhorn, 2000).

A középszintű teszthez hasonlóan itt is komoly problémát jelentett az értékelés, itt azonban sikerült előállítani egy egyértelműbb, módosított javítási útmutatót, amelynek segítségével másodszorra már sikerült megnyugtatóbban kijavítanunk a dolgozatokat.

A próbamérés alapján megállapítottuk, hogy középszinten valószínűleg nehezen alkalmazható a feladat, mert nem könnyű olyan szöveget találni, amely a szintnek megfelelően nem túl nehéz, mégis reális, életszerű tevékenység hozzá a jegyzetelés. Megállapítottuk azt is, hogy mindenképpen tovább kell kísérletezni azért, hogy a feladat értékelhető legyen.

A 2000. évi mérésben átalakított formában próbáltuk ki a feladattípust. Egy állásajánló szövegből kellett a megadott információkat kiírni a következő feladatmeghatározás alapján.

Olvassa el az alábbi újságcikket, és jegyzetelési technikával, tehát röviden, nem teljesmondatokkal gyűjtse ki a kért információkat úgy, hogy minden ponthoz csak egyinformáció kerüljön! Lásd a (0)-val jelölt példát!

Erwünschte Vorkenntnisse: es gibt keine
Aufgaben der Mitarbeiter:

Ez a feladat is viszonylag nehéz volt (53%-os teljesítettség, az egész füzeté 67,7%, a többi feladaté 82,7%, 63,7%, 79,4%), de használhatóbb értékelési útmutatót lehetett hozzá készíteni. Erre a feladat alapvető átalakítása adott módot, hiszen ebben az esetben megadott szempontokhoz kellett információkat keresni. Ez jelentős különbséget jelent a korábbi változathoz képest, mert így eltér a feladat megoldásához szükséges olvasási mód is. Ebben az esetben ugyanis a tanulónak azt kell megtalálnia, hogy az adott témáról (például munkaidő vagy szakmai tapasztalat) mit ír a szöveg. A vizsgázó tehát nem önmaga emeli ki a fontos információkat egy adott, átfogóbb jellegű szemponthoz, hanem megadott információkat keres meg a szövegben. Ily módon a feladat a korábbitól eltérő mérési célt tesz lehetővé, jobban lezárható a megoldások köre, és az értékelési útmutatót is jobban lehetett strukturálni a korábbinál.

A további feladatfejlesztési munka során sokat foglalkoztunk még ezzel a feladattípussal, néhány újabb feladatot próbáltunk ki kisebb tanulói csoporton, és megállapítottuk, hogy a feladat korlátozása mindenképpen szükséges: vagy megadott szempontokkal, vagy (inkább az emelt szinten) kérdésekkel. Ennek mintájára pedig hallott szöveg értését mérő feladatokat is készítettünk.

A 2003. évi próbaérettségi mindkét szintjére bekerült már egy-egy ilyen olvasási feladat – mindkettő az adott szintű „B” mintafeladatsor III. feladata – továbbá mindkét mintafeladatsor hallott szöveg értését mérő részébe is kerültek ilyenek (Az érettségiről …, 2004).

Az értékelési útmutató fejlesztése

Nagyon sok finomítást igényelt a feladatok értékelési útmutatója, hiszen a javításnál, az értékelésnél több alapvető problémát kellett megoldanunk. A feladathoz a 2003-as próba-érettségiben a következő általános útmutatás készült. (Értékelési útmutató az emelt szintű vizsgához. „B” mintafeladatsor. In: Az érettségiről …, 2004.)

Az egyes szempontoknál több válaszlehetőséget is megadunk. Ezen kívül minden tartalmilag megfelelő válasz, illetve szinonima is elfogadható. Mivel a tanulók különböző jegyzetelési technikákat használnak, válaszaik nyelvi megfogalmazásukban, illetve hosszúságukban eltérhetnek a megadott megoldásoktól.

Jó a válasz akkor is, ha a vizsgázó szó szerint kimásolja a szövegből a megfelelő mondatot vagy mondatrészt. Ha a válasz a jó megoldás mellett a rosszat is tartalmazza, akkor csak a jót kell figyelembe venni.

(26) viele Aspekte integrieren, schneller lernen
(27) –

A fenti útmutatás jól tükrözi az értékelési rendszer alapelveit. Nagyon fontos, hogy az egyes vizsgarészek értékelése szorosan függjön össze a mérési céllal, ezért azokban a vizsgarészekben, ahol alapvetően a szövegértési képességet mérjük, a feladat megoldásához szükséges írás tulajdonképpen csak segédeszköznek tekintendő, ezekben a részekben tehát a nyelvi (nyelvtani, lexikai, helyesírási) hibákat figyelmen kívül hagyjuk, amennyiben a válasz még a hibák ellenére is érthető. A vizsga nyelvhelyességi részében azonban semmilyen nyelvtani vagy helyesírási hibát nem tolerálunk, akár egy kis- és nagybetű felcserélése is (amely a németben sokszor komoly jelentésbeli megkülönböztető szereppel bír) az adott item lenullázásával jár, továbbá természetesen az írás- és a beszédkészség minősítéséhez alkalmazott értékelési skálák is komolyan figyelembe veszik a nyelvi pontosságot.

A fejlesztési munka során többször tapasztaltuk, hogy ez az alapelv sok tanár számára nehézséget jelentett, hiszen alapvetően változtatnia kellett a korábbi értékelői magatartásán: az új érettségin el kellett fogadnia olyasmit, amit a régi érettségin nem fogadott el. Természetesen további problémát jelent ezzel kapcsolatban az érthetőség kérdésének értelmezése is: sok – elsősorban lexikai – hiba esetében például a magyar anyanyelvű nyelvtanár megérti ugyan a rossz kifejezést, amelyben a nyelvi hiba a magyar nyelvi megfelelő hatására jött létre, de adott esetben a magyarul nem tudó anyanyelvi beszélő számára már értelmezhetetlen lenne ugyanaz a szövegrész. Ezen a téren tehát lehetnek olyan határesetek, ahol a különböző értékelők megítélése között eltérés mutatkozik.

Komoly dilemmákat vet fel a jó és a rossz megoldások keverése, továbbá a szöveg szó szerinti kimásolása is. Természetesen a zártabb típusú feladatokban nem tolerálható, ha a vizsgázó több kísérletet tesz a megoldásra, az értékelőre bízva a választást. Ha tehát egy szövegértési feladat ilyen zártabb itemeket tartalmaz (például: Peter ist … Jahre alt. [Peter … éves.]), akkor nyilvánvalóan elfogadhatatlan az a magatartás, amikor három számot is beír a vizsgázó. A nyitottabb feladatoknál azonban nagyon sokszor előfordul, hogy a tanuló megtalálja a választ a szövegben, de odaír még olyasmit is, ami nem tartozik szorosan a kérdéshez. Mivel a szöveg megértése azt jelenti, hogy megtalálja és megérti a szövegben azt a helyet, amelyre a kérdés vonatkozik, elfogadható minden ilyen „túlteljesítés”, így a szövegből való kimásolás is.

Az egyik szövegértési feladatban (Középszint „B” mintafeladatsor, olvasott szöveg értése III. feladat egy riport alapján kellett különböző információkat gyűjteni (Az érettségiről …, 2004). Az első ponthoz szabadidős elfoglaltságokat kellett írni (Freizeitbeschäftigungen). Az egyik helyes válasz a szöveg alapján a következő: ins Zentrum gehen/fahren [a városközpontba menni]. Egy tanuló erre a következő megoldást írta: Nicolas habt Geld, fahrt er ins Zentrum, tehát a megoldás első fele nem tartozik szorosan a kérdéshez (ráadásul nyelvileg hibás is), a mondat második fele azonban tartalmilag megegyezik az útmutató javaslatával, bár ez is hibás. Ezt tehát teljes értékű megoldásként kell elfogadni.

A feladat értékelhetőségét szolgálja az is, hogy pontosan meghatározzuk előre az adott kérdésnél, szempontnál elvárt információk számát. Ennek kapcsán további problémát jelent, hogy az adott szövegben egy kérdéshez sokszor több információ is szerepel (az információkban gazdag szövegek alkalmasak leginkább ehhez a feladattípushoz). Azért, hogy könnyebb legyen a feladat, sok esetben egy-egy adott szempontnál csak kevesebb információt várunk el, mint amennyi valójában előfordul a szövegben. Azaz, a korábbi példánál maradva, a szövegben ugyan négy szabadidős elfoglaltságot is megemlítenek, de ennél a kérdésnél csak három szabad hely van. Ez a könnyítés azonban egyes tanulóknak nehézséget is jelenthet.

Gyakori jelenség az is, hogy a vizsgázó eltéved a pontok között, azaz két teljesen különböző információt ír egy ponthoz, egy másikat pedig üresen hagy, vagy rosszat ír oda. Az egy ponthoz írt két különböző megoldást azonban természetesen el kell fogadni (mintha külön pontokhoz írták volna), hiszen a vizsgázónak nem az a dolga, hogy a feladatkészítő logikáját kitalálja és kövesse, hanem az, hogy megoldja a feladatot (erre utal az útmutató korábban idézett részének utolsó két mondata).

A feladattípus értékelése során mégis az jelenti a legnagyobb problémát, hogy mivel a feladat lényegéből fakadóan nem lehet minden egyes lehetséges megoldást felsorolni, az értékelőnek egyedül kell döntenie abban a kérdésben, hogy az adott megoldást szinonimának tekinti-e. Ebből a szempontból komoly jelentősége van annak, hogy 2004-től lehetőség nyílt a vizsgáztatók képzésére. S bár a jogszabály csak az emelt szintű szóbeli vizsgáztatás előfeltételeként jelölte meg ennek (az idegen nyelvek esetében 45 órás) tanártovábbképzésnek az elvégzését, országszerte nagyon sok intézmény vállalta ezeknek a – képzett multiplikátorok által vezetett – tanfolyamoknak a megszervezését, és ezeken nem csak az emelt szintű szóbeli vizsgáztatók vettek részt.

Az értékelési útmutató alkalmazása

A 2003. évi próbaérettségi javításainak elemzése alapján a vizsgáztatói képzésben jelentős időt szántunk az olvasás és a hallás vizsgarészekben előforduló nyitottabb feladattípusok értékelésére. Ennek során a fő cél az volt, hogy a tanárok megértsék és elfogadják az értékelési rendszer alapelveit, hiszen csak így képesek következetes vizsgáztatói magatartásra. Ezért a képzési anyagba több olyan feladatlap is bekerült, ahol egy adott feladathoz gyűjtöttünk különböző megoldási példákat, és ezekről kellett a képzésben résztvevőknek dönteniük. A példákat a 2003. évi próbaérettségin készült tanulói dolgozatokból gyűjtöttük, olyan eseteket válogattunk össze, amelyek több javítónak is nehézséget jelentettek, tehát ahol bizonytalanabbnak tűnt az értékelés. Nem elégedtünk meg azzal, hogy a tanfolyamon az értékelők eldöntsék, hogy elfogadják-e a megoldást, hanem azt is tudatosítani akartuk, hogy milyen alapelvek alapján döntöttek. A feladatlapokon a következő indoklási lehetőségek álltak rendelkezésükre:

ELFOGADHATÓ, MERT…

Helyes a válasz, ez szerepel a javítási útmutatóban.
A válasz érthető, csak nyelvi hiba van benne.
· Egy ponthoz írta be az összes információt, ezért meg kell adni külön-külön az összes erre járó pontot.
A válasz tartalmazza a helyes választ is (vagy olyan szinonimát, ami elfogadható), a többi résztől eltekintünk (a vizsgázó javára döntünk).
Nem ez a válasz van megadva, de szinonimaként elfogadható.

NEM FOGADHATÓ EL, MERT…

Nem a konkrét kérdésre válaszol. / A válasz tartalmilag helytelen.
· A válasz nem érthető (hiányossága vagy értelemzavaró nyelvi hiba miatt).
A vizsgázó egy másik itemben tartalmilag ugyanezt a választ adta.
Forrás: Vizsgáztatók képzése a kétszintű érettségihez, 2004. 2/6. feladatlap

Ez a feladatlap is arra utal, hogy az új értékelési rendszerben a helyes és a helytelen fogalmát alapvetően át kell értékelniük a javító tanároknak. És ezen a ponton – a képzések ellenére is – még nagyon sok problémára lehet számítani. Álljon itt példaként a 2004. évi próbaérettségi középszintű hallott szöveg értését mérő feladatsorából a 2. feladat elemzésének egy részlete. A feldolgozás során egy nagyobb (1042 tanuló) reprezentatív minta adatai alapján tesztstatisztikai eszközökkel elemeztük az eredményeket, másrészt azonban egy kisebb, kb. 100 dolgozatból álló véletlenszerű almintának a konkrét tanulói megoldásait és az értékelők viselkedését vizsgáltuk. A feladatban három internettanfolyamról szóló párbeszéd meghallgatása alapján kell a vizsgázónak bizonyos információkat kiszűrnie a szövegből, a 10. item esetében a kérdés ez: Wie lange dauert der Kurs? [Meddig tart a tanfolyam?]

10. item:
Helyes megoldás (útmutató): ein halbes Jahr / vom Oktober bis April.
Megoldottság a teljes mintában (n = 1042!): 41%.
Üres dolgozatok száma az almintában (n = 101): 29 db.
Az útmutatóban megadott megoldás szerepel benne (n = 101): 7 db.
További megoldások (zárójelben az előfordulások száma):
A tanár elfogadta: A tanár nem fogadta el:
1 halbes Jahr (2)
halbes Jahr (11) / etwa halbes Jahr
(ein) halb Jahr (8)
bis halb Jahr
bis 1/2 Jahr
half Jahr
von Oktober bis April
*bis April (4)
*bis Ende April (2) / bis ende April
*Ende April
*bis Äpril
bis Jahr
halb bis Jahr
drei Woche / 2 Woche
im Januar
im Mai
jan – április

bis April
april / April (4) / im April / im april ende: im April (2) / bis ende April
Äprill / bis Äpril

A javítások elemzésekor szembeötlő, hogy a megadott megoldás teljesen helyesen csak a dolgozatok 7%-ában volt megtalálható, ezenkívül azonban sok elfogadható variáció merült fel. Az értékelő tanárok bizonytalanságára utal, hogy többször ugyanaz a megoldás szerepel az elfogadott és a nem elfogadott megoldások között is. Az elfogadott megoldások között a csillaggal jelölteket (összesen 8 dolgozat) az útmutató értelmében tartalmi okból nem lehetett volna elfogadni. A tanulói megoldások láttán az érthetőség kérdésén is érdemes elgondolkodni. Például az itt elfogadott „half Jahr” vagy a feladat más itemeiben az „im Mai” helyett helyesnek elfogadott „im mäy” vagy az „eine Woche” helyett elfogadott „1 vohe” esetében erősen vitatható az érthetőség.

Ennek a feladattípusnak az értékelési útmutatója sokkal pontosabban elkészíthető, ha lehetőség nyílik a vizsgafeladatok kipróbálására is. Ebben az esetben ugyanis a megadott jó megoldások mellé a dolgozatokból felsorolhatók még példák az elfogadható és a nem elfogadható megoldásokra. A fenti item megoldási útmutatója tehát a következő módon alakulhatna.

Helyes megoldás Elfogadható például Nem fogadható el
ein halbes Jahr
vom Oktober bis April
halbes Jahr
bis halb Jahr
von Oktober bis April
bis April
bis Ende April

Az íráskészséget mérő feladatok

A vizsgamodell kialakítása

Az íráskészség mérése elvileg nem új eleme a vizsgának, hiszen mind a régi érettségiben, mind az érettségi-felvételiben volt egy-egy írásfeladat. Ezekben azonban nem meghatározható szövegfajtát kellett létrehozni rövid idő alatt, és meglehetősen kidolgozatlan volt az értékelés módja. Ily módon jelentős változást jelent, hogy az íráskészséget az új vizsga külön résszel méri, és ehhez nagyon részletes értékelési rendszer készült.

Az új vizsga íráskészség részének modellje többször is megváltozott az idők során. Ebben jelentős szerepet játszott a vizsgaszintek változása is, de természetesen az is kipróbálásokat igényelt, hogy meghatározzuk a reálisan létrehozható szövegek terjedelmét. A jelenlegi modellben mindkét szinten két-két feladat van: középszinten a két feladat két jól elkülöníthető szinten méri a vizsgázók nyelvtudását (1. feladat: A2, 2. feladat: B1), emelt szinten a két feladat eltérő kommunikációs tevékenységet feltételez: az egyikben mindig valamilyen interakció történik, a másik pedig elsődlegesen véleménykifejtést igényel.

A modell kialakítása során egy komoly ellentmondásba ütköztünk. A vizsga egészére érvényes alapelv, az autenticitás, azaz a kommunikatív keret megtartása minden feladatnál, ami azt jelenti, hogy a vizsgázó számára mindig világosnak kell lennie, hogy ki, milyen helyzetben és milyen szándékkal próbálja megérteni vagy megalkotni a szöveget, és ennek a szándéknak mindig hitelesnek is kell lennie. Fontos tehát, hogy minden feladat esetében legyen elképzelhető, hogy azt a szövegtípust valaki valóban ilyen helyzetben és ilyen értési szándékkal akarja megérteni vagy létrehozni. Ez a feladatok megítélésének is alapvető minőségi kritériuma, hiszen – abszurd példával élve – nem tekinthető reális helyzetnek, ha a feladatban egy moziműsort olyan módon kell a vizsgázónak elolvasnia, hogy abból az összes lehetséges információt megértse. Ehhez a szövegfajtához ugyanis reális élethelyzetben csak szelektív olvasás párosulhat, azaz az érdeklődési körnek megfelelően és/vagy meghatározott időponthoz keresünk információkat, ezért bizonyos részekből kiemelünk egyes információkat, más részeket pedig teljes egészében figyelmen kívül hagyunk. Az íráskészséget mérő vizsgarészre leszűkítve ez tehát azt jelenti, hogy csak olyan szövegfajtákat íratunk, amelyeket valóban ír(hat)nak a tanulók valós élethelyzetekben, és pontosan megadjuk a szituációt is, amelyben az írás keletkezik (ki ír, kinek, miért).

Míg a vizsga egészét tekintve ez az alapelv jelentős minőségi gazdagodást, komoly tartalmi modernizációt, új lehetőségeket jelentett, addig az íráskészség esetén ez az alapelv szűkítő jellegűnek bizonyult. A létrehozandó szövegfajták meghatározásakor nagy problémát okozott ugyanis, hogy ha reális nyelvhasználati helyzetben kívánjuk az írást kezelni, akkor nagyon leszűkül a választható szövegfajták kínálata. Ebben a koncepcióban az írás heurisztikus funkciója nem jut szerephez, holott az írásnak lehet olyan funkciója is, amikor a gondolatmenet, az egyes gondolatok világosabb megfogalmazása a cél. Tehát ebben a következetes, ám szigorúbb értelmezésben a klasszikus fogalmazás, elemzés, sőt még az állásfoglalás is kívül esik a lehetséges szövegfajták körén, ezekhez ugyanis nem lehet a tanulók élethelyzetének megfelelő kommunikatív keretet létrehozni.

A modell kialakítása során ez a kérdés komoly vitát és bizonytalanságot váltott ki, hiszen természetesen felmerült az a lehetőség, hogy ebben az egy vizsgarészben eltérünk ettől az alapelvtől. Ám a vizsga tanításra való visszahatása miatt úgy döntöttünk, hogy megkíséreljük a kommunikatív keret elvét következetesen érvényesíteni az egész vizsgában. Ennek eredményeként a vizsgán a következő szövegfajták fordulhatnak elő középszinten: rövid, személyes jellegű közlés (például üzenet, naplóbejegyzés), üdvözlőlap, meghívó, magánjellegű vagy intézménynek (például nyelviskolának) szóló levél, emelt szinten pedig ezen túlmenően még olvasói levél vagy cikk (diák)újság számára.

A legnagyobb nehézséget az jelentette, hogy az emelt szinten elvárható gondolati és nyelvi komplexitáshoz nehéz a kommunikativitás elvének következetes alkalmazása mellett megfelelő szövegfajtát találni. A nyelvi szint különbsége ugyanis értelemszerűen meghatározza a közlés lehetséges tartalmát is. Míg egy alacsonyabb nyelvi szinten például a család témakörében csak annyi várható el, hogy valaki nagyon egyszerűen közli a saját családjával kapcsolatos információkat, a középszintű érettségi nyelvi szintjén ennél több és részletesebb leírás vagy problémafeltárás is lehetséges a saját helyzetére vonatkoztatva, az emelt szintű érettségi vizsga szintjén pedig általánosabb érvényű, komplexebb megállapítások is elvárhatók, árnyalatokkal, időbeli vagy térbeli kitekintéssel. Ahhoz tehát, hogy az adott szinten elvárható nyelvi eszközök alkalmazására a vizsgázónak módja legyen, tartalmilag is megfelelő feladatot kell kapnia, amely lehetőséget biztosít a véleménykifejtésre, előnyök és hátrányok, lehetőségek és korlátok, folyamatok és tendenciák leírását igényli. Az olvasói levél vagy a diákújságnak szóló cikk tulajdonképpen egy kommunikatív keretbe öltöztetett állásfoglalás. Ugyanakkor nyilvánvaló, hogy az olvasói levél olyan szövegfajta, amelyet valós élethelyzetben gyakorlatilag nem vagy csak nagyon ritkán írunk, sem ennek, sem az újságcikknek a szövegjellemzőit nem kell feltétlenül ismerniük a tanulóknak az idegen nyelven (bár tény, hogy ezeket az anyanyelvi vizsgakövetelmények tartalmazzák). Erre a problémára azt a megoldást alkalmaztuk, hogy sem az olvasói levél, sem az újságcikk speciális szövegjellemzőit nem várjuk el, ezeknek az értékelésétől eltekintünk. Ezen szövegfajták esetében a szövegalkotás értékelési szempontnál azt kell csak minősíteni, hogy általános értelemben megfelelő-e a szöveg tagolása és felépítése.

Ezen döntés hatása a tanításra két módon érvényesülhet. Egyrészt pozitívnak tekinthető, hogy ily módon kérdésessé válik a klasszikus iskolai fogalmazás alkalmazása a nyelvtanításban (például: „Írj másfél oldalt a versenysport veszélyeiről!”), amellyel az a legnagyobb probléma, hogy nyelvi szempontból nagyon nehéz egy olyan szöveg létrehozása, amelynek teljesen tisztázatlan a célja és az olvasója. A helyzet és az elképzelt olvasó, valamint a közlési szándék hiánya komoly nyelvi bizonytalansághoz vezethet, hiszen nem lehet eldönteni, hogy milyen szövegregiszterben kell mozognia a szöveg írójának.

Tagadhatatlan tény azonban, hogy az autenticitás elve miatt az íráskészség vizsgarészben nehezebb olyan érdekes és motiváló feladatokat találni, mint amilyenek a többi részben előfordulhatnak. Ez pedig a tanításra ellenkező módon is visszahathat. A gyakorló tanárok számára sok esetben nehezen szétválasztható a felkészítés során a vizsgatréning és a vizsgához szükséges kompetenciák fejlesztése. Mivel a nyelvvizsgáztatásban az utóbbi időben túlnyomórészt leveleket kell írni, az íráskészség fejlesztése során a tanítási gyakorlatban szinte kizárólag ezt a szövegfajtát hozzák létre, pedig a kreatív írás területe számtalan olyan nagyon hasznos és szórakoztató lehetőséget kínálna, amely valóban fejleszti a szövegalkotási képességet, ugyanakkor motiváló és érdekes is. Ezek a lehetőségek azonban, épp kreativitási igényük miatt, nagyon nehezen lennének értékelhetők, így kívül esnek a vizsga lehetőségi körén. Ebből azonban természetesen nem következik, hogy a felkészítés során sincs helyük és szerepük.

Az egyik íráskészség-feladatnál mindkét szinten választási lehetőséget adunk, hiszen a szövegalkotás esetén nagyon nehézzé teszi a feladatot, ha a vizsgázónak az adott témáról egyáltalán nincsenek ismeretei és gondolatai. Márpedig a mérési cél nem az, hogy a vizsgázó általános tájékozottságát vagy a témában való jártasságát mérjük. A szövegprodukciónál tehát mindenképpen esélynövelő szerepe van annak, ha különböző témák közül választva lehet a feladatot megoldani. Természetesen ez újabb problémát is jelent a vizsgakészítés során, hiszen a két feladatnak azonos értékűnek kell lennie.

A modell kialakítása során komoly vitát váltott ki, hogy engedélyezzük-e a szótárhasználatot. A szótár használata az idegennyelv-tudás egyik alapkompetenciájának tekinthető, mégis a nyelvtanításban meglehetősen kevés szerepet szánnak e képesség fejlesztésének. A szótár használatában nem annak technikai része okoz nehézséget, hanem az, hogy a nyelvhasználó valóban csak akkor nyúljon a szótárhoz, ha az már elkerülhetetlen. A kipróbálások során azt lehetett megfigyelni, hogy sok esetben a szótár használata nehezíti, lassítja a munkát. Végül is a döntő érv az volt a szótárhasználat mellett, hogy egy szöveg létrehozása során reális élethelyzetben is szótárhoz nyúlunk, még viszonylag magas szintű nyelvtudás esetén is, ráadásul az érettségi vizsga egészében jelentősen megnőtt az eszközök használatának szerepe (helyesírási szótár, források, atlaszok). Ezért az íráskészség vizsgarészben bármilyen nyomtatott szótár használata megengedett, és csak remélni lehet, hogy ennek következtében a szótárhasználat kérdésére a felkészítési folyamatban is több energiát szánnak majd.

Az értékelési útmutató fejlesztése

A munka kezdetétől nyilvánvaló volt, hogy a legnagyobb problémát az íráskészséget mérő feladatokhoz készülő javítási és értékelési útmutatók kialakítása fogja okozni. Egyrészt a produktív készségek objektív és összemérhető értékelése a legnehezebb feladat, másrészt ezen a téren várható a legjelentősebb eltérés a magyar hagyományokhoz képest.

A korábbi magyar vizsgáztatói gyakorlatban két jellemző eljárást figyelhettünk meg a tanulók által írt szöveg értékelésében. Az egyik a régi érettségi vizsga gyakorlata, ahol tulajdonképpen semmiféle konkrét fogódzót nem kapott a javító tanár, hanem a megadott ötös és kettes határ figyelembevételével kellett egyéni belátása szerint értékelnie. A másik elterjedt javítási mód az, hogy az elkövetett nyelvi hibák alapján, pontlevonásos módszerrel alakul ki a végeredmény. A fenti két megoldás közül az első nem alkalmas összemérhető és megbízható eredmények kialakítására, a második pedig szemléletében problémás. A szöveg létrehozásánál ugyanis nem kizárólag vagy nem elsődlegesen a nyelvtani és lexikai kompetencia mérése a célunk, hanem arra vagyunk kíváncsiak, hogy képes-e a tanuló felépíteni és tagolni a szöveget, tudja-e használni az adott helyzethez és a kommunikációs szándék kifejezéséhez szükséges nyelvi eszközöket, ismeri-e a szövegfajta sajátosságait stb. Ezért természetesen nem elégedhetünk meg a nyelvi pontosság értékelésével, és nem fogadhatunk el egy olyan szemléletű javítási útmutatót, amely a szöveget nem szövegként kezeli, hanem tulajdonképpen potenciális nyelvi hibák összességének tekinti.

A nemzetközi vizsgáztatási gyakorlatban az íráskészség mérésére ezért analitikus skálákat alkalmaznak. Ennek az a lényege, hogy a tesztkészítők eldöntik, milyen szempontok szerint kívánják a dolgozatokat értékelni, meghatározzák, hogy ezek az értékelés során milyen arányban lényegesek, ezáltal nagyon határozottan kifejezve véleményüket a különböző szempontok közötti prioritásokról. Ezt követően az egyes szempontokon belül pontosan leírják a különböző minőségi szinteket. Az ilyen skálákat hosszadalmas fejlesztési folyamatban lehet csak kialakítani, amely során azokat több szövegen és sok javítóval kell kipróbálni. A skálák használatához elengedhetetlenül fontos a javítók képzése is, hiszen a legpontosabban megfogalmazott leírás sem mindig ad elég segítséget az értékelő számára a konkrét döntési helyzetben.

Az értékelési rendszer hangsúlyai természetesen az elvárt nyelvi szinttől függően különbözőek, sőt a létrehozandó szövegfajta és a feladatmeghatározás különbségei is hathatnak rá. Ezért a négy feladattípus mindegyikéhez külön skála készült, amelyek azonban feladatfüggetlenek, tehát minden azonos típusú feladathoz felhasználhatók. A négy feladathoz hasonló értékelési szempontok érvényesek (lásd 2. táblázat).

2. táblázat
Értékelési szempontok az íráskészség vizsgarészhez

Középszint, 1. feladat Középszint, 2. feladat,
emelt szint, 1. feladat
Emelt szint, 2. feladat
Tartalom és szöveghossz
Nyelvhelyesség
Tartalom
Formai jegyek és hangnem
Szövegalkotás
Szókincs, kifejezésmód
Nyelvtan, helyesírás
Tartalom
Szövegalkotás
Szókincs, kifejezésmód
Nyelvtan, helyesírás

Az egyes értékelési szempontokhoz tartozó minőségi szintek kialakítása a tartalmi szempontnál volt a legegyszerűbb. Mindegyik feladat tartalmaz bizonyos mennyiségű tartalmi támpontot (irányítási szempontot), amely egyrészt a vizsgázónak segítségül szolgál a feladat megoldásakor, másrészt azonban ezek teljesítése alapján viszonylag mechanikusan létrejönnek a különböző minőségi szintek (lásd 3. táblázat).

3. táblázat
Az emelt szintű első íráskészség-feladat értékelési skálája a tartalom szemponthoz

5 pont 4–3 pont 2–1 pont 0 pont
A vizsgázó öt irányító szempontot dolgozott ki megfelelően.
A vizsgázó a kommunikációs célokat megfelelően valósította meg.
A vizsgázó négy irányító szempontot dolgozott ki megfelelően, a többit pedig csak részben vagy egyáltalán nem.
A vizsgázó a kommunikációs célokat nagyrészt megfelelően valósította meg.
A vizsgázó három irányító szempontot dolgozott ki megfelelően, a többit pedig csak részben vagy egyáltalán nem.
vagy: A vizsgázó két irányító szempontot dolgozott ki megfelelően, és még legalább egy irányító szempontot tárgyalt részben.
A kommunikációs célokat részben valósította meg.
A vizsgázó csak két irányító szempontot dolgozott ki megfelelően, és nem tárgyalta a többi szempontot.
Alapvető kommunikációs célját nem éri el.

A tartalom szempontja mindegyik értékelési skálában nagyon fontos. Bár pontszámát tekintve nem jelenik meg nagyobb súllyal az értékelésben, mint a nyelvhelyességi szempontok, de ha tartalmi szempontból 0 pontos a szöveg, akkor a többi szempont alapján is csak 0 pontos lehet. Az írásmű elbírálásakor tehát nagyon lényeges, hogy a szöveg írója milyen mértékben érte el kommunikációs célját, azaz egy reális élethelyzetben valóban el tudná-e intézni ezzel a levéllel azt a problémát, amely miatt ír, vagy egy valódi olvasó valóban megértené-e a gondolatait az adott témáról.

Ez a jelenség az értékelő tanárok számára újabb nehézséget jelentett. Hiszen nem csak az a már említett jelenség igaz, hogy sok tanárnak gyökeresen változtatnia kellett korábbi értékelői magatartásán, mert olyasmiért is pontot kellett adnia, amiért a régi vizsgán nem. Nos, az írás esetében ennek a fordítottja is igaz. Adott esetben a tanár nem értékelhet pozitívan olyan dolgozatokat, amelyekért korábban esetleg még adott pontot. A próbamérések során ugyanis mindig volt olyan vizsgázó, aki félreértette az alaphelyzetet és másról írt, vagy megpróbált valamilyen előre elkészített panelt leírni. Ezekben az esetekben az értékelő tanárnak le kellett nulláznia a dolgozatot, még akkor is, ha az nyelvi minőségét tekintve nem volt egyértelműen rossz. Ha azonban az írásmű nem arról szól, ami a feladat, akkor nem fogadható el.

A szövegalkotás és a formai jegyek esetében is viszonylag egyszerűen létre lehetett hozni a különböző minőségi szinteket. Ebben a tekintetben talán csak az jelentett igazán problémát, hogy milyen súllyal jelenjenek meg a formai szempontok. A német levél ugyanis hagyományosan formailag kötöttebb, mint a magyar, ám kétségtelen tény, hogy az elektronikus levelezés sokat lazított ezen a formai kötöttségen.

Igazán nagy nehézséget jelentett azonban a minőségi szintek kialakítása a nyelvhelyességi szempontokhoz (lásd 4. és 5. táblázat). Ebben az esetben ugyanis azt kellett megoldanunk, hogy egyrészt világosan elkülöníthető minőségi szinteket fogalmazzunk meg, másrészt azonban igazodjunk ahhoz, hogy a különböző feladatokban elvárható nyelvi szint nem azonos, tehát a legjobb, a skála szerint legmagasabb nyelvi szint teljesen más a középszint két feladatában, és ennél is magasabb az emelt szinten. Mivel e nyelvhelyességi szempontok tekintetében léteznek nemzetközi szintleírások, ezekhez is lehetett igazodni.

4. táblázat
A nyelvhelyesség, helyesírás értékelési szempont a B2 szintű skálában (emelt szint)

5 pont 4–3 pont 2–1 pont 0 pont
A vizsgázó változatos nyelvtani struktúrákat használ, valamint mondatszerkesztése is változatos.
A szöveg hibátlan vagy csak kevés, a szöveg megértését nem nehezítő nyelvi (mondattan, alaktan, helyesírás) hiba található benne.
A vizsgázó törekszik a változatos nyelvtani struktúrák használatára és a változatos mondat-
szerkesztésre.
A szövegben több, a szöveg megértését nem nehezítő nyelvi (mondattan, alaktan, helyesírás) hiba és/vagy néhány, a szöveg megértését nehezítő hiba található.
A vizsgázó egyszerű nyelvtani struktúrákat használ és/vagy mondatszerkesztése nem kellően változatos.
Rendszerszerű hibákat ejt.
A szövegben sok hiba van, a hibák többször nehezítik a megértést.
A szöveget a szintnek nem megfelelő, túlságosan egyszerű nyelvtani struktúrák és igénytelen mondatszerkesztés jellemzi.
A szövegben sok, a szöveg megértését jelentősen nehezítő és/vagy akadályozó hiba található.

5. táblázat
A nyelvhelyesség, helyesírás értékelési szempont a B1 szintű skálában (középszint, 2. feladat)

5 pont 4–3 pont 2–1 pont 0 pont
A vizsgázó általában helyesen használja az egyszerű nyelvtani struktúrákat.
A szöveg kevés nyelvi (mondattan, alaktan, helyesírás) hibát tartalmaz, amelyek azonban a megértést nem befolyásolják.
A vizsgázó több hibával használja az egyszerű nyelvtani struktúrákat.
A szöveg több nyelvi (mondattan, alaktan, helyesírás) hibát tartalmaz, amelyek azonban a megértést nem befolyásolják, és/vagy kevés, a megértést nehezítő hiba jellemzi a dolgozatot.
A vizsgázó csak a legegyszerűbb nyelvtani struktúrákat használja.
A szöveg sok olyan nyelvi (mondattan, alaktan, helyesírás) hibát tartalmaz, amelyek a megértést nem befolyásolják, valamint több, a megértést jelentősen nehezítő nyelvi hiba fordul elő benne.
A szöveg a nyelvi (mondattan, alaktan, helyesírás) hibák miatt nem érthető.

Az egyes leírások alapján jól látszik, hogy a nyelvhelyességi szempontoknál mindig két különböző nézőpontot kell figyelembe venni: egyrészt mennyire összetettek azok a nyelvi szerkezetek, amelyeket a tanuló használ, másrészt mennyire pontosan (hibátlanul) használja azokat. Ez is arra utal tehát, hogy önmagában a nyelvi hibák mennyisége nem elegendő információ egy írásmű megítéléséhez, hiszen jobb elbírálás alá esik az a dolgozat, amelyben megpróbálják az adott szinten már elvárható bonyolultabb nyelvi szerkezetek használatát, ám az nem mindig sikerül tökéletesen, mint az a dolgozat, amely egy nagyon egyszerű nyelvi eszköztárat használ, igaz azt kevés hibával.

Az értékelési skálák jelenlegi formájában mutatkozik egy kisebb ellentmondás is. A skálák kialakításakor még nem volt eldöntött tény, hogy a vizsgaeredményeket hogyan váltják jegyre, illetve hogy hol van a bukáshatár. Ezért abból az általánosan elfogadott gyakorlatból indultunk ki, hogy ez a határ várhatóan 50% körül lesz. Ezért követtük azt a szokásos gyakorlatot, hogy az egyes minőségi szintek pontos megfogalmazásakor az 50% alatti kategóriák már az egy Európa tanácsi szinttel alacsonyabb nyelvtudási szintet írják le. Például az emelt szinthez készült, tehát B2 szintű skála 2–1 pontjánál leírtak (egyszerű, nem kellően változatos szerkezetek, rendszerszerű hibák) a B1 szintű nyelvhasználóra jellemzők (lásd 4. táblázat). Az a tény, hogy a vizsga teljesítésének határa oktatáspolitikai okból folyamatosan csökkent, bizonyos értelemben a skálák torzulásához vezetett. Ennek hatását természetesen nehéz kimutatni vagy pontosan követni, hiszen a vizsga eredményét az összteljesítmény alapján számolják ki, tehát az egyes készségek terén elért eredmények módosíthatják egymást.

Az értékelési skálák használhatóságát és megbízhatóságát természetesen sokszor kellett ellenőrizni, ez gyakorlatilag szinte egy önálló kutatási rész volt a fejlesztési folyamatban. A skálák kialakításának és a használhatóság ellenőrzésének több, jól elkülöníthető szakasza volt. Először odáig kellett eljutnunk, hogy maguk a fejlesztéssel foglalkozó tantárgyi bizottság tagjai nagyjából hasonló eredményre jussanak a skála segítségével ugyanannál a dolgozatnál, és hogy a különböző minőségi szintekbe besorolt dolgozatok valóban egymástól elkülöníthető nyelvi minőséget reprezentáljanak. (Tehát a különböző kategóriába besorolt dolgozatok között látható, rendszerszerű különbség legyen.) Majd ellenőrizni kellett, hogy a skálák mennyire érthetők és használhatók mások számára. A két nagy mérésen kívül (1998. és 2000.) az íráskészséghez többször írattunk külön dolgozatokat, és ezeket különböző körökben újra és újra javíttattuk a folyamatosan változó leírások segítségével. Volt olyan munkafázis is, amikor a javító tanároknak részben ugyanazokat a dolgozatokat kellett kijavítaniuk, csak így tudtuk ugyanis ellenőrizni, hogy mennyire jutnak egységes eredményre.

Az értékelési skálákhoz készült egy hosszabb magyarázó szöveg is, valamint sok mintajavítás, amelyek „Az érettségiről tanároknak 2005.” című kiadványban szerepelnek. A korábban említett vizsgáztatói képzési anyagnak körülbelül egyharmada foglalkozik ezzel a vizsgarésszel. A cél az, hogy a javító tanárok képesek legyenek a minőségi szintek megértésére és alkalmazására, a különböző vizsgaszintek különbségeinek megértésére és a javítási jelrendszer használatára.

A hosszú folyamat eredményeként a 2004. évi próbaérettségin már elég jó eredmények születtek: ahol módunk volt a kettős javítás adatait összehasonlítani, ott biztatóak voltak az eltérések (Einhorn-Major, 2005).

Az értékelési rendszer alkalmazása

Nem volt ennyire egyszerű azonban az értékelési rendszer elfogadtatása. Az értékelési skálák használatához készült útmutató szintenként egy-egy kb. 10 oldalas feladatfüggetlen szöveg. Az első kipróbálások során a tanárok nehezen fogadták azt, hogy egy ilyen hosszú, aprólékos leírást kell használniuk, miközben a német nyelvi érettségi vizsgához korábban összesen egy oldalnyi útmutatást kaptak. A másik problémát az jelentette, hogy az analitikus skálák használatának fontos eleme, hogy az értékelőnek a különböző szempontok szerinti értékeléshez újra és újra el kell olvasnia ugyanazt a dolgozatot, hiszen a pontos értékelésnek előfeltétele, hogy az értékelő tanár egyszerre mindig csak egy szemponttal foglalkozzon. Azaz az értékelés során a javító elolvassa a szöveget egyben, és eközben csak a tartalmi szempontok teljesítésére koncentrál, egy következő olvasásnál a nyelvhelyességi szempontok szerinti hibákat jelöli, majd a skálák megfelelő része alapján értékeli a nyelvhelyességi minőséget, és végül a szövegalkotási kérdésekben dönt.

A 2003. évi próbaérettségi javító tanárai számára készített kérdőív összegzése azt mutatta, hogy a tanárok szinte felháborodva utasították el, hogy ilyen hosszú értékelési útmutató készült, és hogy minden egyes dolgozatot többször kellett elolvasniuk (Einhorn, 2003). Ennek az értékelésnek nagy előnye ugyan, hogy ha az értékelő megtanulta a szakszerű alkalmazását, akkor nemcsak megbízhatóbb eredményhez jut, hanem gyorsabban is tud dolgozni. Ugyanakkor tény, hogy amíg még nem ismeri jól az eljárást, addig valóban lassabban tud haladni.

A fejlesztőmunka során sokszor találkoztunk azzal a véleménnyel is, hogy a skálák nem elég objektívek, mert nincsenek bennük hibaszámok, sokszor szerettek volna a javítók inkább olyan skálát, ahol egyértelműen leírják számukra, hogy hány hiba esetén kerülhet a dolgozat az adott minőségi szintre. Mindenképpen nehéz volt elfogadtatni, hogy nem a hibák száma, hanem a közlés minősége és az érthetőség az elsődleges szempont.

Nagyon fontos lehet ennek az értékelésnek a hatása a mindennapi tanítási gyakorlatra is. Ezek a skálák (és a nagyon hasonló szóbeli értékeléshez használt értékelési rendszer) ugyanis természetesen a napi tanítási gyakorlat részévé válhatnak. Ez az értékelési rendszer adaptálható az iskolai értékelésre is. A tanulókkal érdemes alaposan feldolgozni az értékelési szempontokat, így ugyanis tudatosodhat bennük, hogy mire kell figyelniük egy szöveg létrehozásakor. Ezen a módon a saját eredményeik is részletesebben értelmezhetőek, hiszen a tanulók világosan látják, hogy mely területeken jobb és melyeken rosszabb a teljesítményük.

Hangsúlyozni kell azonban, hogy az értékelési skála önmagában nem teheti összemérhetővé a különböző vizsgázók eredményeit. A produktív készségek értékelésének előfeltétele a vizsgáztatók képzése. Ebből a szempontból tanulságos a nemzetközi nyelvvizsgák gyakorlata, ahol nem elégednek meg azzal, hogy minden értékelő elvégzi a szükséges alapképzést, hanem a javítási gyakorlatnak fontos és kikerülhetetlen része, hogy amikor az adott vizsgaidőszakban megkezdődik a javítás, akkor a beosztott javítók számára egy néhány órás „emlékeztető képzés” zajlik. Néhány dolgozat közös javítása és a problémák megbeszélése alapján sikerülhet az adott javítói körön belül bizonyos etalonokat kialakítani, amelyhez viszonyíthatnak utána az értékelők. A képzést irányító vezető javító felelőssége, hogy ezek az etalonok igazodjanak a többi javítói körben elfogadott etalonokhoz, ennek persze feltétele, hogy legyenek ilyenek.

A két kiemelt terület fejlesztése és elfogadtatása összetett és nehéz, de nagyon izgalmas feladat volt. Jól látható, hogy a tartalmi érvényesség és az értékelhetőség alapkonfliktusában sokszor kellett döntéseket hozni és kompromisszumokat kötni. A két kiemelt példa arra is rámutat, hogy a vizsga megújuló alapelvei minden részterületen jelentős változást jelentenek mind a felkészítés, mind a vizsgakészítés, az értékelés terén, és ezek a változások természetesen sokszor ellentmondásosak és gyakran nehézségekkel járnak.

Irodalom

Az érettségiről tanároknak 2005. Német nyelv (2004): Országos Közoktatási Intézet Követelmény- és Vizsgafejlesztő Központ. [Szerzők: Einhorn Ágnes (szerk.) – Györéné Szabó Judit – Petneki Katalin – Szalay Éva – Szénich Alexandra]
[online]

Einhorn Ágnes (szerk.) (1998): Vizsgatárgyak, vizsgamodellek I. Német nyelv. Budapest, Országos Közoktatási Intézet Értékelési és Érettségi Vizsgaközpont. Mérés – értékelés – vizsga 5.

Einhorn Ágnes (2000): Német érettségi feladatok kipróbálása. Kutatási jelentés. Országos Közoktatási Intézet Értékelési és Érettségi Vizsgaközpont. Kézirat.

Einhorn Ágnes (2003): A próbaérettségi szakmai tanulságai. Német nyelv.
[online]

Einhorn Ágnes – Major Éva (2005): A 2004-es próbaérettségi tapasztalatai – idegen nyelvek. Új Pedagógai Szemle, 3. sz.

Vizsgáztatók képzése a kétszintű érettségihez. Német nyelv. A képzők dossziéja (2004): OKI Követelmény- és Vizsgafejlesztő Központ. [Szerzők: Einhorn Ágnes (szerk.) – Györéné Szabó Judit – Petneki Katalin – Majorosi Anna – Szalay Éva – Szénich Alexandra – Szklenár Judit]

A honlapon található tanulmányok, egyéb szellemi termékek, illetve szerzői művek (a továbbiakban: művek) jogtulajdonosa az Oktatáskutató és Fejlesztő Intézet. A jogtulajdonos egyértelmű forrásmegjelölés mellett felhasználást enged a művekkel kapcsolatban oktatási, tudományos, kulturális célból. A jogtulajdonos a művekkel kapcsolatos anyagi haszonszerzést azonban kifejezetten megtiltja.