BADANIE PRAWIDŁOWOŚCI OCENY PRAC EGZAMINACYJNYCH (PODSTAWY PRAWNE, ZASADY, PROCEDURY, PROBLEMY, WNIOSKI)

Grażyna Przechodzka ^[1]

https://orcid.org/0000-0002-7013-6195

AUDITING THE CORRECTNESS OF EXAMINATION PAPER ASSESSMENTS (LEGAL BASIS, PRINCIPLES, PROCEDURES, CONCLUSIONS)

W historii wprowadzania systemu certyfikacji z języka polskiego jako obcego rok 2004 to bez wątpienia rok, który całkowicie odmienił zarówno testowanie znajomości języka polskiego jako obcego (dalej: jpjo), jak i jego nauczanie. Wtedy bowiem po raz pierwszy w Polsce (w Krakowie i w Warszawie) oraz poza jej granicami (w Berlinie) odbyły się państwowe egzaminy certyfikatowe z jpjo na trzech poziomach biegłości językowej (B1, B2 i C2), będące ukoronowaniem prac wprowadzających oficjalnie do polskiej i europejskiej glottodydaktyki systemu certyfikacji znajomości jpjo (por. Przechodzka 2022). Egzamin miał na celu sprawdzenie znajomości języka polskiego w zakresie pięciu sprawności składających się na biegłość językową: rozumienia ze słuchu, rozumienia tekstów pisanych, poprawności gramatycznej, pisania oraz mówienia. Należy przy tym zaznaczyć, że przygotowania do tak ważnego wydarzenia, jakim był pierwszy egzamin certyfikatowy, rozpoczęły się znacznie wcześniej, albowiem pionierskie prace (zob.: Gaszyńska-Magiera i in. 1999, s. 103–116; Lipińska, Pukas-Palimąka 1999, s. 115–122; Martyniuk 2001, s. 495–503) nad polskimi testami biegłości podjął już w połowie lat 90. XX w. zespół pracowników ówczesnego Instytutu Polonijnego UJ, którym kierował prof. Władysław Miodunka. Wprowadzając testy biegłości językowej^[2], zamiast stosowanych wcześniej testów osiągnięć, członkowie zespołu prawdopodobnie nie przypuszczali, jak dalekosiężne (i to na kilku płaszczyznach) skutki przyniesie ich praca. Krakowskie testy stały się bowiem punktem wyjścia do opracowania koncepcji polskich egzaminów certyfikatowych. Kompleksowym przygotowaniem systemu zajęła się powołana w roku 1999 (i działająca do roku 2003) przez Ministra Edukacji Narodowej Komisja ds. Certyfikacji Znajomości Języka Polskiego jako Obcego, w której skład weszli przedstawiciele wiodących w kraju ośrodków, zajmujących się językowym kształceniem cudzoziemców. Funkcję przewodniczącego Komisji od początku jej istnienia pełnił prof. Władysław Miodunka.

W 2003 r. w wyniku nowelizacji Ustawy o języku polskim z dnia 11 kwietnia 2003 r. (Dz.U. z 30 kwietnia 2003 r., nr 73, poz. 661) Komisja działająca społecznie została przekształcona przez Ministra Edukacji Narodowej i Sportu w porozumieniu z Ministrem Kultury w Państwową Komisję Poświadczania Znajomości Języka Polskiego jako Obcego (dalej: PKPZJPjO). Funkcję przewodniczącego nowej Komisji powierzono prof. Władysławowi Miodunce^[3], który kierował jej pracami do roku 2016, do chwili kolejnej nowelizacji aktów prawnych.

Do zadań PKPZJPjO należało, m.in., powoływanie składów konkretnych komisji egzaminacyjnych, które przeprowadzały egzamin w ramach tzw. sesji wyjazdowych organizowanych na wniosek krajowych i zagranicznych instytucji zajmujących się nauczaniem jpjo. Funkcję przewodniczących komisji pełnili przedstawiciele PKPZJPjO, natomiast jej członkowie oraz sekretarz rekrutowali się spośród członków Zespołu Autorów Zadań i Egzaminatorów funkcjonującego przy Komisji. Członkowie Zespołu opracowywali nie tylko testy i dokumenty egzaminacyjne zatwierdzane przez Komisję, ale także sprawdzali i oceniali arkusze. Sprawdzanie i ocenianie arkuszy odbywało się centralnie, a wyniki egzaminu – dopiero po ich zatwierdzeniu przez Komisję – oficjalnie przekazywano zdającym za pośrednictwem Biura Uznawalności Wykształcenia i Wymiany Międzynarodowej, które do 2017 r. zajmowało się obsługą systemu certyfikacji; zadanie to przejęła następnie Narodowa Agencja Wymiany Akademickiej (dalej: NAWA).

Z uwagi na rosnące z roku na rok zainteresowanie polskimi certyfikatami i niezwykle dynamiczny przyrost liczby zdających, zwłaszcza po wejściu w życie w 2012 r. nowych przepisów dotyczących uzyskania przez cudzoziemców polskiego obywatelstwa (Ustawa z dnia 2 kwietnia 2009 r. o obywatelstwie polskim; Dz.U. z 2012 r., poz. 161), a także ze względu na konieczność wprowadzenia nowych poziomów biegłości językowej z podziałem na dwie grupy zdających^[4] ustawodawca postanowił zdecentralizować system, żeby zapewnić możliwość zdawania egzaminu jak najszerszej grupie zainteresowanych. Miało to nastąpić dzięki nadaniu stosownych uprawnień do przeprowadzania egzaminu i sprawdzania arkuszy tzw. podmiotom uprawnionym (dalej: PU; Ustawa o zmianie ustawy z dnia 12 czerwca 2015 r. o zmianie ustawy o języku polskim oraz ustawy o organizacji i funkcjonowaniu funduszy emerytalnych; Dz.U. z dnia 11 sierpnia 2015 r., roz. 2a, art. 11b.). Nowelizacja aktów prawnych objęła także działalność PKPZJPjO. Na jej miejsce powołano w 2016 r. Państwową Komisję do spraw Poświadczania Znajomości Języka Polskiego jako Obcego (dalej: PKds.PZJPjO).

W myśl obowiązujących obecnie przepisów przewodniczącego komisji egzaminacyjnych PU zgłasza do PKds.PZJPjO na miesiąc przed terminem egzaminu. Osoby uprawnione do pełnienia tej funkcji rekrutują się spośród osób znajdujących się na ministerialnej liście egzaminatorów^[5], zaś członków komisji egzaminacyjnych powołuje PU zgodnie z wymogami zawartymi w ustawie (Ustawa o zmianie ustawy z dnia 12 czerwca 2015 r. o zmianie ustawy o języku polskim oraz ustawy o organizacji i funkcjonowaniu funduszy emerytalnych; Dz.U. z dnia 11 sierpnia 2015 r., poz. 1132, art. 11e, p. 1–3).

Z uwagi na decentralizację systemu certyfikacji i w trosce o jakość sprawdzania i oceniania arkuszy egzaminacyjnych ustawodawca nałożył na PKds.PZJPjO obowiązek badania prawidłowości oceny prac egzaminacyjnych po każdym egzaminie przeprowadzonym przez dany PU. Zgodnie z przepisami:

2. Badanie obejmuje co najmniej 20% prac egzaminacyjnych wybranych losowo spośród prac egzaminacyjnych przekazanych przez podmiot uprawniony wraz z protokołem egzaminu. 3. W przypadku, gdy liczba prac egzaminacyjnych będących załącznikiem do protokołu z egzaminu jest mniejsza niż pięć, badaniu podlegają wszystkie prace. […]. Komisja informuje przewodniczącego komisji egzaminacyjnej, o której mowa w art. 11e ust. 1 ustawy, oraz podmiot uprawniony organizujący egzamin o nieprawidłowości stwierdzonej w wyniku badania, o którym mowa w § 13 ust. 1, skutkującej zaniżeniem lub zawyżeniem wyniku egzaminu i wzywa do złożenia wyjaśnień w wyznaczonym terminie (Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 11 grudnia 2015 r. w sprawie Państwowej Komisji do spraw Poświadczania Znajomości Języka Polskiego jako Obcego, Dz. I. 2015, § 13, p. 2–3).

W celu realizacji ustawowych zadań PKds.PZJPjO powołała w 2016 r. Zespół Badający Prawidłowość Oceny Prac Egzaminacyjnych (dalej: Zespół BPOPE). Podstawowy skład Zespołu BPOPE tworzą członkowie dawnego Zespołu Autorów Zadań i Egzaminatorów (funkcjonującego w latach 2000–2015), a więc osoby z wieloletnim doświadczeniem w egzaminowaniu, sprawdzaniu i ocenianiu arkuszy egzaminacyjnych. Członkowie zespołu nie są etatowymi pracownikami NAWA, pracują na zlecenie PKds.PZJPjO, a wyniki ich pracy podlegają klauzuli tajności, stąd m.in. nie mogą informować się nawzajem o PU, których arkusze badają pod kątem jakości sprawdzania i prawidłowości oceny. Z uwagi na rosnące potrzeby skład Zespołu BPOPE jest systematycznie poszerzany o nowe osoby i obecnie liczy 45 osób.

Członkiem Zespołu może być osoba spełniająca (na mocy wewnętrznych ustaleń PKds.PZJPjO) określone warunki, a mianowicie:

• posiadająca minimum trzyletnie doświadczenie egzaminacyjne (aktywne uczestnictwo w pracach co najmniej ośmiu komisji egzaminacyjnych) oraz minimum pięcioletnie doświadczenie w nauczaniu jpjo;
• posiadająca uprawnienia do pełnienia funkcji przewodniczącego komisji egzaminacyjnej (wymóg fakultatywny);
• posiadająca rekomendację przewodniczącego (członka Zespołu BPOPE) komisji egzaminacyjnej, w pracach której brała czynny (pełny) udział;
• posiadająca pozytywną ocenę (minimum z trzech sesji egzaminacyjnych) jako sprawdzająca arkusze egzaminacyjne (zwłaszcza moduł Pisanie);
• która otrzymała pozytywną ocenę osób koordynujących pracę Zespołu.

Podstawą badania jakości sprawdzania i oceniania arkuszy egzaminacyjnych są stosowne dokumenty, do których należą:

• klucze do zadań wraz z transkrypcjami nagrań do testowania sprawności rozumienie ze słuchu;
• aktualna wersja Informatora/Informatorów^[6];
• Instrukcje^[7] wraz ze szczegółowymi Kryteriami oceny wypowiedzi pisemnej i wypowiedzi ustnej;
• dokumenty wewnętrzne: karty badania prawidłowości oceny prac egzaminacyjnych dołączane do każdego arkusza wraz ze szczegółowymi informacjami o jakości sprawdzenia i oceny wszystkich zadań, karta audytora, wytyczne dotyczące zasad i procedur badania oraz sporządzania dokumentacji po zakończonym badaniu, wystandaryzowane wytyczne klasyfikacji błędów itp.

Są to zatem te same dokumenty, w oparciu o które są sprawdzane i oceniane arkusze przez członków komisji egzaminacyjnych pracujących w PU.

Każde badanie odbywa się dwutorowo i dotyczy:

• jakości sprawdzania modułów;
• prawidłowości ich oceny.

Podczas badania zwraca się uwagę na poprawność danych znajdujących się na głównej okładce arkusza, które muszą zawierać wszystkie wymagane informacje (czytelne imię i nazwisko zdającego, miejsce i datę egzaminu, dane liczbowe i procentowe wyników z poszczególnych modułów, podkreślony wynik końcowy: pozytywny/negatywny).

W modułach Rozumienie ze słuchu, Rozumienie tekstów pisanych, Poprawność gramatyczna ocena jakości sprawdzania uwzględnia:

• oznaczenie poprawnej/niepoprawnej odpowiedzi zgodnie z kluczem;
• sposób oznaczania punktacji zgodny z wytycznymi zawartymi w Informatorze;
• sposób oznaczania błędów w danym module zgodnie z wytycznymi (Informator, Instrukcje);
• poprawność w sumowaniu punktów za zadanie oraz za moduł;
• zgodne z wymogami podpisy sprawdzających (czytelny podpis to pełne i wyraźne imię i nazwisko sprawdzającego).

W module Pisanie ocena jakości sprawdzania uwzględnia:

• sposób oznaczania poszczególnych kategorii błędów (zgodność z Informatorem i Instrukcjami);
• liczbę pominiętych błędów oraz ich wagę;
• klasyfikację błędów w oparciu o wytyczne zawarte w Instrukcji;
• uzupełnienia tabel znajdujących się w module (punktacja cząstkowa i ogólna, liczba poszczególnych kategorii błędów, liczba słów i objętość procentowa prac).

W module Mówienie uwzględnia się przede wszystkim poprawność obliczeń punktacji przyznawanej w ramach poszczególnych komponentów oceny z uwagi na to, że odpowiedzi ustne nie są nagrywane, stąd nie można ocenić poprawności przyznanej przez członków komisji egzaminacyjnych liczby punktów.

W ocenie jakości sprawdzania modułu Pisanie badający posiłkują się następującą skalą ocen, a mianowicie:

• rzetelnie: prace sprawdzono zgodnie z Instrukcją i Kryteriami oceny, wszystkie błędy zostały zauważone, nie ma zastrzeżeń do ich klasyfikacji, słowa i procentową objętość prac policzono właściwie;
• dokładnie: wszystkie błędy zostały zauważone (pominięto 1–3 błędy o niewielkiej wadze), występują drobne różnice w klasyfikacji błędów;
• dość dokładnie: pominięto kilka błędów, występują niewielkie różnice w klasyfikacji błędów;
• niezbyt dokładnie: pominięto ponad 5 błędów (6–10), ale przeważają błędy o niewielkiej wadze, niepoprawnie (niewłaściwie) sklasyfikowano część błędów (do 10), np.: uznawanie błędów gramatycznych za ortograficzne (np. brak nosowości w 1. os. l. poj. w koniugacji -ę/-sz); uznawanie błędów powtarzających się za nowe;
• niedokładnie: pominięto wiele błędów (od 10 wzwyż, zwłaszcza gramatycznych i leksykalnych), niezgodna z Instrukcją klasyfikacja błędów (od 10 wzwyż), niezaznaczanie innych błędów (np. gramatycznych, leksykalnych) we fragmentach uznanych za błędy stylistyczne itp.

Przy zastosowaniu odpowiedniej oceny, w przypadku występujących pominięć błędów, każdorazowo brana jest pod uwagę: 1) ich waga; 2) stosunek liczby pominiętych błędów do ogólnej liczby błędów zauważonych przez osobę sprawdzającą.

Badając prawidłowość oceny prac egzaminacyjnych, audytor stosuje w swojej opinii następujące określenia:

• prace oceniono właściwie i zgodnie z Kryteriami oceny (brak jakichkolwiek sugestii zmian punktacji cząstkowych, punktacja cząstkowa oraz punktacja za moduł audytora i sprawdzającego jest taka sama);
• prace globalnie oceniono właściwie, przyznana punktacja za moduł mieści się w przedziale +/–2 p. (w sytuacji, gdy ewentualne rozbieżności nie mają wpływu na wynik za moduł);
• prace oceniono za nisko/za wysoko (proponowana zmiana punktacji za moduł mieści się w przedziale 2,5–4 p.);
• prace oceniono zdecydowanie za nisko/za wysoko (proponowana zmiana punktacji powyżej 4 p.).

Do wybuchu pandemii badanie prawidłowości oceny prac egzaminacyjnych (dalej: bpope) odbywało się w systemie stacjonarnym w biurze NAWA. Pandemia wymusiła zmianę systemu pracy na zdalną, która okazała się zdecydowanie lepszym i efektywniejszym sposobem bpope. Z tego względu zdalny system pracy obowiązuje do chwili obecnej. Badanie odbywa się za pośrednictwem utworzonej do tego celu specjalnej platformy, na której znajduje się stosowna baza danych, niezbędnych do analizy jakości sprawdzania i oceniania (wybranych losowo) arkuszy. Dostęp do bazy jest odpowiednio zabezpieczony loginami i hasłami. Każdy członek Zespołu BPOPE posiada w niej swoje indywidualne konto, do którego pozostali członkowie nie mają dostępu. Bpope odbywa się na podstawie skanów arkuszy egzaminacyjnych, które PU mają obowiązek dostarczyć do Sekretariatu PKds.PZJPjO po zakończonym egzaminie. Skany muszą być odpowiedniej jakości, przygotowane zgodnie z wytycznymi. Do każdego sprawdzonego arkusza sporządzana jest szczegółowa karta bpope, zawierająca informacje o wszystkich modułach (zadaniach) sprawdzanych zgodnie z kluczem oraz szczegółowa informacja, dotycząca jakości sprawdzania i oceny modułu Pisanie. Na podstawie kart sporządzane są tabele wysyłane następnie do PU, które przysyłają informację zwrotną dotyczącą akceptacji bądź odrzucenia (tu: z merytorycznym uzasadnieniem) proponowanych zmian. PU mają możliwość kontaktu z Zespołem BPOPE w celu wyjaśnienia podstaw proponowanych zmian, interpretacji zapisów w dokumentach egzaminacyjnych, uzgodnienia ostatecznego wyniku itp. Przed każdą sesją egzaminacyjną podmioty uprawnione otrzymują informację o terminach nadsyłania (mailowo) raportów z wynikami, skanów arkuszy, wymaganej dokumentacji egzaminacyjnej, a także informację o planowanych terminach otrzymywania tabel po zakończonym bpope.

Podstawowym celem bpope jest dbanie o jakość sprawdzania i prawidłowość oceny modułów, ale istotna jest także standaryzacja sprawdzania i obiektywizacja oceny, która przy egzaminach wysokiej rangi (a takimi są egzaminy państwowe) jest priorytetem. Niezależnie od miejsca egzaminu arkusze muszą być sprawdzane i oceniane w porównywalny sposób. Niedociągnięcia zauważone podczas badania wynikają na ogół z:

• niewielkiego doświadczenia egzaminacyjnego osób sprawdzających i oceniających testy;
• i/lub problemów z interpretacją zapisów zawartych w dokumentach egzaminacyjnych.

Wyniki bpope pozwalają na sformułowanie kilku wniosków, a mianowicie:

1. Zastrzeżenia dotyczące sprawdzania i oceniania prac egzaminacyjnych to często rezultat niedostatecznej znajomości wytycznych znajdujących się przede wszystkim w Informatorze, co przekłada się na ocenę jakości bpope w danym PU. Jest to zjawisko o tyle niepokojące, że PU otrzymują Informator (dokument jawny) na kilka tygodni przed egzaminem, a zatem członkowie komisji egzaminacyjnych mają wystarczająco dużo czasu na dokładne zapoznanie się z jego zapisami po to, żeby sprawdzać i oceniać moduły zgodnie z wymogami.
2. Zdecydowana większość zastrzeżeń dotyczy jakości sprawdzania i prawidłowości oceny modułu Pisanie. Członkowie komisji zawyżają (zwykle dotyczy to prac z poziomu C1) lub zaniżają (prace z poziomu B1) ocenę wypowiedzi pisemnych, co świadczy o nieodpowiedniej znajomości opisu poziomów zawartych w Standardach wymagań egzaminacyjnych. W takich przypadkach członkowie Zespołu BPOPE sugerują zmiany wyników końcowych (najczęściej na pozytywne) przed ostatecznym zatwierdzeniem ich przez przewodniczących komisji egzaminacyjnych.
3. Powtarzające się w stosunku do części PU zastrzeżenia dotyczące poprawności sprawdzania i ocenienia arkuszy to także brak odpowiednich szkoleń dla osób sprawdzających i oceniających testy, które PU powinny przeprowadzać w celu eliminacji niedociągnięć.

Podsumowując, można stwierdzić na podstawie dotychczasowych doświadczeń^[8], iż jakość sprawdzania i oceniania testów jest coraz wyższa, co pozwala sądzić, że bpope spełnia swoją rolę zgodnie z zamysłem ustawodawcy.

Dla przewodniczących komisji egzaminacyjnych oraz dla PU tabele z wynikami bpope stanowią bowiem podstawowe źródło wiedzy o jakości pracy poszczególnych członków komisji egzaminacyjnych, a ponadto wykorzystywane są jako materiał szkoleniowy, w oparciu o który większość PU organizuje przed sesjami egzaminacyjnymi warsztaty w zakresie sprawdzania i oceniania testów, a szczególnie wypowiedzi pisemnych.

Polski system certyfikacji czekają kolejne zmiany, ale trudno dziś stwierdzić, jaki ostatecznie przybiorą kształt. Jedno wydaje się jednak pewne: PKds.PZJPjO nie może stracić kontroli nad jakością sprawdzania i oceniania prac egzaminacyjnych, która winna być przeprowadzana przez niezależny zespół, składający się z osób doświadczonych w nauczaniu jpjo, egzaminowaniu, sprawdzaniu i ocenianiu arkuszy zgodnie z wymogami służącymi standaryzacji i obiektywizacji oceny. Certyfikat z języka polskiego jako obcego jest jedynym państwowym dokumentem poświadczającym znajomość języka polskiego na określonym poziomie biegłości językowej. Z uwagi na jego rangę PKds.PZJPjO powinna monitorować pracę komisji egzaminacyjnych z uwagi na jego znaczenie i prestiż, wykorzystując do tego celu uprawnienia nadane przez ustawodawcę. Na ten właśnie aspekt pracy Komisji zwracał szczególną uwagę prof. Miodunka. Niewątpliwie funkcjonowanie państwowych egzaminów z jpjo ani w dawnej, ani w obecnej formie nie byłoby możliwe bez Jego działalności na rzecz polskiej certyfikacji. To dzięki wielkiemu zaangażowaniu Profesora polska certyfikacja rozwijała się i ewoluowała, a glottodydaktyka polonistyczna wzbogacała o kolejne, niezwykle ważne, publikacje^[9].

To właśnie Profesor był inicjatorem i pomysłodawcą wielu materiałów dydaktycznych: nowych podręczników, zbiorów zadań czy opracowań metodycznych. Był także promotorem licznych prac magisterskich i doktorskich, które powstały w oparciu o materiały egzaminacyjne. Certyfikatowa i glottodydaktyczna działalność Profesora i Jego osobowość zintegrowała polskie i zagraniczne środowisko glottodydaktyczne, a wprowadzony dzięki Jego wytrwałości system polskiej certyfikacji podniósł prestiż nauczania polszczyzny i testowania jej znajomości na obecny wysoki poziom.