STAN PRAWNY NA 14 MAJA 2019 Wykorzystanie wyników sprawdzianów i egza¬minów zewnętrznych w nadzorze pedagogicznym Opracował i zaktualizował: Wojciech Wasielewski, pracownik kuratorium oświaty Podstawa prawna: • Ustawa z dnia 7 września 1991 r. o systemie oświaty (t.j. Dz.U. z 2018 r. poz. 1457 ze zm.), • Ustawa z dnia 14 grudnia 2016 r. Prawo oświatowe (t.j. Dz.U. z 2018 r. poz. 996 ze zm.), • Rozporządzenie Ministra Edukacji Narodowej z dnia 25 sierpnia 2017 r. w sprawie nadzoru pedagogicznego (Dz.U. z 2017 r. poz. 1658). Niewątpliwie egzaminy zewnętrzne przynoszą ważną informację o efektach pracy szkoły, choć oczywiście znaczenia wyniku egzaminacyjnego nie można wyolbrzymiać, co jest praktyką często stosowaną przez organy prowadzące i nadzorujące szkoły. Na jego podstawie można jednak wnioskować o procesach edukacyjnych i efektywności realizowanych w szkole programów dydaktycznych. Wynik egzaminu zewnętrznego pełni przede wszystkim funkcję: • diagnostyczną (stanowi jeden ze wskaźników efektywności kształcenia), • prognostyczną (dostarcza wiedzy umożliwiającej prognozowanie i planowanie osiągnięć uczniów i szkoły), • wartościującą (stanowi podstawę do wyrażania opinii i ocen o osiągnięciach uczniów, pracy nauczycieli i procesie kształcenia w szkole), • motywującą (może być czynnikiem wyzwalającym większe zaangażowanie). Analiza wyników egzaminów Analizując wyniki egzaminów, można zastanowić się nad funkcjonowaniem szkoły. Przede wszystkim należy rozstrzygnąć, co zdecydowało o wyniku. Równie ważna jest odpowiedź na pytanie o przyczyny sukcesu, jak i o przyczyny porażki. Bez wątpienia w czasie dokonywania analizy wyniku egzaminów dyrektor szkoły powinien wiedzieć, jaki wynik jest satysfakcjonujący dla nauczycieli, rodziców, uczniów, wreszcie dla organu prowadzącego. Istotną kwestią jest również przewidywalność wyniku oraz jego związek z ocenianiem wewnątrzszkolnym. Na ile, znając potencjał naszych uczniów i uwarunkowania środowiskowe, możemy przewidzieć wynik sprawdzianu i, co najważniejsze, jaki jest wkład szkoły w wynik końcowy. Oceniając przyczyny sukcesu i porażki, należy odrzucić skrajne postawy wskazujące na wyłączną odpowiedzialność nauczycieli czy środowiska. Ważne! Głównym celem szkoły nie jest przygotowanie ucznia do egzaminu, lecz jego wszechstronny rozwój i wychowanie. Ograniczanie zadań edukacyjnych szkoły do osiągnięcia dobrego wyniku na sprawdzianie/egzaminie niestety dość często występuje w polskiej oświacie. Wyniki sprawdzianu/egzaminu należy traktować jako jeden ze wskaźników osiągnięć uczniów. Trzeba przy tym pamiętać, że choć wyniki te przewyższają oceny szkolne obiektywizmem, to jednak ustępują im znacznie pod względem zakresu informacji. Egzamin obejmuje ograniczony wymaganiami egzaminacyjnymi zakres treści, nauczyciel natomiast ocenia ucznia w ciągu całego roku szkolnego, uwzględniając pełny zakres treści przewidzianej programem kształcenia. Proces prowadzący do wnioskowania o osiągnięciach uczniów na podstawie wyników sprawdzianów i egzaminów zewnętrznych można podzielić na kilka etapów: • analiza zakresu treści egzaminu/sprawdzianu, • przyporządkowanie treści egzaminu/sprawdzianu treściom programowym poszczególnych przedmiotów, • analiza wyników uzyskanych przez poszczególnych uczniów i oddziały klasowe, • analiza i kontekstowa interpretacja egzaminu/sprawdzianu. Analiza zakresu treści egzaminu/sprawdzianu Najważniejszym sposobem wykorzystania wyników egzaminów zewnętrznych jest analiza jakościowa odnosząca się do: • poziomu opanowania przez uczniów umiejętności, • problemów uczniów w wykonaniu poleceń egzaminacyjnych, • perspektywy rozwoju uczniów i szkoły, • ustalenia mocnych stron uczniów. W celu jakościowego przeanalizowania zakresu treści egzaminu posługujemy się kartoteką testu zastosowanego podczas egzaminu lub sprawdzianu (dostępne na stronach internetowych CKE), zawierającą wykaz czynności badanych kolejnymi zadaniami oraz przyporządkowanie tych czynności wymaganiom wynikającym z podstawy programowej. Równie ważna jest analiza łatwości zadań sprawdzających poszczególne umiejętności (wiadomości). Stopień łatwości obliczamy, dzieląc liczbę punktów uzyskanych (przez wszystkich uczniów danego oddziału) za zadania badające daną umiejętność przez liczbę punktów możliwych do uzyskania (także przez wszystkich uczniów danego oddziału). Poziom łatwości może przybierać wartości w przedziale od 0 do 1. Im zadanie okazało się łatwiejsze dla naszych uczniów, tym współczynnik będzie bliższy 1, co oznacza, że uczniowie danego oddziału lepiej opanowali daną umiejętność. Edukacyjna wartość dodana Edukacyjna wartość dodana, choć jest ilościową metodą analizowania wyników sprawdzianu, nieodnoszącą się bezpośrednio do jakości pracy nauczyciela, pozwala jednak na bardziej precyzyjne wnioskowanie o efektach pracy szkoły. Przyglądając się wynikom uczniów, warto też zastanowić się nad rozkładem wyników - ilu uczniów osiągnęło najwyższe wyniki, ilu najniższe, ilu uczniów uzyskało wynik średni. Odpowiedź na te pytania powinna łączyć się z refleksją nad tym, w jaki sposób w placówce pracuje się z uczniami o wysokim, średnim i niskim potencjale i jak to wpłynęło na końcowy wynik szkoły. W dotychczasowych gimnazjach i szkołach ponadgimnazjalnych dyrektorzy mogą, w celu ustalenia efektywności nauczania, posługiwać się edukacyjną wartością dodaną. EWD w przyszłości będzie mogło być ono wykorzystywane w szkołach ponadpodstawowych. EWD daje możliwość wnioskowania o efektywności nauczania w zakresie sprawdzanym egzaminem zewnętrznym. Zaletą EWD jest możliwość wykazania wysokiej efektywności nauczania nawet przy niskich wynikach egzaminacyjnych. Efektywność w EWD służy wykorzystaniu potencjału uczniowskiego. Wskaźnik EWD dla szkoły pokazuje, jak został wykorzystany potencjał uczniów w porównaniu ze szkołą o podobnych zasobach uczniowskich. Szkoły różnią się efektywnością, a właśnie EWD pokazuje, jak efektywnie pracowano z uczniami, w porównaniu z innymi uczniami w Polsce o podobnym wyniku początkowym. Mniejsze EWD przy niższych wynikach egzaminacyjnych pokazuje, że w porę nie rozpoznano problemów uczniów i nie dostosowano metod pracy do ich możliwości. EWD wymusza myślenie w kategoriach posiadanych zasobów (diagnoza wstępna uczniów). Wyższe wskaźniki uzyskać można przede wszystkim poprzez odpowiednie planowanie pracy z uczniami o różnych zdolnościach i możliwościach. Czynniki kontekstowe Równie ważnym elementem analizy wyników jest uwzględnienie czynników kontekstowych, takich jak: • czynniki indywidualne (uczniowskie), np. inteligencja, uzdolnienia kierunkowe, sprawność psychoruchowa, stan zdrowia, aspiracje, motywacje, zainteresowania, uczestnictwo w kulturze, czas przeznaczony na pracę domową, nieobecność uczniów na zajęciach, • czynniki środowiskowe, np. wykształcenie rodziców, status społeczno-ekonomiczny rodziny, funkcjonowanie systemu rodzinnego, warunki pracy domowej, stosunek rodziców do nauki, współdziałanie rodziców ze szkołą, dostęp do książek i prasy w domu, środowisko rówieśnicze, tradycje społeczności lokalnej, • czynniki pedagogiczne (szkolne), np. model i program szkoły, liczba uczniów w klasie, zasoby materialne szkoły, rozkład zajęć, organizacja lekcji i pracy domowej ucznia, wykształcenie i doświadczenie nauczycieli, przygotowanie się nauczycieli do zajęć, nieobecność nauczycieli – zastępstwa, współpraca między nauczycielami, metody nauczania i sprawdzania osiągnięć, doskonalenie zawodowe, stosunek nauczycieli do uczniów, podręczniki i programy nauczania, organizacja zajęć pozalekcyjnych, wykształcenie rodziców. Uwzględnienie kontekstu egzaminacyjnego pozwala na uznanie analizy za formę ewaluacji pracy szkoły. Analiza jakościowa i ilościowa Analiza wyników powinna być przeprowadzana za pomocą metod ilościowych oraz jakościowych. Warto pamiętać, że o jakości pracy nauczyciela i szkoły wnioskować można tylko na podstawie analizy jakościowej. Formułowanie wniosków o tym, czy szkoła dobrze uczy, tylko na podstawie danych ilościowych (np. średni wynik szkoły) jest bardzo poważnym błędem metodologicznym. Metody ilościowe obejmują zestawienia porównawcze, np.: • szkoła na tle innych szkół w odniesieniu do gminy, powiatu, województwa i kraju, • zdawalność egzaminów maturalnych, gimnazjalnych lub sprawdzianów pojedynczych uczniów, zespołów klasowych, • zdawalność egzaminów zawodowych. Analiza jakościowa polega na: • uwzględnieniu czynników kontekstowych (środowisko, zainteresowania uczniów, wyniki uczniów z opiniami i orzeczeniami poradni psychologiczno-pedagogicznej), • badaniu losów absolwentów, • porównaniu wyników sprawdzianów i egzaminów zewnętrznych z wynikami uzyskanymi przez uczniów w diagnozie początkowej oraz w ocenianiu wewnątrzszkolnym, • wykorzystaniu edukacyjnej wartości dodanej, • określeniu stopnia opanowania poszczególnych umiejętności sprawdzanych na egzaminie. Podsumowanie Wyniki egzaminu/sprawdzianu to jeden ze wskaźników efektywności kształcenia, a ich analiza i interpretacja jest składnikiem ewaluacji szkolnego systemu dydaktycznego. Ewaluacja powinna wskazywać kierunek zmian pozytywnych elementów tego systemu, należy więc zastanowić się, czy wyniki sprawdzianu lub egzaminu nie wskazują, że konieczne jest wprowadzenie zmian w jednym z wymienionych obszarów, które dotyczą: • szkolnego zestawu programów nauczania, • planowania i projektowania pracy dydaktycznej, • organizacji zajęć lekcyjnych i prac domowych uczniów, • podręczników i pomocy dydaktycznych, • kompetencji zawodowych nauczycieli, • umiejętności samooceny i gotowości jej dokonywania, • doskonalenia zawodowego, • stosunku nauczycieli do uczniów i prowadzonych zajęć, • sposobów motywowania uczniów do uczenia się, • współpracy między nauczycielami kształtującymi te same lub podobne umiejętności, • nieobecności nauczycieli i organizacji zastępstw. Podejmowane działania w zakresie programów nauczania powinny dotyczyć: • analizy realizowanych w szkole programów nauczania w kontekście komplementarności z podstawą programową, • analizy programów nauczania w kontekście kształcenia umiejętności, • analizy programu nauczania w zakresie wzajemnej korelacji i spójności. Podsumowując, można stwierdzić, że analiza wyników egzaminu lub sprawdzianu jest prowadzona w celu poprawy jakości pracy szkoły, dlatego głównym celem analiz jest określenie poziomu opanowania wiadomości i umiejętności przewidzianych podstawą programową oraz wartościowanie tej informacji (sukcesy i porażki) na podstawie uzyskanych dowodów (rozwiązanych zadań przez uczniów). Prowadzone analizy powinny służyć dążeniu do rozwoju uczniów na miarę ich możliwości poprzez modyfikowanie procesów edukacyjnych ukierunkowanych na opanowanie konkretnych umiejętności, a także ustaleniu mocnych i słabych stron kształcenia, by na podstawie sformułowanych wniosków i rekomendacji zaplanować pracę szkoły (np. poprzez opracowanie planu poprawy jakości nauczania, dokonanie zmian w procesie edukacyjnym). Podstawowym celem analizy jest dokonanie oceny dotychczasowych efektów nauczania oraz sprawdzenie stopnia opanowania podstawy programowej. Wyniki wykorzystać należy do ulepszania procesu nauczania poprzez modyfikację metod nauczania, zwiększenie zaangażowania uczniów, ich motywacji do nauki, lepszy dobór programów nauczania (ze względu na specyfikę grupy), nową obudowę dydaktyczną, pomoce, karty pracy, sprawdziany. Ważnym elementem dokonywanych analiz jest przekazywanie informacji rodzicom (postępy dziecka, trudności, informacja o tym, jak pracować w domu). Wnioski z analizy bez wątpienia powinny być wdrażane i powinny również stanowić odpowiedź na pytania o cele ogólne i szczegółowe prowadzonych analiz oraz, co najważniejsze, powinny stać się podstawą do opracowania programów poprawy efektywności nauczania, które nazywane są popularnie programami naprawczymi. Opracowywane na podstawie analiz programy naprawcze nie zawsze przynoszą pożądany efekt. Zawierają liczne błędy lub opierają się na niewłaściwych diagnozach. Na zakończenie naszych rozważań warto podać przykłady nieprawidłowości najczęściej pojawiających się w programach: • zidentyfikowane w szkołach czynniki kontekstowe mające wpływ na wyniki uczniów dotyczyły głównie problemów tkwiących w środowisku, czyli tych, na które szkoła nie ma wpływu; bardzo rzadko szkoły poszukiwały przyczyn w czynnikach pedagogicznych, • nie wykazywano związków planowanych celów i działań z sytuacją szkoły, jej wynikami edukacyjnymi czy wskazanymi czynnikami kontekstowymi, • cele szczegółowe były zbyt ogólne, niemierzalne, miały formę raczej deklaracji, powinności, często były niespójne z celami głównymi i zidentyfikowanymi w szkole czynnikami mającymi wpływ na wyniki uczniów, • planowane działania były niespójne z celami, często należały do obowiązkowych, statutowych lub wynikających z programu nauczania zadań nauczycieli, nie pokazywały zmian w pracy szkoły w celu podwyższenia wyników uczniów, często nie były nakierowane na zidentyfikowane w szkole czynniki kontekstowe, • nie określano precyzyjnie terminów i adresatów planowanych działań, • sformułowane wskaźniki nie opisywały stanu pożądanego, zmiany nie ułatwiły więc oceny stopnia osiągnięcia zamierzonych celów. Bibliografia: 1. A. Brożek, Centralna Komisja Egzaminacyjna. Szkolna analiza wyników sprawdzianu i egzaminu zewnętrznego, „Biuletyn Badawczy” 2005, nr 4. 2. E. Stożek, EWD w ręku dyrektora szkoły, http://ewd.edu.pl/publikacje/EWD [dostęp: 3.03.2016]. 3. K. Stróżyński, Wykorzystanie wyników egzaminów zewnętrznych, „Biuletyn Badawczy” 2005, nr 4. 4. Przykład dobrej praktyki, http://www.ko.olsztyn.pl [dostęp: 3.03.2016].