STAN PRAWNY NA 17 MAJA 2019 Metody badawcze w nadzorze pedagogicznym. Część I – ankiety i obserwacje Opracował: Jan Lewandowski, ekspert MEN-u ds. awansu zawodowego nauczycieli, wojewódzki ekspert przedmiotowy MEN-u ds. reformy programowej, autor publikacji oraz programów szkoleniowych, wykładowca akademicki; zaktualizował: Wojciech Wasielewski, pracownik kuratorium oświaty Podstawa prawna: • Ustawa z dnia 14 grudnia 2016 r. Prawo oświatowe (t.j. Dz.U. z 2018 r. poz. 996 ze zm.), • Rozporządzenie Ministra Edukacji Narodowej z dnia 25 sierpnia 2017 r. w sprawie nadzoru pedagogicznego (Dz.U. z 2017 r. poz. 1658). Sprawowanie nadzoru pedagogicznego wymaga obecnie od dyrektorów szkół nie lada umiejętności i w związku z tym jeszcze większej wiedzy. Nadzór to kontrola i możliwość władczego oddziaływania, z tym że podmiot nadzorujący odpowiada nie tylko za kwestie proceduralne, lecz także za same działania podmiotu nadzorowanego. Zgodnie z art. 53 Ustawy Prawo oświatowe nadzór pedagogiczny polega na: • ocenianiu stanu i warunków działalności dydaktycznej, wychowawczej i opiekuńczej, • analizowaniu i ocenianiu efektów działalności dydaktycznej, wychowawczej i opiekuńczej oraz innej działalności statutowej szkół, • udzielaniu pomocy placówkom i nauczycielom w wykonywaniu ich zadań dydaktycznych, wychowawczych i opiekuńczych, • inspirowaniu nauczycieli do innowacji pedagogicznych, metodycznych i organizacyjnych. Analizowanie i ocenianie efektów działalności dydaktycznej, wychowawczej i opiekuńczej oraz innej działalności statutowej stanowi sedno tego, co następnie zostało uściślone w Rozporządzeniu w sprawie nadzoru pedagogicznego, w którym doprecyzowano, że podstawowymi formami sprawowania nadzoru pedagogicznego są: • ewaluacja, • kontrola, • wspomaganie. Dwie pierwsze z wymienionych form wymagają bezwzględnie zastosowania przez nadzorującego odpowiednich metod badawczych, gdyż w dużej mierze opierają się one na zbieraniu, gromadzeniu i analizowaniu odpowiednich informacji (danych). Dlatego też jedyną możliwą drogą postępowania jest w tym przypadku postępowanie badawcze. W tym miejscu pojawia się jednak istotny problem związany z właściwym doborem metod i narzędzi. Czym są narzędzia badawcze? Jaka jest ich waga i rola w całym procesie badawczym, który stanowi zarówno ewaluacja, jak i kontrola? Aby udzielić prawidłowej odpowiedzi na tak postawione pytania, należy dobrze znać strukturę oraz poszczególne etapy procesu badawczego. Trzeba jednak mieć na uwadze, że niewłaściwie zebrane i zgromadzone informacje, a szczególnie wadliwe lub nietrafione, czynią cały proces badawczy praktycznie bezużytecznym. Aby dane były trafione, muszą być zebrane we właściwy sposób – temu właśnie służą narzędzia badawcze. Są one tylko (a może aż) sposobami gromadzenia konkretnych informacji potrzebnych w aktualnie realizowanym procesie badawczym. Narzędzie badawcze, które ma spełniać swoje założenia, czyli zbierać określone informacje, musi być jednak prawidłowo skonstruowane. Jest ono zatem elementem roboczym, będącym bezpośrednią konsekwencją wybranej metody badawczej, dla której stanowi swoisty „akt wykonawczy”. Planując badania, warto zadbać o to, by zbieranie informacji odbywało się anonimowo i gwarantowało bezpieczeństwo tych, którzy ich udzielają. Należy unikać korzystania z pewnych narzędzi, jeśli nie mamy pewności, że potrafimy pozyskane za ich pomocą dane właściwie przetworzyć i wszechstronnie zinterpretować. Narzędzia mają ścisły związek z metodami, a właściwie z nich wynikają. Aby mówić o narzędziach, należy więc najpierw przybliżyć pojęcie metody badawczej. Ze zrozumiałych względów ograniczymy się do omówienia podstawowych metod stosowanych w procesach ewaluacyjnych. Metoda badawcza To zespół działań podjętych przez badacza w celu dojścia do określonego efektu (eksperyment pedagogiczny, metoda indywidualnych przypadków, monografia pedagogiczna, sondaż diagnostyczny). Z kolei technika badawcza wynika z przyjętej metody badań i jest czynnością jednorodną, pozwalającą uzyskać informacje, opinie, fakty. Typowymi przykładami technik badawczych są: wywiad, ankietowanie, testowanie, badanie dokumentów, analiza treści i obserwacja, wraz ze szczególnym jej rodzajem, jakim jest tzw. obserwacja diagnozująca (dawniej hospitacja diagnozująca). Metody i techniki badawcze stosowane w konkretnym badaniu powinny być dobierane w zależności od celu określonego badania, jego obszaru oraz postawionych pytań badawczych, a także uwzględniać możliwości realizacji badania, np. dostępność informacji, respondentów, środki finansowe. Do podstawowych metod badawczych zaliczane są: • ankieta, • obserwacja, • wywiad, • wywiad FGI, tzw. wywiad fokusowy (grupa fokusowa 8–12 osób), • analiza dokumentów. Ankieta Można pokusić się o stwierdzenie, że ankieta jest jedną z najbardziej rozpowszechnionych technik badawczych. Jej popularność wynika z dostępności, łatwości przeprowadzania i prostych technik analitycznych – z reguły polega ona na rozdaniu uczestnikom wydarzenia (warsztatów, szkoleń, zebrania, wycieczki itp.) kwestionariusza ankietowego dotyczącego przebiegu oraz odbioru wydarzenia przez ankietowanych („Co się podobało?”, „Co się nie podobało?”, „Czego brakowało?” itp.) oraz danych o samych uczestnikach (wiek, płeć, miejsce zamieszkania, zainteresowania itp.). Ankieta jest najczęściej stosowana do badania opinii oraz faktów z perspektywy respondenta. Do jej podstawowych zalet, decydujących o powszechności jej stosowania w różnych rodzajach prac badawczych, w tym w badaniach o charakterze ewaluacyjnym, zalicza się: • możliwość objęcia badaniem dużej grupy osób, • uzyskanie wiedzy o rozkładzie częstości/procentowym cech, właściwości, opinii, • swobodę wypowiedzi, brak sugestii ze strony innych, • anonimowość, • łatwość realizacji i analizy danych przy dużej liczbie uczestników, • relatywnie niskie koszty realizacji. Należy pamiętać, że ankieta posiada również wady, które nie pozwalają na bezwzględne stosowanie tej metody, zwłaszcza w oderwaniu od innych. Do podstawowych wad ankietowania zalicza się: • małą elastyczność – kwestie najważniejsze mogą umknąć, gdy w ankiecie nie znajdzie się pytanie je poruszające, • znudzenie respondentów tą metodą, niechęć do formułowania wypowiedzi na piśmie (nie zawsze w pełni uzasadniona nadmierna ilość ankiet), • zdawkowość odpowiedzi respondentów, • poleganie jedynie na deklaracjach respondentów, • eliminowanie faktów nietypowych w wyniku uśredniania danych. Podstawowym narzędziem badawczym (zbierania danych) w tej metodzie jest kwestionariusz ankietowy. Poniżej zamieszczono parę istotnych uwag na temat budowania tego narzędzia. Zasadnicza konstrukcja kwestionariusza ankietowego: • wstęp: o tytuł, o tekst przewodni: kto realizuje ewaluację i w jakim celu, o podziękowanie za współpracę/poświęcony czas itp., o czytelna i jednoznaczna „instrukcja obsługi”, czyli w jaki sposób odpowiadać na pytania ankietowe; • rozwinięcie – pytania od ogólnych do szczegółowych, stanowiące logiczny ciąg i umożliwiające spójny sposób udzielania odpowiedzi, • zakończenie: o metryczka – dane respondencyjne (wiek, płeć, staż pracy, nauczany przedmiot – dotyczy osób dorosłych itp.); • szata graficzna – przejrzysta, • długość – możliwie krótko. Rodzaje pytań w ankiecie: • otwarte (skierowane do odpowiednich respondentów) – nie powinno się ich znaleźć w ankiecie zbyt dużo, • półotwarte – swoista furtka bezpieczeństwa, • zamknięte – ankietowany zna wszystkie możliwe odpowiedzi: o alternatywne – „tak”, „nie” albo „za”, „przeciw”, o dysjunktywne – wiele możliwych odpowiedzi, ale możliwość wyboru jednej, o koniunktywne – wiele możliwych odpowiedzi, możliwość wyboru kilku; • kontrolne – testujemy szczerość odpowiedzi, pytając o to samo w inny sposób, • filtrujące – pytamy właściwe osoby, • projekcyjne – typu: „Jak myślisz, co sądzą o tym inni?”, • z uszeregowaniem wariantów – typu: „Proszę ułożyć w kolejności od… do…”. Jak układać pytania w kwestionariuszu – praktyczne porady: • Układaj krótkie pytania. • Formułuj pytania jasno i precyzyjnie – bez fachowego żargonu. • Nie zadawaj pytań sformułowanych w negatywnej formie. • Staraj się zadawać pytania jednowymiarowe – np. nie pytaj jednocześnie o kilka spraw, unikaj stosowania spójników „i”, „lub”, poważnie zastanów się nad używaniem wielu przecinków. • Używaj wyłącznie kompletnej listy odpowiedzi. • Pamiętaj, aby nie zadawać pytań mogących wprawić respondenta w zakłopotanie. • Zdecydowanie unikaj zadawania pytań sugerujących odpowiedź. Rodzaje pytań otwartych w kwestionariuszu Nazwa Opis Przykład Bez struktury Pytanie, które umożliwia w nieograniczony sposób udzielanie odpowiedzi Co sądzisz o efektywności WDN? Skojarzenia słowne Kilka wyrazów, do których respondent powinien podać pierwsze skojarzenie Z czym ci się kojarzy: 1. WDN ………………………… 2. Program nauczania ………………………… Uzupełnienie zdania Dokończenie rozpoczętego w ankiecie zdania Zdecydowałam/em się na ten program nauczania, ponieważ ……………………………… Dokończenie historyjki Prezentacja niedokończonej historyjki z prośbą o jej dokończenie wg własnego uznania Uczestniczyłam/em w szkoleniu z aktywnych metod nauczania. Był to wyjątkowy dzień. Skłonił mnie do ……………………………… Uzupełnienie obrazka Rysunek, np. dwie osoby, z których jedna coś stwierdza. Respondent powinien wypełnić odpowiedzi drugiej osoby Pierwsza osoba mówi: „Ten tydzień w szkole to był prawdziwy maraton”. Druga odpowiada: ……………………………… Udziel odpowiedzi w zastępstwie drugiej osoby Rodzaje pytań zamkniętych w kwestionariuszu Nazwa Opis Przykład Dychotomiczne Pytanie oferuje dwie możliwości odpowiedzi Czy w ciągu ostatniego roku korzystałaś/eś z form doskonalenia zawodowego? • tak • nie Wieloraki wybór Pytanie oferuje trzy lub więcej możliwości odpowiedzi W jakim szkoleniu chciałabyś/chciałbyś uczestniczyć w bieżącym roku szkolnym? • metodycznym • z ewaluacji • z konstruowania narzędzi badawczych • z prawa oświatowego • żadne z wymienionych Wg skali Likerta Odpowiedź ma określić, z jaką mocą respondent zgadza się lub nie zgadza z danym stwierdzeniem Nauczyciele z małym doświadczeniem chętniej się doskonalą niż nauczyciele z dużym stażem: • zdecydowanie nie • nie • tak • zdecydowanie tak • nie mam zdania Zróżnicowane systematycznie Skala odpowiedzi zawiera się między skrajnymi cechami Mój doradca metodyczny jest: • dobry • doświadczony • niedoświadczony • nieodpowiedni Wg skali ważności Skala odpowiedzi zawiera się między określeniami „nadzwyczaj ważne” i „nieistotne” Kontakty z dyrektorem szkoły są dla mnie: • nadzwyczaj ważne • bardzo ważne • czasami ważne • niezbyt ważne • nieistotne Skala oceny Skala odpowiedzi rozciąga się między określeniami „wspaniałe” a „złe” Wydawnictwo XXX wydaje materiały metodyczne: • wspaniałe • bardzo dobre • dobre • zadowalające • złe Obserwacje Drugą często stosowaną metodą jest obserwacja. Swoją popularnością niewiele ustępuje ankiecie, stanowiąc jednocześnie jej praktycznie niezbędne uzupełnienie, pozwalające na doprecyzowanie uzyskanych informacji. Obserwacja jako metoda badawcza to zamierzone, planowane i systematyczne postrzeganie oraz gromadzenie i analizowanie faktów, zdarzeń i zjawisk, podjęte w jakimś określonym celu. Obserwacja prowadzona zgodnie z zasadami metodologicznymi obejmuje najpierw postrzeganie danych, następnie utrwalanie – często w formie pisemnej, a na końcu – próbę ich właściwego zinterpretowania. Dlatego można śmiało powiedzieć, że obserwacja jest osobliwym sposobem postrzegania, gromadzenia i interpretowania poszczególnych informacji, pozostających na ogół w bezpośrednim zasięgu widzenia i słyszenia obserwatora. Obserwacja polega na odnotowywaniu różnych elementów wydarzenia, np. zachowania uczestników i ich liczby podczas warsztatów, rozmów, które prowadzili podczas danego wydarzenia. Istotnym elementem obserwacji jest sporządzanie notatek w trakcie trwania wydarzenia lub zaraz po jego zakończeniu, gdyż im więcej czasu upłynęło od wydarzenia, tym po prostu mniej się z niego pamięta. Obserwacja daje możliwość: • zrozumienia kontekstu, • osobistego przekonania się, jak funkcjonuje program, metoda dydaktyczna (realna, a nie faktyczna realizacja zadań dydaktycznych lub wychowawczych), • dostrzeżenia zjawisk umykających codziennej uwadze uczestników programu, zajęć, projektu (nauczycielom, a niekiedy i rodzicom), • dostrzeżenia faktów, o których uczestnicy (dzieci, nauczyciele, rodzice) będą mówić (lub prawdopodobnie mogą mówić) niechętnie, np. w wywiadach, • uwzględnienia własnych spostrzeżeń jako części danych ewaluacyjnych (daje to możliwość zwiększenia wszechstronności prowadzonych analiz), • bezpośredniego poznania zachowania dzieci w naturalnych warunkach i sytuacjach, co gwarantuje zgromadzenie wiarygodnego materiału, • łatwiejszego sformułowania hipotezy roboczej lub wprowadzenia w niej zmian i poprawek we wstępnej fazie badań, • sprawdzenia twierdzeń uzyskanych za pomocą innych metod, przez co pogłębia nasze przekonanie o ich słuszności, • uzyskania wiarygodnej informacji o dzieciach, • ciągłego ulepszania pracy dydaktyczno-wychowawczej. Obserwacja stanowi ważne uzupełnienie, a zrazem dopełnienie innych metod badań, zwłaszcza metod testowych, sondażowych, eksperymentalnych. Beata Ciężka jako główne zalety obserwacji wymienia: • badanie zachowań rzeczywistych i niedeklarowanych, • możliwość poznania zjawisk ukrywanych lub niezauważanych, • dostarczanie informacji o procesie w trakcie jego przebiegu, a nie retrospekcji, • ułatwianie interpretacji badanych zdarzeń/zachowań. Obserwacja ma również swoje istotne ograniczenia, do których należą: • trudność interpretacji niektórych z obserwowanych zachowań, • trudności w kategoryzowaniu zgromadzonych informacji, • zmiany zachowania obserwowanych osób, • wysokie koszty ze względu na kompetentnych obserwatorów, • ograniczony zasięg obserwacji, • niebezpieczeństwo przyswojenia funkcjonujących w środowisku stereotypów, • niebezpieczeństwo postrzegania i interpretowania faktów z korzyścią dla grupy (lub przeciwnie), • niebezpieczeństwo wpływu na przebieg zdarzeń i zachowania obserwowanych, • groźba subiektywizmu w czasie prowadzenia badań, • czasochłonność analizy. Przy podejmowaniu decyzji o zastosowaniu tej metody należy brać pod uwagę wszystkie jej aspekty. Istnieje wiele metod obserwacyjnych różniących się przede wszystkim stopniem ingerencji obserwatora w obserwowane sytuacje, sposobami rejestracji i analizy oraz czasem trwania. Do podstawowych rodzajów obserwacji jako metody badawczej zaliczane są: • obserwacja jawna i niejawna, • obserwacja uczestnicząca i nieuczestnicząca, • obserwacja kontrolowana i niekontrolowana. Przystępując do planowania obserwacji, należy bezwzględnie pamiętać, aby: • ustalić, jakie informacje chcemy uzyskać, • określić, kto może stanowić źródło tych informacji, • ustalić, w jaki sposób można uzyskać te informacje, • dokładnie przygotować narzędzia obserwacji (mają bowiem ułatwić zdobycie informacji), • zawsze przestrzegać zasad prowadzenia obserwacji. Skrupulatne pilnowanie tych pięciu elementów (etapów realizacji obserwacji) pozwoli uniknąć błędów, które mogłyby w konsekwencji rzutować na jej wyniki. Niestety błędy się zdarzają i nieprawdą jest twierdzenie, że zawsze uda się ich uniknąć. Ważne natomiast jest, aby mieć ich świadomość, a przez to starać się je eliminować. Jako typowe, wręcz podstawowe błędy popełniane w procesie prowadzenia obserwacji wymienia się: • przedwczesną interpretację obserwowanych zachowań, • powierzchowność i stronniczość dokonywanych spostrzeżeń, • prowadzenie spostrzeżeń z pozycji zbyt odległego dystansu, • niekompletność, niedokładność rejestrowania zaobserwowanych danych, • błędną interpretację materiału obserwacyjnego. Szczególnym przypadkiem błędu w obserwacji, polegającego na powierzchowności i stronniczości spostrzeżeń ze strony obserwatora, jest uleganie osobistym uczuciom sympatii i antypatii, jakie żywimy wobec obserwowanych osób, co w oczywisty sposób zniekształca wyniki obserwacji i czyni ją zupełnie nieprzydatną. Przykładowo, w trakcie prowadzenia obserwacji staramy się zaobserwować: • Jak nauczyciele kierują grupami? Jak gospodarują czasem, przestrzenią? • Jak organizują zachowania dzieci i własne strategie nauczania? Jakie obowiązują reguły porządkowe? • Czego uczą się dzieci? Jakie zadania wykonują, z jakim zaangażowaniem i na ile skutecznie? • Jak poszczególne zagadnienia są realizowane w rozmaitych grupach wiekowych? • Co dzieje się, gdy dzieci zakłócają zajęcia lub zachowują się aspołecznie? Z wiadomych względów są to tylko przykłady, które można mnożyć, w zależności od tego, czemu tak naprawdę ta obserwacja ma służyć. Wszystkie te zagadnienia powinny być zawarte w jasno określonych celach. Same cele obserwacji mogą być różnie formułowane, na przykład: • diagnoza efektów kształcenia, • regulowanie pracy nauczycieli w tych działaniach, w których zdarzyłyby się błędy w przestrzeganiu zasad nauczania, • diagnozowanie zjawisk pedagogicznych w szkole, • poprawa poziomu nauczania, • nagradzanie znakomitego kształcenia, • zmiany w przydziale zadań, • ocena systemu doboru nauczycieli, • promowanie indywidualnego rozwoju i samooceny, • diagnoza i poprawa jakości w wymiarze indywidualnym oraz organizacyjnym, • rozwój metod kształcenia w kierunku ich większej skuteczności. Aby obserwacja spełniła swoje zadania, zwłaszcza podstawowe standardy, niezbędne w przypadku działań badawczych, takie jak: obiektywizm, rzetelność, wszechstronność, zrozumiałość, celowość i – oczywiście – profesjonalizm, przystępując do realizacji działań w zakresie obserwacji, należy pamiętać, aby: • zapoznać się z istniejącą dotychczas wiedzą na temat problemu i hipotez roboczych, • podjąć trud zapoznania się z poglądami odmiennymi od własnych, • w rejestrowaniu danych obserwacyjnych użyć słów języka potocznego, • dokonywać zapisu konkretnych zachowań, • mieć krytyczny stosunek wobec sporządzanego zapisu danych obserwacyjnych, • starać się je zarejestrować odpowiednio do zamierzeń badawczych i zgodnie z ustalonymi wcześniej kategoriami, a tam, gdzie to możliwe, dokonywać liczbowego zapisu danych obserwacyjnych. W przypadku obserwacji podstawowym narzędziem badawczym jest karta obserwacji. Przykład struktury karty obserwacji: 1. Obszary obserwacji 1.1. Krótka charakterystyka miejsca 1.2. Krótka charakterystyka odbiorców/uczestników 1.2.1. Liczba osób 1.2.2. Proporcje dzieci z określonych grup wiekowych 1.2.3. Proporcje płci i wieku 1.2.4. Celowość czy przypadkowość doboru osób 1.3. Opis zachowań uczestników 1.3.1. Rodzaje aktywności 1.3.2. Wypowiedzi (cytaty) 1.3.3. Stosunek osób uczestniczących do działań 1.3.4. Wiedza uczestników: kto jest organizatorem, czego dotyczy program 1.4. Zachowania towarzyszące (jeżeli się pojawią) 1.5. Wnioski, uwagi, ustalenia Prezentowany przykład opracowano w układzie liniowym, który jest prawidłowy. Dla wielu osób bardziej obrazowy, czytelny i zrozumiały jest jednak układ tabelaryczny. Z tego względu wiele kart obserwacji przygotowuje się właśnie w postaci tabel, na przykład: Notatka z obserwacji (dotyczy obserwacji apelu, uroczystości szkolnej, konkursu itp.) Imię i nazwisko nauczyciela Rodzaj/nazwa imprezy Data Cele Uwagi o realizacji Zalecenia i rekomendacje Podpis nauczyciela Podpis dyrektora Jak można łatwo zauważyć, konstrukcja tego narzędzia bywa różna i nie musi być wymyślna. Ważne, aby pomogła uzyskać potrzebne nam informacje. Bibliografia: 1. B. Ciężka, Materiały szkoleniowe ze szkolenia dla konsultantów DODN we Wrocławiu Zasady ewaluacji, Wrocław 2009. 2. K. Konarzewski, Jak uprawiać badania oświatowe. Metodologia praktyczna, Warszawa 2002. 3. J. Lewandowski, Materiały szkoleniowe z kursu kwalifikacyjnego z organizacji i zarządzania oświatą oraz szkoleń Ewaluacja wewnętrzna w szkole i Zasady konstruowania narzędzi ewaluacyjnych, DODN Filia w Legnicy, Legnica 2006. 4. B. Żurawnik, W. Żurawnik, Zarządzanie marketingiem w przedsiębiorstwie, Warszawa 1996.