МОДЕЛІ ОЦІНЮВАННЯ

Матеріал з TIMO Wiki

МОДЕЛІ ОЦІНЮВАННЯ.

У системі освіти використовують три відомі М. о.:

• М. о., за якої результат конкретного учня порівнюють із результатом вибраного групового еталону (нормативно зорієнтоване оцінювання).
• М. порівняння, коли результат конкретного учня порівнюють із стандартом або критерієм (критеріально зорієнтоване оцінювання).
• М. розвитку, коли результати конкретного учня оцінюють шляхом аналізу рівня його розвитку в проміжку між двома точками в часі щодо обсягу його бази знань або ступенем опанування певним умінням. М. педагогічного тестування — метод, відповідно до якого учню/студенту пропонують тестові завдання й оцінюють результати тестування.

Нижче наведено М. о., які найчастіше використовують під час оцінювання у формі тестування.

1. Класична модель

Перша й найпростіша модель тестування. Є n завдань із певного предмета, розділу чи теми або з кількох предметів. З усієї множини завдань вибирають і пропонують тестованому k завдань (k < n), він позначає правильні, на його думку, відповіді. Результатом тестування є процент правильних відповідей. Перевага цієї моделі — її простота.

Недоліки:

1. Оскільки відбір завдань — це процес випадковий, не можна передбачити, завдання якої складності отримає тестований, тому одному дістанеться k легких, а іншому — k складних завдань.
2. Оцінка залежить від кількості правильних відповідей, не враховується складність завдань.

Через свої недоліки класична модель тестування має найнижчу надійність, тому що відсутність обліку параметрів завдань не дає можливості об’єктивно оцінити знання тестованого. Останнім часом спостерігається тенденція до використання досконаліших моделей тестування, зокрема адаптивного тестування.

2. Класична модель з урахуванням складності завдань

Є п завдань із певного предмета, розділу чи теми або з кількох предметів. Кожне завдання має певний рівень складності.

Із усієї множини завдань випадковим методом вибирають k завдань (k < п), які пропонують тестованому. Результат відповідей на кожне завдання позначають «правильно» або «неправильно». Підсумовуючи результати тестування, ураховують складність запитань, на які тестований відповів правильно. Чим складніше завдання, тим вищим буде результат тестування. Складність не враховують для завдань, які виконано неправильно.

Недолік: через випадковість вибірки не можна заздалегідь визначити, які завдання за складністю отримає тестований, тому одному учаснику тестування дістанеться k легких, а іншому — k складних завдань.

Моделі з урахуванням складності завдань дають можливість більш адекватно оцінити знання тестованого, але випадковий вибір завдань не дає можливості підготувати паралельні за складністю тести, тобто однакової сумарної характеристики складності завдань, що зменшує надійність тестування.

3. Модель із зростанням складності

Є п завдань із певного предмета, розділу чи теми або з кількох предметів. Кожне завдання має певний рівень складності. Усі завдання розподілено між m рівнями складності. У тесті мають бути завдання всіх рівнів складності. З усієї сукупності випадковим методом вибирають k завдань (k < п) й упорядковують їх за зростанням рівня складності. Кількість завдань кожної групи складності має бути однаковою або підпорядкованою нормальному закону. Результат тестування визначають аналогічно до моделі 2. Така модель забезпечує паралельність тестів за складністю, а отже, надійність результатів тестування є вища, ніж у попередніх моделях.

4. Модель із розподілом завдань за рівнем засвоєння навчального матеріалу

Визначають п’ять рівнів засвоєння навчального матеріалу.

1. Нульовий рівень (рівень розуміння) — рівень, коли учень/студент усвідомлено сприймає нову для нього інформацію (фактично йдеться про попередню його підготовку).
2. Перший рівень (упізнавання) — упізнавання об’єктів, що вивчаються, при повторному сприйнятті раніше засвоєної інформації про них або дій над ними, наприклад коли виділяють окремий об’єкт із ряду запропонованих.
3. Другий рівень (відтворення) — відтворення засвоєних раніше знань від буквальної копії до застосування в типових ситуаціях, наприклад пригадування вивченого напам’ять, розв’язання типових задач за зразком тощо.
4. Третій рівень (застосування) — це такий рівень засвоєння інформації, коли учень/студент може самостійно відтворити й перетворити засвоєну інформацію, пояснити відомі об’єкти й застосувати інформацію в нетипових ситуаціях. При цьому він здатний генерувати нову для нього інформацію про об’єкти, що вивчаються, наприклад розв’язати нетипову задачу, вибрати необхідний алгоритм з-поміж раніше вивчених алгоритмів для розв’язання конкретної задачі.
5. Четвертий рівень (творча діяльність) — рівень володіння навчальним матеріалом теми, коли учень/студент може створювати нову інформацію, раніше нікому не відому, наприклад розробити новий алгоритм розв’язання задачі. Завдання складають для кожного з п’яти рівнів. Спочатку проводять тестування, використовуючи завдання рівня 0, потім рівня 1, 2...5. Перш ніж перевести тестованого на наступний рівень, визначають рівень засвоєння навчального матеріалу на цьому рівні та встановлюють можливість переходу на наступний рівень. Щоб виміряти рівень знань, якому відповідає тестований на кожному рівні, використовують коефіцієнт, який виражає співвідношення між кількістю правильно виконаних суттєвих операцій під час тестування (проходження рівня) та загальною кількістю суттєвих операцій у тесті. Під суттєвими розуміють операції, які виконують на рівні, що перевіряється. Отже, визначений рівень засвоєння навчального матеріалу можна використати для оцінювання якості знань і виставлення оцінки.

5. Модель з урахуванням часу виконання завдання

У цій моделі, визначаючи результат тестування, ураховують час, за який тестований виконував кожне завдання. Це роблять для того, щоб урахувати можливість несамостійної відповіді на завдання: тестований може шукати відповідь у підручнику чи будь-якому іншому джерелі, але його оцінка буде низькою, навіть якщо завдання він виконав правильно. З іншого боку, якщо він не скористався підказкою, але довго думав над завданням, це означає, що він не достатньо добре вивчив теорію, а отже, навіть коли він відповів правильно, оцінку йому буде знижено.

Час для виконання може задаватися як константа для всіх завдань тесту або вираховуватися для кожного окремого завдання з урахуванням його складності, оскільки для відповіді на складне запитання потрібно часу значно більше, ніж на просте. Ця модель дає можливість підвищити надійність результатів тестування, особливо поєднавши її з урахуванням складності завдань.

6. Модель з обмеженням часу на виконання тесту

Є п завдань з певного предмета, розділу чи теми або з кількох предметів. Із цієї множини завдань довільно вибирають k завдань (k < п) і вказують максимальний час для виконання тесту (відповіді на всі завдання тесту). Щоб оцінити результат тестування, ураховують тільки ті завдання, на які тестований за відведений час відповів правильно. Сам тест може бути побудовано за моделями 1—4. У деяких завданнях рекомендують обов’язково сортувати завдання за рівнем складності та встановлювати такий час для тестування, за який жоден, навіть найбільш підготовлений учасник оцінювання, не може відповісти на всі завдання тесту. Такий метод рекомендують використовувати під час бланкового тестування, коли учень бачить усі завдання тесту відразу. Такі обмеження виконання в часі пов’язані з тим, що якщо тестований відповість на всі запитання, а час у нього ще залишиться, він, перевіряючи роботу, може вагатися щодо правильності виконання завдання і виправити правильні відповіді на неправильні. У такому разі пропонують або обмежити час роботи, або забрати бланк відразу ж після виконання тесту.

7. Адаптивна модель

Ця модель спирається на класичну модель з урахуванням складності завдань. Вид комп’ютерного тестування, при якому тестові завдання з певними характеристиками послідовно зображуються на екрані комп’ютера, а рівень підготовки тестованого зі зростаючою точністю оцінюється відразу ж після комп’ютерної відповіді. Кожне наступне завдання в адаптивному тестуванні залежить від попередніх відповідей: кожне наступне завдання буде складнішим, якщо попереднє завдання тестований виконав правильно. Якщо ж у попередньому завданні була допущена помилка, наступне завдання комп’ютерна програма запропонує легше. За такої моделі є можливість запропонувати тестованому додаткові завдання з тем, які він знає не досить добре, щоб точніше оцінити рівень засвоєння матеріалу з певної теми. Отже, рівень складності тесту допомагає найкраще оцінити підготовленість учня/студента.

У західній літературі виокремлюють три варіанти початку адаптивного тестування. Якщо немає попередніх оцінок, тестування починають із завдань середнього рівня складності, після чого, залежно від відповіді, тестованому пропонують завдання легше чи важче. Цей спосіб часто називають «пірамідальним тестуванням». У другому варіанті тестований може почати з будь-якого довільно вибраного завдання, поступово наближаючись до реального рівня знань. У третьому варіанті тестованому пропонують завдання з банку даних, розділених за рівнями складності.

Кількість завдань тесту заздалегідь не фіксують, а процес тестування завершують після досягнення заданої точності оцінки рівня підготовленості тестованого. Відбувається це тоді, коли тестований виходить на певний постійний рівень складності, наприклад відповідає поспіль на певну критичну (заздалегідь визначену) кількість запитань одного рівня складності.

Переваги:

1. Дає можливість більш гнучко виміряти знання тестованих.
2. Дає можливість виміряти знання меншою кількістю завдань, ніж у класичній моделі.
3. Виявляє теми, які тестований знає погано і дає можливість перевірити знання із цієї теми додатково.

Недоліки:

1. Заздалегідь невідомо, скільки запитань треба поставити тестованому, щоб визначити рівень його знань.
2. Можна застосувати модель тільки за наявності комп’ютера. Надійність результатів такого тестування найвища, тому що програма тестування підлаштовується під рівень знань тестованого.

8. Модель тестування за сценарієм

Ця модель є продовженням й удосконаленням класичної моделі тестування, яка реалізується в системі дистанційного асинхронного навчання, її розроблено в Татарському інституті сприяння бізнесу (Росія). Модель «Проведення тестування за сценарієм» намагається усунути недолік класичної моделі тестування, а саме непаралельність тестів учнів із різним рівнем навчальної підготовки, бо не можна заздалегідь визначити, який саме за рівнем складності тест виконуватиме кожен учень. Викладач перед проведенням тестування формує його сценарій, у якому враховує:

• кількість завдань із кожної теми, які мають бути в тесті;
• кількість завдань кожного рівня складності, які мають бути в тесті;
• кількість завдань кожної форми, які мають бути в тесті;
• час виконання тесту;
• інші параметри тесту на розсуд викладача.

Відбір завдань кожного рівня складності, з кожної теми, кожної форми здійснюється вибірковим методом із загальної бази завдань. Кожен учень отримує індивідуальний тест, але тести всіх учасників тестування є паралельні. На відміну від «Моделі зі зростанням складності», яка теж ураховує паралельність тестів, у цій моделі автор сам визначає, скільки і яких завдань та з якої саме теми має бути в тесті, отже, тестування здійснюється в абсолютно однакових умовах для всіх його учасників.

Порівняно з адаптивною моделлю ця модель є менш ефективною, тому що не враховує індивідуальні особливості кожного учня, але має переваги психологічного характеру: в адаптивному тестуванні учасники виконують різну кількість завдань і, на перший погляд, знаходяться в нерівних умовах. У «Моделі за сценарієм» учні отримують однакову кількість завдань із кожної теми і за кожним рівнем складності.

Надійність результатів тестування аналогічна до моделі зі зростанням складності.

9. Модель, що ґрунтується на нечіткій математиці

Ця модель тестування є продовженням будь-якої з описаних вище моделей, але в ній замість чітких характеристик тестових завдань і відповідей використовують їх нечіткі аналоги. Наприклад:

• складність завдань («легке», «середнє», «складніше за середнє», «складне» тощо);
• правильність відповіді («правильно», «частково правильно», «радше правильно, ніж неправильно», «неправильно» тощо);
• час відповіді на запитання («короткий», «середній», «тривалий» тощо);
• підсумкова оцінка.

Запровадження моделі нечітких характеристик дає можливість учителю/викладачеві розробляти тести, використовуючи приблизну характеристику тестових завдань. Наприклад, учитель/викладач може досить швидко сказати, певне завдання легке чи складне, але точну його характеристику (індекс складності, диференційну здатність) за допомогою такого методу визначити неможливо. Не можна також порівняти між собою два завдання з тесту за рівнем складності.

У тестуванні можна також комбінувати кілька моделей, наприклад:

• класичну модель з урахуванням складності завдань і модель з урахуванням часу, за який тестований виконує завдання;
• модель із зростанням складності завдань і модель з урахуванням часу, за який тестований виконує завдання;
• модель із зростанням складності завдань і модель з обмеженням часу, за який тестований виконує завдання;
• модель з урахуванням часу, за який тестований виконує завдання, й адаптивна модель;
• модель з урахуванням часу, за який тестований виконує завдання, й модель, що ґрунтується на нечіткій математиці.