Моніторингові дослідження
- Дослідження ефективності системи вступу на основі ЗНО (прогнозу успішності навчання у ВНЗ на основі оцінок сертифікатів ЗНО, або прогностичної валідності тестів ЗНО). У рамках цього дослідження оцінено кореляцію середніх балів сертифікатів ЗНО з середнім балом за 1 курс навчання. База даних дослідження включає дані про 22 372 студентів 1 курсу з 26 ВНЗ[1] різних профілів навчання, форми власності ВНЗ, галузевої приналежності і їх розташування. База даних дослідження отримана в результаті інтеграції реєстраційної бази даних ЗНО 2008 року Українського центру оцінювання освіти з даними про успішність навчання у ВНЗ. Проведено також дослідження прогностичної валідності у розрізі спеціалізацій підготовки, гендерної приналежності, розташування ЗНЗ (в якому студент закінчував ЗНЗ), наявності пільг при вступі тощо. Дані отримувались від ВНЗ за технологіями інформаційної системи «Конкурс» і опрацьовувались фахівцями – розробниками системи «Конкурс» (USETI, громадська організація «Центр освітньої політики). Повні дані за результатами досліджень подано у звіті, який підготовлено спільно фахівцями програми USETI та редакцією журналу ТІМО.
[1] До участі у проекті було запрошено спеціальним листом МОНУ 70 ВНЗ з 8 регіонів України, але дані подали тільки 26 ВНЗ.
Вивченню прогностичної валідності критеріїв відбору до ВНЗ приділяється належна увага у багатьох країнах світу. Так, у США і Великій Британії результати цих досліджень характеризують ефективність чинних моделей відбору до університетів, визначають напрями їх удосконалення, сприяють корекції інструментів освітніх вимірювань, на основі яких будуються критерії відбору. На підтвердження цього наведемо результати оцінювання прогностичної валідності тесту академічних здібностей SAT та середніх балів шкільних атестатів, проведеного у США у 2008 році.
У дужках подано уточнену прогностичну валідність – розрахунок прогностичної валідності для того гіпотетичного випадку, коли б всі абітурієнти вступили до ВНЗ (успішність їх у ВНЗ інтерполюється за їх вступними балами на вступних іспитах та відповідністю між вступними балами та успішністю навчання у ВНЗ для студентів). При оцінці прогностичної валідності тестів ЗНО в Україні не оцінювалася уточнена прогностична валідність і тому природно порівнювати прогностичну валідність ЗНО з даними таблиці, що подані без дужок.
На підставі цих результатів можна зробити висновок про дві основні тенденції, що випливають з кореляції між даними різних складових тесту SAT та успішністю навчання:
- Прогностична валідність тесту академічних здібностей (SAT), який триває всього 2,5 години, приблизно співпадає з прогностичною валідністю середнього балу документа про середню освіту (атестату) (HSGPA), який відображає результати досить тривалого навчання у школі.
- Прогностична валідність врахування одночасно результатів тесту академічних здібностей і середнього балу атестату (SAT + HSGPA) значно вища за відокремлені показники, що вказує на точніше передбачення успішності навчання в університеті за інтегрованою ознакою, ніж прогностична валідність кожного з показників окремо.
Тому оцінювання прогностичної валідності результатів зовнішнього незалежного тестування, за якими випускники ЗНЗ були зараховані до ВНЗ, у порівнянні з їх успішністю на перших сесіях в університеті визначено одним з основних завдань даного дослідження. Крім того, вивчалася кореляція між середнім балом атестату й успішністю навчання в університеті.
ЕФЕКТИВНІСТЬ СИСТЕМИ ВСТУПУ ДО ВНЗ НА ОСНОВІ ЗНО
Загальні зауваження
¨ Ефективність системи вступу до ВНЗ на основі ЗНО – це показник, який чисельно характеризує ступінь передбачення успішності навчання у ВНЗ на основі успішності проходження ЗНО;
¨ Ефективність системи вступу до ВНЗ на основі ЗНО – це прогностична валідність тестів ЗНО, тобто відповідність системи вступу до ВНЗ на основі ЗНО її головному призначенню - формуванню якісного (тобто успішного) контингенту студентів першого курсу ВНЗ;
¨ Ефективність системи вступу до ВНЗ на основі ЗНО оцінюється коефіцієнтом кореляції між оцінками ЗНО і оцінками на екзаменаційних сесіях 1 курсу (1-а сесія, 2-а сесія, загалом за перший курс), найбільш вагомим визнається коефіцієнт кореляції між середнім балом за тестами ЗНО та середнім балом за іспити на 1 курсі навчання;
¨ Ефективність системи вступу до ВНЗ на основі ЗНО визнається у світі[1]:
- Високою, якщо коефіцієнт кореляції більше 0.5
- Достатньою, якщо коефіцієнт кореляції більше знаходиться в інтервалі ;
- Низькою, якщо коефіцієнт кореляції менше 0.3
Приклад1
Ефективність (прогностична валідність тесту SAT-2008 (США)[2])
У наведеній таблиці використані наступні позначення для різних прогностичних інструментів (критеріїв вступу) – компонентів тесту SAT:
- SAT-CR - критичне читання
- SAT-M - математика
- SAT-W - аналітичне письмо
- HSGPA - середній бал атестату
Примітка
Рядки таблиці з кількома критеріями означають, що за інтегральний критерій було взято середнє значення відповідних критеріїв.
|
Прогностичні інструменти |
r (коефіцієнт кореляції) |
|
1. HSGPA (середній бал атестату) |
0.36 |
|
2. SAT-CR (критичне читання) |
0.29 |
|
3. SAT-M (математика) |
0.26 |
|
4. SAT-W (аналітичне письмо) |
0.33 |
|
5. SAT-M, SAT-CR |
0.32 |
|
6. HSGPA, SAT-M, SAT-CR |
0.44 |
|
7. SAT-CR, SAT-M, SAT-W |
0.35 |
|
8. HSGPA, SAT-CR, SAT-M,SAT-W |
0.46 |
Аналіз результатів дослідження ефективності системи вступу до ВНЗ
на основі ЗНО
- Методологія дослідження
Чим більше даних аналізується - тим більше надійність дослідження, але при цьому зростає вартість дослідження. В освітніх вимірюваннях вважається, що для високої достовірності даних слід отримати принаймні дані від 10% загальної кількості респондентів, причому вибірка респондентів повинна бути статистично репрезентативною за можливо більшою кількістю параметрів. Дані про успішність студентів було офіційно надано ВНЗ до системи «Конкурс». Дані про результати ЗНО та персональні дані студентів було отримано в результаті інтеграції бази даних про успішність навчання у ВНЗ з реєстраційною базою даних Українського центру оцінювання якості освіти, в результаті чого інтегрована база даних дослідження включає в себе:
1.1. особисті дані про студента (вік, стать, рік закінчення ЗНЗ, тип і розташування ЗНЗ (який закінчив), місце проживання) (анонімні)
1.2. результати навчання у ВНЗ (оцінки за зимову та літню сесії)
1.3. успішність проходження ЗНО (оцінки по тестам ЗНО)
1.4. дані про ВНЗ (тип, підпорядкування, форма власності, спеціальність).
Дослідження передбачає дослідження ефективності системи вступу до ВНЗ на основі дослідження прогностичної валідності тестів ЗНО.
- Підготовка даних дослідження
Для дослідження було обрано 40 з 400 ВНЗ України, яким було запропоновано (лист Міністерства) за технологією системи «Конкурс» подати наступні дані про студентів 1 курсу навчання, які вступили до ВНЗ на основі ЗНО у 2008 році:
2.1. Прізвище, ім’я та по-батькові
2.2. Оцінки за зимову сесію навчання 2009 року;
2.3. Оцінки за літню сесію навчання 2009 року;
2.4. Середній бал атестату про загальну освіту
У результаті опрацювання отриманих даних (внесення даних у базу даних і стандартних процедур верифікації даних) база даних склала:
|
|
Назва ВНЗ |
Кількість |
Відсоток |
Верифіковано |
Кумулятивний відсоток |
|||
|
|
ВНЗ «Національна академія управління» |
147 |
,7 |
,7 |
,7 |
|||
|
|
Волинський національний університет імені Лесі Українки |
1596 |
7,2 |
7,2 |
7,9 |
|||
|
|
Глухівський державний педагогічний університет імені Олександра Довженка |
331 |
1,5 |
1,5 |
9,4 |
|||
|
|
ДВНЗ «Івано-Франківський національний медичний університет» |
608 |
2,8 |
2,8 |
12,2 |
|||
|
|
Державна льотна академія України |
268 |
1,2 |
1,2 |
13,4 |
|||
|
|
Донецький інститут залізничного транспорту Української державної академії залізничного транспорту |
223 |
1,0 |
1,0 |
14,4 |
|||
|
|
Донецький національний університет економіки і торгівлі імені Михайла Туган-Барановського |
949 |
4,3 |
4,3 |
18,7 |
|||
|
|
Київський національний університет імені Тараса Шевченка |
1537 |
7,0 |
7,0 |
25,7 |
|||
|
|
Луганський державний інститут культури і мистецтв |
171 |
,8 |
,8 |
26,4 |
|||
|
Луганський державний університет внутрішніх справ імені Е.О. Дідоренка |
617 |
2,8 |
2,8 |
29,2 |
||||
|
Львівський національний університет імені Івана Франка |
3229 |
14,6 |
14,6 |
43,9 |
||||
|
Національна академія Державної прикордонної служби України імені Б.Хмельницького |
188 |
,9 |
,9 |
44,7 |
||||
|
Національна юридична академія України імені Ярослава Мудрого |
982 |
4,5 |
4,5 |
49,2 |
||||
|
Національний технічний університет «Харківський політехнічний інститут» |
2097 |
9,5 |
9,5 |
58,7 |
||||
|
Національний технічний університет України «Київський політехнічний інститут» |
3570 |
16,2 |
16,2 |
74,9 |
||||
|
Національний університет «Львівська політехніка» |
394 |
1,8 |
1,8 |
76,7 |
||||
|
Національний університет «Острозька академія» |
391 |
1,8 |
1,8 |
78,4 |
||||
|
Одеська державна музична академія імені А.В. Нежданової |
78 |
,4 |
,4 |
78,8 |
||||
|
Одеський державний економічний університет |
630 |
2,9 |
2,9 |
81,6 |
||||
|
ПВНЗ «Буковинський університет» |
145 |
,7 |
,7 |
82,3 |
||||
|
ПВНЗ «Дніпропетровський гуманітарний університет» |
99 |
,4 |
,4 |
82,7 |
||||
|
Південний філіал Національного університету біоресурсів і природокористування України "Кримський агротехнологічний університет" |
557 |
2,5 |
2,5 |
85,3 |
||||
|
Харківський національний медичний університет |
528 |
2,4 |
2,4 |
87,7 |
||||
|
Харківський національний університет імені В.Н. Каразіна |
1982 |
9,0 |
9,0 |
96,6 |
||||
|
Чернігівський державний педагогічний університет імені Т.Г.Шевченка |
740 |
3,4 |
3,4 |
100,0 |
||||
|
Total |
22057 |
100,0 |
100,0 |
|
||||
- 3. Прогностична валідність тестів ЗНО-2008
Коефіцієнт кореляції між:
- середнім значенням іспитів за 1 курс навчання у ВНЗ та
- різними критеріями вступу до ВНЗ.
|
Прогностичний критерій |
Коефіцієнт кореляції |
|
Середній бал атестата |
0,537 |
|
Кількість учасників дослідження |
11207 |
|
Середній бал ЗНО |
0,522 |
|
Кількість учасників дослідження |
11207 |
|
Зважене середнє |
0,580 |
|
Кількість учасників дослідження |
11207 |
Дослідження диференційної валідності
Диференційна валідність – це відмінності прогностичної валідності для різних категорій вступників та різних категорій спеціальностей ВНЗ
Прогностична валідність критеріїв для вступників з бонусами (пільговиків)
|
Прогностичний критерій |
Кореляція |
|
Середній бал атестата |
0,512 |
|
Кількість учасників дослідження |
1602 |
|
Середній бал ЗНО |
0,541 |
|
Кількість учасників дослідження |
2455 |
|
Зважене середнє |
0,572 |
|
Кількість учасників дослідження |
1599 |
Прогностична валідність критеріїв для вступників без бонусів (без пільг)
|
Прогностичний критерій |
Кореляція |
|
Середній бал атестата |
0,509 |
|
Кількість учасників дослідження |
9899 |
|
Середній бал ЗНО |
0,478 |
|
Кількість учасників дослідження |
19357 |
|
Зважене середнє |
0,556 |
|
Кількість учасників дослідження |
9883 |
Прогностична валідність критеріїв для вступників на медичні спеціальності
|
Прогностичний критерій |
Кореляція |
|
Середній бал атестата |
0,406 |
|
Кількість учасників дослідження |
1271 |
|
Середній бал ЗНО |
0,540 |
|
Кількість учасників дослідження |
1275 |
|
Зважене середнє |
0,515 |
|
Кількість учасників дослідження |
1269 |
Прогностична валідність критеріїв для вступників на педагогічні спеціальності
|
Прогностичний критерій |
Кореляція |
|
Середній бал атестата |
0,432 |
|
Кількість учасників дослідження |
398 |
|
Середній бал ЗНО |
0,451 |
|
Кількість учасників дослідження |
400 |
|
Зважене середнє |
0,500 |
|
Кількість учасників дослідження |
398 |
Прогностична валідність критеріїв для вступників на соціальні спеціальності
|
Прогностичний критерій |
Кореляція |
|
ЗНО з української мови |
0,643 |
|
Кількість учасників дослідження |
979 |
|
ЗНО з історії України |
0,615 |
|
Кількість учасників дослідження |
351 |
|
ЗНО з математики |
0,596 |
|
Кількість учасників дослідження |
531 |
|
ЗНО з основ економіки |
0.528 |
|
Кількість учасників дослідження |
25 |
|
ЗНО з основ правознавства |
0.557 |
|
Кількість учасників дослідження |
77 |
|
Середній бал атестата |
0,542 |
|
Кількість учасників дослідження |
465 |
|
Середній бал ЗНО |
0,657 |
|
Кількість учасників дослідження |
979 |
|
Зважене середнє |
0,601 |
|
Кількість учасників дослідження |
463 |
Зауваження
- Високий коефіцієнт кореляції середнього балу ЗНО та середнього балу за 1 курс навчання у ВНЗ;
- Незначно нижчий за коефіцієнт кореляції середнього балу ЗНО у порівнянні з середнім балом атестату та середнім балом за 1 курс навчання у ВНЗ повторює картину інших країн (зокрема США);
- Врахування обох показників (зважене середнє середнього балу атестату і сертифікатів ЗНО дозволяє суттєво підвищити прогностичну валідність вступу до ВНЗ, а значить і ефективність системи вступу до ВНЗ).
[1] Основним аналітичним методом, який використовувався в дослідженні, було порівняння одиничної та множинної кореляцій прогностичних інструментів (бали за окремими предметними тестами ЗНО, середній бал ЗНО, середній бал атестату зрілості) з успішністю навчання на 1 курсі ВНЗ (середній бал за зимову сесію 1 курсу, середній бал за літню сесію першого курсу, середній бал за перший курс). Кореляція вказує на ступінь лінійного взаємозв’язку випадкових змінних і може коливатися від -1,0 до 1,0 . Кореляція 1,0, наприклад, вказує на ідеальний позитивний лінійний зв’язок. Загальне практичне правило інтерпретації коефіцієнтів кореляції запропонував Коен (Cohen, 1988): низька кореляція має абсолютний показник приблизно 0,3; висока кореляція має абсолютний показник приблизно 0,5 і вище. Множинна кореляція – це кореляція множинних незалежних випадкових змінних з однією залежною змінною.
[2] SAT – один з двох найбільш популярних національних вступних тестів до ВНЗ США.
Система моніторингу якості вступу до ВНЗ України на основі ЗНО
Справедливість системи вступу до ВНЗ на основі ЗНО.
Порівняльне дослідження 2009-2010 (Доповідь 18.02.2011)