Моніторингові дослідження

  1. Дослідження ефективності системи вступу на основі ЗНО (прогнозу успішності навчання у ВНЗ на основі оцінок сертифікатів ЗНО, або прогностичної валідності тестів ЗНО). У рамках цього дослідження оцінено кореляцію середніх балів сертифікатів ЗНО з середнім балом за 1 курс навчання. База даних дослідження включає дані про 22 372 студентів 1 курсу з 26 ВНЗ[1] різних профілів навчання, форми власності ВНЗ, галузевої приналежності і їх розташування. База даних дослідження отримана в результаті інтеграції реєстраційної бази даних ЗНО 2008  року Українського центру оцінювання освіти з даними про успішність навчання у ВНЗ. Проведено також дослідження прогностичної валідності у розрізі спеціалізацій підготовки, гендерної приналежності, розташування ЗНЗ (в якому студент закінчував ЗНЗ), наявності пільг при вступі тощо. Дані отримувались від ВНЗ за технологіями інформаційної системи «Конкурс» і опрацьовувались фахівцями – розробниками системи «Конкурс» (USETI, громадська організація «Центр освітньої політики). Повні дані за результатами досліджень подано у звіті, який підготовлено спільно фахівцями програми  USETI та редакцією журналу ТІМО.

 


[1] До участі у проекті було запрошено спеціальним листом МОНУ 70 ВНЗ з 8 регіонів України, але дані подали тільки 26 ВНЗ.

 

Вивченню прогностичної валідності критеріїв відбору до ВНЗ приділяється належна увага у багатьох країнах світу. Так, у США і Великій Британії результати цих досліджень характеризують ефективність чинних моделей відбору до університетів, визначають напрями їх удосконалення, сприяють корекції інструментів освітніх вимірювань, на основі яких будуються критерії відбору.  На підтвердження цього наведемо результати оцінювання прогностичної валідності тесту академічних здібностей SAT та середніх балів шкільних атестатів, проведеного у США у 2008 році.

 

У дужках подано уточнену прогностичну валідність – розрахунок прогностичної валідності для того гіпотетичного випадку, коли б всі абітурієнти вступили до ВНЗ (успішність їх у ВНЗ інтерполюється за їх вступними балами на вступних іспитах та відповідністю між  вступними балами та успішністю навчання у ВНЗ для студентів). При оцінці прогностичної валідності тестів ЗНО в Україні не оцінювалася уточнена прогностична валідність і тому природно порівнювати прогностичну валідність ЗНО з даними таблиці, що подані без дужок.

На підставі цих результатів можна зробити висновок про дві основні тенденції, що випливають з кореляції між даними різних складових тесту SAT та успішністю навчання:

  1. Прогностична валідність тесту академічних здібностей (SAT), який триває всього 2,5 години, приблизно співпадає з прогностичною валідністю середнього балу документа про середню освіту (атестату) (HSGPA), який відображає результати досить тривалого навчання у школі.
  2. Прогностична валідність врахування одночасно результатів тесту академічних здібностей і середнього балу атестату (SAT + HSGPA) значно вища за відокремлені показники, що вказує на точніше передбачення успішності навчання в університеті за інтегрованою ознакою, ніж прогностична валідність кожного з показників окремо.

Тому оцінювання прогностичної валідності результатів зовнішнього незалежного тестування, за якими випускники ЗНЗ були зараховані до ВНЗ, у порівнянні з їх успішністю на перших сесіях в університеті визначено одним з основних завдань даного дослідження. Крім того, вивчалася кореляція між середнім балом атестату й успішністю навчання в університеті.

 

ЕФЕКТИВНІСТЬ СИСТЕМИ ВСТУПУ ДО ВНЗ НА ОСНОВІ ЗНО

 

Загальні зауваження

¨      Ефективність системи вступу до ВНЗ на основі ЗНО  – це показник, який чисельно характеризує ступінь передбачення успішності навчання у ВНЗ на основі успішності проходження ЗНО;

¨      Ефективність системи вступу до ВНЗ на основі ЗНО  – це прогностична валідність тестів ЗНО, тобто відповідність системи вступу до ВНЗ на основі ЗНО її головному призначенню  - формуванню якісного (тобто успішного) контингенту студентів першого курсу ВНЗ;

¨      Ефективність системи вступу до ВНЗ на основі ЗНО оцінюється коефіцієнтом кореляції між оцінками ЗНО і оцінками на екзаменаційних сесіях 1 курсу (1-а сесія, 2-а сесія, загалом за перший курс), найбільш вагомим визнається коефіцієнт кореляції між середнім балом за тестами ЗНО та середнім балом за іспити на 1 курсі навчання;

¨      Ефективність системи вступу до ВНЗ на основі ЗНО визнається у світі[1]:

  • Високою, якщо коефіцієнт кореляції більше 0.5
  • Достатньою, якщо коефіцієнт кореляції більше знаходиться в інтервалі ;
  • Низькою, якщо коефіцієнт кореляції менше 0.3


Приклад1
Ефективність (прогностична валідність тесту SAT-2008 (США)[2])

У наведеній таблиці використані наступні позначення для різних прогностичних інструментів (критеріїв вступу) – компонентів тесту SAT:

  • SAT-CR         - критичне читання
  • SAT-M          - математика
  • SAT-W          - аналітичне письмо
  • HSGPA          - середній бал атестату

 

Примітка

Рядки таблиці з кількома критеріями означають, що за інтегральний критерій було взято середнє значення відповідних критеріїв.

Прогностичні інструменти

 r (коефіцієнт кореляції)

1. HSGPA (середній бал атестату)

0.36

2. SAT-CR (критичне читання)

0.29

3. SAT-M (математика)

0.26

4. SAT-W (аналітичне письмо)

0.33

5. SAT-M, SAT-CR
              (математика + критичне читання)

0.32

6. HSGPA, SAT-M, SAT-CR
(середній бал атестату + математика + критичне читання)

0.44

7. SAT-CR, SAT-M, SAT-W
(критичне читання +математика + аналітичне письмо)

0.35

8. HSGPA, SAT-CR, SAT-M,SAT-W
    (середній бал атестату + середній бал за тестом)

0.46

 

Аналіз результатів дослідження ефективності системи вступу до ВНЗ
 на основі ЗНО

  1. Методологія дослідження
    Чим більше даних аналізується - тим більше надійність дослідження, але при цьому зростає вартість дослідження. В освітніх вимірюваннях вважається, що для високої достовірності даних слід отримати принаймні дані від 10% загальної кількості респондентів, причому вибірка респондентів повинна бути статистично репрезентативною за можливо більшою кількістю параметрів. Дані про успішність студентів було офіційно надано ВНЗ до системи «Конкурс». Дані про результати ЗНО та персональні дані студентів було отримано в результаті інтеграції бази даних про успішність навчання у ВНЗ з реєстраційною базою даних Українського центру оцінювання якості освіти, в результаті чого інтегрована база даних дослідження включає в себе:

1.1.   особисті дані про студента (вік, стать, рік закінчення ЗНЗ, тип і розташування ЗНЗ (який закінчив), місце проживання) (анонімні)

1.2.   результати навчання у ВНЗ (оцінки за зимову та літню сесії)

1.3.   успішність проходження ЗНО (оцінки по тестам ЗНО)

1.4.   дані про ВНЗ (тип, підпорядкування, форма власності, спеціальність).

Дослідження передбачає дослідження ефективності системи вступу до ВНЗ на основі дослідження прогностичної валідності тестів ЗНО.

  1. Підготовка даних дослідження
    Для дослідження було обрано 40 з 400 ВНЗ України, яким було запропоновано (лист Міністерства) за технологією системи «Конкурс» подати наступні дані про студентів 1 курсу навчання, які вступили до ВНЗ на основі ЗНО у 2008 році:

2.1.   Прізвище, ім’я та по-батькові

2.2.   Оцінки за зимову сесію навчання 2009 року;

2.3.   Оцінки за літню сесію навчання 2009 року;

2.4.   Середній бал атестату про загальну освіту

 

У результаті опрацювання отриманих даних (внесення даних у базу даних і стандартних процедур верифікації даних) база даних склала:

 

 

 

 

Назва ВНЗ

Кількість

Відсоток

Верифіковано

Кумулятивний відсоток

  1.  

ВНЗ «Національна академія управління»

147

,7

,7

,7

  1.  

Волинський національний університет імені Лесі Українки

1596

7,2

7,2

7,9

  1.  

Глухівський державний педагогічний університет імені Олександра Довженка

331

1,5

1,5

9,4

  1.  

ДВНЗ «Івано-Франківський національний медичний університет»

608

2,8

2,8

12,2

  1.  

Державна льотна академія України

268

1,2

1,2

13,4

  1.  

Донецький інститут залізничного транспорту Української державної академії залізничного транспорту

223

1,0

1,0

14,4

  1.  

Донецький національний університет економіки і торгівлі імені Михайла Туган-Барановського

949

4,3

4,3

18,7

  1.  

Київський національний університет імені Тараса Шевченка

1537

7,0

7,0

25,7

  1.  

Луганський державний інститут культури і мистецтв

171

,8

,8

26,4

 

Луганський державний університет внутрішніх справ імені Е.О. Дідоренка

617

2,8

2,8

29,2

 

Львівський національний університет імені Івана Франка

3229

14,6

14,6

43,9

 

Національна академія Державної прикордонної служби України імені Б.Хмельницького

188

,9

,9

44,7

 

Національна юридична академія України імені Ярослава Мудрого

982

4,5

4,5

49,2

 

Національний технічний університет «Харківський політехнічний інститут»

2097

9,5

9,5

58,7

 

Національний технічний університет України «Київський політехнічний інститут»

3570

16,2

16,2

74,9

 

Національний університет «Львівська політехніка»

394

1,8

1,8

76,7

 

Національний університет «Острозька академія»

391

1,8

1,8

78,4

 

Одеська державна музична академія імені А.В. Нежданової

78

,4

,4

78,8

 

Одеський державний економічний університет

630

2,9

2,9

81,6

 

ПВНЗ «Буковинський університет»

145

,7

,7

82,3

 

ПВНЗ «Дніпропетровський гуманітарний університет»

99

,4

,4

82,7

 

Південний філіал Національного університету біоресурсів і природокористування України "Кримський агротехнологічний університет"

557

2,5

2,5

85,3

 

Харківський національний медичний університет

528

2,4

2,4

87,7

 

Харківський національний університет імені В.Н. Каразіна

1982

9,0

9,0

96,6

 

Чернігівський державний педагогічний університет імені Т.Г.Шевченка

740

3,4

3,4

100,0

 

Total

22057

100,0

100,0

 

                 

 

 

  1. 3.      Прогностична валідність тестів ЗНО-2008

Коефіцієнт кореляції між:

- середнім значенням іспитів за 1 курс навчання у ВНЗ та

- різними критеріями вступу до ВНЗ.

 

Прогностичний критерій

Коефіцієнт кореляції

Середній бал атестата

0,537

Кількість учасників дослідження

11207

Середній бал ЗНО

0,522

Кількість учасників дослідження

11207

Зважене середнє
середнього балу атестата
та середнього балу ЗНО

0,580

Кількість учасників дослідження

11207

 

 

Дослідження диференційної валідності

Диференційна валідність – це відмінності прогностичної валідності для різних категорій вступників та різних категорій спеціальностей ВНЗ

Прогностична валідність критеріїв для вступників з бонусами (пільговиків)

Прогностичний критерій

Кореляція

Середній бал атестата

0,512

Кількість учасників дослідження

1602

Середній бал ЗНО

0,541

Кількість учасників дослідження

2455

Зважене середнє
середнього балу атестата
та середнього балу ЗНО

0,572

Кількість учасників дослідження

1599

 

Прогностична валідність критеріїв для вступників без бонусів (без пільг)

Прогностичний критерій

Кореляція

Середній бал атестата

0,509

Кількість учасників дослідження

9899

Середній бал ЗНО

0,478

Кількість учасників дослідження

19357

Зважене середнє
середнього балу атестату
та середнього балу ЗНО

0,556

Кількість учасників дослідження

9883

 

Прогностична валідність критеріїв для вступників на медичні спеціальності

Прогностичний критерій

Кореляція

Середній бал атестата

0,406

Кількість учасників дослідження

1271

Середній бал ЗНО

0,540

Кількість учасників дослідження

1275

Зважене середнє
середнього балу атестата
та середнього балу ЗНО

0,515

Кількість учасників дослідження

1269

 

Прогностична валідність критеріїв для вступників на педагогічні спеціальності

Прогностичний критерій

Кореляція

Середній бал атестата

0,432

Кількість учасників дослідження

398

Середній бал ЗНО

0,451

Кількість учасників дослідження

400

Зважене середнє
середнього балу атестата
та середнього балу ЗНО

0,500

Кількість учасників дослідження

398

 

Прогностична валідність критеріїв для вступників на соціальні спеціальності

Прогностичний критерій

Кореляція

ЗНО з української мови

0,643

Кількість учасників дослідження

979

ЗНО з історії України

0,615

Кількість учасників дослідження

351

ЗНО з математики

0,596

Кількість учасників дослідження

531

ЗНО з основ економіки

0.528

Кількість учасників дослідження

25

ЗНО з основ правознавства

0.557

Кількість учасників дослідження

77

Середній бал атестата

0,542

Кількість учасників дослідження

465

Середній бал ЗНО

0,657

Кількість учасників дослідження

979

Зважене середнє
середнього балу атестату
та середнього балу ЗНО

0,601

Кількість учасників дослідження

463

 

Зауваження

  1. Високий коефіцієнт кореляції середнього балу ЗНО та середнього балу за 1 курс навчання у ВНЗ;
  2. Незначно нижчий за коефіцієнт кореляції середнього балу ЗНО у порівнянні з середнім балом  атестату та середнім балом за 1 курс навчання у ВНЗ повторює картину інших країн (зокрема США);
  3. Врахування обох показників (зважене середнє середнього балу атестату і сертифікатів ЗНО дозволяє суттєво підвищити прогностичну валідність вступу до ВНЗ, а значить і ефективність системи вступу до ВНЗ).

 


[1] Основним аналітичним методом, який використовувався в дослідженні, було порівняння одиничної та множинної кореляцій прогностичних інструментів (бали за окремими предметними тестами ЗНО, середній бал ЗНО, середній бал атестату зрілості) з успішністю навчання на 1 курсі ВНЗ (середній бал за зимову сесію 1 курсу, середній бал за літню сесію першого курсу, середній бал за перший курс). Кореляція вказує на ступінь лінійного взаємозв’язку випадкових змінних і може коливатися від -1,0 до 1,0 . Кореляція 1,0, наприклад, вказує на ідеальний позитивний лінійний зв’язок. Загальне практичне правило інтерпретації коефіцієнтів кореляції запропонував Коен (Cohen, 1988): низька кореляція має абсолютний показник приблизно 0,3; висока кореляція має абсолютний показник приблизно 0,5 і вище. Множинна кореляція – це кореляція множинних незалежних випадкових змінних з однією залежною змінною.

[2] SAT – один з двох найбільш популярних національних вступних  тестів до ВНЗ США.

  

 

 

Система моніторингу якості вступу до ВНЗ України на основі ЗНО

 

  

 

Справедливість системи вступу до ВНЗ на основі ЗНО.

 

 

Порівняльне дослідження 2009-2010 (Доповідь 18.02.2011)

 

Статистичні відомості про вступну кампанію 2012 року   

Help