ЗНО: Здається, Нас Обманюють
06/09/2008 | Василь Петрів
Шок! Це слово найчастіше вживається для висловлення емоцій від результатів цьогорічного тестування. Спочатку діти були вражені кількістю своїх помилок, потім - несподівано високими результатами, ще пізніше - дивною невідповідністю оцінок за 12-бальною шкалою та шкалою від 100 до 200 балів. Я сам був вражений опублікованою в останні дні травня таблицею оцінювання реальних результатів тестування за 12-бальною та 200-бальною шкалами. Результати не просто погані, вони жахливі!
Звинувачувати УЦОЯО не можна. Звичайно, критикувати можна завжди, але цього року завдання з математики були коректними і відповідали вимогам до рівня знань випускника школи, багато з них були аж надто простими. Тим більше, викликають подив результати, які свідчать навіть не про низький рівень знань, а про відсутність знань взагалі. Завдання з математики та відповіді можна подивитися за адресою http://www.testportal.gov.ua/files/ZNO_math.zip
На жаль, поки ми шукали пояснення такого стану речей, директор УЦОЯО вже зробив висновки, які шокують ще більше, ніж самі результати. Цитую:
"Другий висновок, який сьогодні напрошується: заяви про те, що наша школа працює незадовільно, не підтвердилися результатами тестування. Практично, з усіх предметів лише вісім-дев’ять відсотків випускників не подолали умовного прохідного бар’єру, а з математики — лише п’ять відсотків. Більше половини учнів показали результат вищий за середній. У відносно великого відсотка дітей — максимальні результати, що стало для нас певною несподіванкою".
Ігор Лікарчук. Інтерв'ю газеті "Дзеркало тижня" 7 червня 2008 року (http://www.dt.ua/3000/3300/63160/)
Але ж це неправда!
"И интереснее всего в этом вранье то, — сказал Воланд, — что оно — вранье от первого до последнего слова". М.А.Булгаков "Мастер и Маргарита"
Доводити такі звинувачення треба з цифрами, тому наведу цитати з трьох документів і даю посилання на них: 1. Таблиця переведення тестових балів з математики в бали за шкалою 100-200Тестовий Бал Тестовий Бал Тестовий Бал бал 100-200 бал 100-200 бал 100-200 0 100 19 173 38 192 1 102 20 175 39 193 2 108 21 176 40 194 3 115 22 177 41 194 4 124 23 178 42 195 5 131 24 180 43 196 6 138 25 181 44 196 7 144 26 182 45 197 8 149 27 183 46 197 9 153 28 184 47 198 10 156 29 185 48 198 11 159 30 186 49 199 12 161 31 187 50 199 13 163 32 188 51 200 14 165 33 189 52 200 15 167 34 189 53 200 16 169 35 190 54 200 17 170 36 191 55 200 18 172 37 192http://www.testportal.gov.ua/files/Scaling.zip 2. Інструкція про порядок визначення результатів зовнішнього незалежного оцінювання випускників загальноосвітніх навчальних закладів у 2008р, затверджена наказом Українського центру оцінювання якості освіти від 08.04.2008 №126 (виділення зробив я) Шкала [100–200] балів оцінювання має такі властивості: - вона є наближеною до нормальної шкали з середнім значенням результатів з кожного предмета, близьким до 150 балів, і середнім квадратичним відхиленням результатів, що приблизно дорівнює 20; - вона є стандартизованою, тобто розподіл учасників за цією шкалою має бути практично однаковим, незалежно від предмета тестування, часу проведення сесії тощо; - вона забезпечує більшу роздільну здатність тих оцінок, які мають значення, що близькі до кінців інтервалу (100 і 200 балів); це дає можливість приймальним комісіям ВНЗ приймати більш зважені рішення при зарахуванні на спеціальності з високим конкурсом. http://www.testportal.gov.ua/files/Instr_N126_08042008.zip 3."Результати" тестування з математики
Результат Кількість Відсоток
учасників
від 100 до 123 балів 10363 4,58
від 124 до 135 балів 31680 14,01
від 136 до 150 балів 66179 29,27
від 151 до 161 балів 51703 22,87
від 162 до 172 балів 33155 14,66
від 173 до 183 балів 20876 9,23
від 184 до 190 балів 7450 3,30
від 191 до 195 балів 2872 1,27
від 196 до 199 балів 1579 0,70
200 балів 227 0,10
http://www.testportal.gov.ua/
Примітка: слово результати я взяв у лапки, бо це не результати, а характеристика нормального закону розподілу, який з невеликими відхиленнями є однаковим для всіх предметів (дивю [2])
Врахуємо, що перших 25 завдань з математики - це вибір однієї з п'яти запропонованих відповідей. Очевидно, що найбільш ймовірно вгадати відповіді на 5 завдань.5 балів - це рівень вгадування, який відповідає повній відсутності знань.
Тепер пропоную вам, познайомившись з цифрами, самостійно зробити висновки і порівняти їх з висновками пана Лікарчука.
1. Прохідний бар'єр УЦОЯО встановив, знаючи реальні результати. Чи вважаєте ви, що набравши 4 з 55 можливих балів (при рівні вгадування 5 балів!) абітурієнт показав достатні знання, щоб стати студентом?
2. Половина учнів показала результат 8 і менше балів. Найбільш ймовірно вгадати 5 балів, але можна й всі 8. Це означає, що половина випускників в середньому заслужено отримали по три бали за найпростіші завдання з 55 можливих. І це ті учні, які вибрали математику, а не всі випускники. Чи вважаєте ви, що результати свідчать про високу якість шкільної освіти?
3. З математики 200 балів отримали всі, хто набрав 51-55 балів, з української 91-103 бали, з історії України 79-94 бали. Чи така шкала підвищує роздільну здатність, якщо учні які набрали 79 і 94 бали, отримують однаковий документ? Чи стане ще більшою несподіванкою для пана Лікарчука різке зростання кількості абсолютних відмінників, якщо УЦОЯО почне ставити 200 балів, починаючи від 45?
Відповіді
2008.06.09 | В.Г.
Re: ЗНО: Здається, Нас Обманюють
Нас не "кажется" обманывают,а абсолютно точно обманывают. Самое ужасное (согласен с Вами, Василь) - это коментарий директора УЧОЯО. С моей точки зрения, коментарий этот означает следующее. Главный специалист (по должности) по проблемам тестирования понятия не имеет об ЭЛЕМЕНТАРНЫХ, ФУНДАМЕНТАЛЬНЫХ принципах этого самого тестирования. Лично я гипотезу прямого обмана со стороны конкретного должностного лица(возможно я ошибаюсь) отвергаю. Но моё предположение ещё жестче (полная некомпетентность)Не кажется ли Вам, уважаемый Василь, что пора что-то с этим делать (а я давно предлагал уже это)???
2008.06.09 | псевдоквази
Re: ЗНО: Здається, Нас Обманюють
Вот это да!!! Шок!!! Чего тут больше: некомпетентности, нахальства или распиловки бюджетных денег? И вот под ЭТО создали такую структуру и потратили столько денег! И вот ЭТО так превозносили и пропагандировали! Да, дорого обходяться бюджету господа псевдореформаторы со своими псевдореформами!2008.06.10 | Simpleton
Щось я Вас нe зрозумів. Нeзалeжнe тeстування показало
нульовий рівeнь нашої шкільної освіти. Як кажуть росіяни, зeркало нe виннe. Чи Ви воліли б за кращe, аби цe тeстування спотворило дійсну картину?2008.06.10 | псевдоквази
Re: Щось я Вас нe зрозумів. Нeзалeжнe тeстування показало
В тому ж і справа, що Лікарчук та іже з ним псевдореформатори на чорне говорять біле: тестування показує, що знань фактично нема, а його результати трактуються ними як "всьо харашо, прєкрасная маркіза" за допомогою такого собі спеціального гумового метру!2008.06.10 | Х.имик
Re: Щось я Вас нe зрозумів. Нeзалeжнe тeстування показало
Вы спрашиваете: 1. Каким образом Ликарчук стал директором УЦОЯО?Таким же образом как ими стали составители тестов по химии. Дайте их любому специалисту - и он Вам скажет, что среди них есть: А) некорректно сформулированные; Б) с неоднозначными ответами (это те, в которых должен быть один правильный ответ); С) с неверными опубликованными ответами. А ведь эти люди и по этим ответам оценивают(!) знания детей! Вывод простой: ЗНО - это ЗЛО.
2008.06.13 | Roman
Re: ЗНО: Здається, Нас Обманюють
На обкомі появилася стаття по тeмі
СТАВИМ КРЕСТИК
Есть ли повод для тоста за тесты?
http://obkom.net.ua/articles/2008-06/13.1401.shtml
2008.06.13 | псевдоквази
Хорошая статья!
Так что вот так оно изначально и задумывалось! Если пользоваться резиновым метром, то сколько надо, столько и намеряем. Только за измерителей и за метры резиновые щедро заплачено из бюджета. И еще измерители прослыли великими реформаторами. Их можно поздравить, а нас не с чем.2008.06.20 | Василь Петрів
Про "гумовий метр" у вимірюваннях знань
Не хочеться критикувати результати зовнішнього оцінювання, коли президент заявив, що "це одна з найбільш вдалих в Україні реформ освіти, яка нам вдалася" (http://www.president.gov.ua/news/10344.html). Підтримує таку оцінку також міністр освіти і науки: "Результати тестування стали свідченням того, що середня освіта в Україні дає достатні знання для навчання у ВНЗ. Ми зробили прорив в системі освіти. Це є дійсно прорив" (http://www.mon.gov.ua/main.php?query=newstmp/2008/18_06/). Дуже прикро, але цитовані в першому повідомленні цифри чомусь не підтверджують владного оптимізму.Реалізована в Україні система вимірювання знань влучно названа дописувачем псевдоквази гумовим метром, але основна проблема вимірювання таким метром не в тому, що результати "натягують". Якщо учасникам тестування пропорційно збільшити чи зменшити оцінки, то це матиме вплив хіба що на загальну картину рівня освіти, але жодним чином не змінить конкурсну ситуацію.
Справжня проблема полягає в неточності проведеного педагогічного вимірювання. Підкреслюю, не в свідомому спотворенні результатів, а у великих похибках, які допущені внаслідок некваліфіковано сформульованих завдань. Директор УЦОЯО професор Лікарчук в одному з інтерв'ю сказав, що "в Україні немає школи тестологів. Є така галузь науки - "Педагогічні вимірювання", в Україні вона не розвивалася. Нам доводиться і вчитися, і готувати, і проводити - все на ходу!" (http://www.osvita.org.ua/ukrtest/articles/45/) Це тим більше спонукає до скурпульозного аналізу результатів тестування, бо у мене особисто складається враження, що спеціалісти УЦОЯО спочатку проводять тестування, а потім вчаться. Чи не надто висока ціна такого навчання на помилках? Адже поки лікар навчиться, хворий може померти.
Розглянемо проблему похибок на прикладі цьогорічного тестування з математики. Я намагався наглядно показати її на рисунку. Перепрошую за велику кількість цифр, але якщо оцінювати щось без цифр, то залишаються самі гасла.
Отже, я вирахував таке. У квадратиках по вертикалі оцінено в балах реальні знання учасників тестування. Внаслідок впливу випадкового вгадування ці реальні знання не відображаються одним квадратиком на горизонтальній осі набраних тестових балів, "розтікаються" в цілу полоску, інтенсивність зафарбовування якої відповідає кількості учнів. Наприклад, бали учнів з "нульовими знаннями" розподіляться наступним чином: "0" - менше 1%, "1" - 2%, ..., "5" - 20% і т.д. Чим більше завдань учень правильно розв'язав, тим менший вибір для вгадування, тому точність підвищується. Зауважу, що 24 набрані бали не зводять можливість вгадування до нуля, бо частина з цих балів отримана за завдання з короткою відповіддю та відкриті завдання. Ще один приклад. Серед учнів, які свідомо набрали 20 балів 21% не вгадали більше нічого і отримали "законних" 20 тестових балів, 37% додатково вгадали одну відповідь, тобто отримали 21 бал і т.д.
Для компенсації впливу вгадування тестологи часто вводять "штрафний" бал за неправильну відповідь, який дорівнює ймовірності вгадування відповіді. У випадку цьогорічного тесту з математики за кожне з перших 25 завдань схема оцінювання могла бути такою: 1 бал за правильну відповідь; 0 балів за відсутність відповіді (не знав, але не пробував вгадати); -0.2 бали за неправильну відповідь.
Можливий інший шлях. Я нарахував 12 тестових завдань з числовою відповіддю. Навіщо для завдання "Укажіть, скільки можна скласти різних правильних дробів, чисельниками і знаменниками яких є числа 2, 3, 4, 5, 6, 7, 8, 9" давати варіанти відповідей? Система перевірки розпізнає рукописні цифри. Нехай би учні просто записали відповідь, адже при цьому вгадати практично неможливо.
Не буду перераховувати інших "можна було би...", тому що вже пізно. Спеціалісти УЦОЯО проігнорували вплив вгадування і оцінили учасників тестування так, як показано в останньому рядку на малюнку. Точність оцінок до 161 включно є незадовільною, тому що учень, який розв'язав 7 завдань і нічого більше не вгадав отримає такий же сертифікат, як той, що осилив лише одне, але вгадав 6. Але ж саме в цьому незадовільному за точністю діапазоні буде проходити основна конкуренція при вступі!
Продовження в наступному дописі.
2008.06.20 | Дідусь
Re: Про "гумовий метр" у вимірюваннях знань
Якщо за паном кандидатом якихось там наук зовнішне оцінювання, "це одна з найбільш вдалих в Україні РЕФОРМ освіти, яка нам вдалася", то про що можно казати?2008.06.20 | псевдоквази
Re: Про "гумовий метр" у вимірюваннях знань
До речі, в УкрПравді було, що й Президент оте гумове метрування теж назвав чи не найбільш вдалою реформоюА Ви, пан Петрів, ніяк не ймете віри, що з самого початку саме такий гумовий метр і було завдання винайти! З тим метром всім добре: "рехворми" йдуть, аж гай гуде, всі ЗМІ дзвонять про великі успіхи, створили нову структуру, що тепер кожен рік буде добре їсти бюджетні гроші, та й ВНЗ не дуже образили, відкинувши оті 10% патологічних даунів, що не навчилися, як вгадувати відповіді.
2008.06.22 | igorg
Як це так нема школи!? Певно у самого Лікарчука й К
Тож коштом бюджету тепер безперечно буде, хоч і вся засекреченаВибачте, а додаток 1 до наказу Міносвіти N 285 від 31 липня 1998 р. хто готував? Марсіяни? Де ті люди, вони залучені до роботи? Цілком гарний документ.
Та й теорію тестування в змозі осилити кожен пересічний науковець що розбирається в статистиці й теорії ймовірностей
Але звісно, якщо поставити проблему апріорі оцінювати якість тесту не показуючи його нікому то тоді таки так. Потрібна силища, школа й генії!
2008.06.22 | igorg
Звичайно обманюють. Однак все ж результати
,як на ту процедуру складання тестів що існує, таки непогані.Однак це гра у вийде не вийде на дуже серйозному рівні. Втім все одно спитати нема кому якщо не вийде чи не так вийде. Ну надрукували тест з помилкою, ну і що? З ким тіпа не буває
Але апріорі принципово неможливо говорити про будь-які характеристики тестів, адже вони виявляються виключно в процесі апробації. Тобто їх має вирішити середньостатистична група випускників принаймні з декількох сот чоловік. Це азбука теорії тестового контролю.
Тому коли кажуть апріорі про такі речі то це є брехня. Або через некомпетентність або свідома. Скоріше свідома бо саме надсекретність потребує величезної інфраструктури й дуже піднімає значимість окремих людей.
Не зрозуміло чому не взяти тести SAT й ACT й не домовитися про їх адаптацію й використання в Україні. Був би позитив, адже можна було б порівнювати з США, можна було б говорити про реальну мобільність випускника хоча б в перспективі.
2008.06.22 | igorg
Щоб розтягнути шкалу й наблизити її до нормального
закону застосовують шкалу логітів. Формули переходу від відсотків (ймовірностей) до логітів елементарні. Однак ймовірність апріорі має діапазон 0-1, а логіти від -нескінченності до +нескінченності. Це ж азбукаДо того ж, якщо додавати бали за правильні відповіді, то в силу ЦГТ отримуємо автоматично нормальний закон розподілу суми балів. Чим більше завдань тим більше нормальний. Практично вже більше ніж 10 цілком годиться.
Однак видумано щось унікальне. Тепер треба науково обгрунтувати цю довільну вигадку (чому скажімо не від 0 до 100, чи від 0 до 1?). Втім може вона й краща за шкалу логітів, чи не гірша, однак все ж варто було б це довести
Є й інша можливість обєктивного визначення рівня знань (хоч і відносного). З результатами тестування встановлюються латентні характеристики тестів й тестованих. Принаймні таку роботу було б варто виконати хоча б апостеріорі, або оприлюдинити матриці результатів тестування для досліджень. Хоча б по деяких центрах, вибірково. Зрозуміло, що ЗНО це крок вперед (технологічно), але ж далі старі викрутаси. Так, перша спроба, так багато недоліків, так є проблеми, так нема школи тестування, нема фахівців.
Сказати що ура, все класно! 5-10 з 55 можливих балів перетворюються на 150 і все класно? І що далі?
Взагалі я так думаю, що оці числа 100-200 зявилися для суто психологічного впливу. Бо воно ж абсолютно по різному сприймається якщо сказати
набрав 20 балів зі 100
чи 120 із 200
Останнє це взагалі звучить на загал як пісня. Хто там в деталі вдається.
2008.07.03 | loup-garou
Як заробити на тестування
Мене тут не зовсім добровільно відправили в один французький райцентр приймати участь в жюрі бакалаврату (загальнодержавний випускний шкільний іспит). Спішу поділитися з шановною публікою цьогорічною знахідкою жабоїдів.Міністерство освіти продало оцінки Баку якомусь телефонному оператору - Оранжу, здається. Тобто їх, звичайно, оголосять і так в 10 годин ранку якогось там липня - в Інтернеті плюс розішлють інфо по ліцеях. Але якщо хтось хоче дізнатися свою оцінку раніше - будь ласка, дзвоніть, і за якихось 3 євро вам все скажуть.
Я в васторгє
2008.07.04 | Press-club
Re: Як заробити на тестування
Сам себя не похвалишь...Вообще-то идея, что что-то делать надо с нашим образованием-правильная. Но исполнение... У меня много вопросов, но вот у кого есть ответы не знаю.
Мне, например, до сих пор не понятно ( ну придира к терминам, что сделаешь), как можно набрать 124 бала по 100- бальной шкале. И какая это в конце концов 100- бальная система или 200- бальная.
Как проведя тесты, проверив их, и только на этапе систематизации данных, "додуматься" что перевести 12 - бальную систему в 100-200 - бальную и наоборот не возможно.
Как с помощью тестов можно проверить насколько у ученика сформировано "историческое мышление"?
Я совершено согласна, что как сами тесты так и сама шкала разработаны, не для того, что бы оценить качество знаний, а чтобы соблюсти "средне статистическую". Кому она нужна и причем тут уровень знаний?
С тем же успехом можна взять среднюю температуру по гоститалю, или средний бал аттестатов по стране и подогнать все аттестаты по это среднее.
И, наконец, как все это защитит абитурьента от взяток. Если мне сказали конкретно, что плати 5 шт. зелени и ребенок учиться на гос основе, если детей зачисляю на основе результатов выпускных экзаменов на курсах подготовки.
Кто брал, тот будет брать. Кто-то придумывает яд, кто-то противоядие.