Урок теорії ймовірностей для прихильників ЗНО
03/22/2010 | Василь Петрів
Міфи та реалії зовнішнього оцінювання
Автор: Ігор ЛІКАРЧУК (директор Українського центру оцінювання якості освіти)
Текст статті: http://www.dt.ua/3000/3300/68875/
Міф третій. Його творці полюбляють спекулювати тим, що в тестах можна вгадати відповідь, поставивши «хрестики» навмання.
Задля справедливості зазначимо: проблема вгадування справді є. Вона особливо актуальна для завдань так званого закритого типу, в яких передбачається знаходження однієї або кількох правильних відповідей із запропонованих. Хоч у тестології використовується досить багато форм тестових завдань, відмовитися від використання завдань закритого типу не можна. Одна із причин цього — те, що в середній школі тестові технології практично не використовуються, й учні елементарно не можуть працювати з різними формами тестових завдань. Але наука і практика знають методи запобігання вгадуванню. Так, у тестах Українського центру оцінювання якості освіти закриті завдання подано серіями. За даними авторитетного Національного інституту з оцінки досягнень у галузі освіти — СІТО (Великобританія), це значно зменшує можливості вгадування. Наприклад, серія із п’яти завдань дає вірогідність вгадування 0,0313, а з десяти завдань — лише 0,00098. Ще один застережний елемент — надання для складання тесту досить тривалого часу. Адже коли його обмаль, то, за даними того ж таки СІТО, вірогідність вгадування значно зростає. Значно зменшує можливості вгадування й те, що всім абітурієнтам створюються однакові умови для складання тестів. Українським ноу-хау в цьому контексті є запровадження так званої нижньої межі кількості балів, наявність яких дозволяє абітурієнтові взяти участь у конкурсі для вступу до вищого навчального закладу. Як відомо, ця кількість становить 124 бали. Трирічний досвід дає підстави стверджувати, що абітурієнти з гіршими результатами можуть бути зараховані до категорії «вгадувачів». Підтвердженням цього слугують результати опитувань серед тих, хто отримав результат нижче 124 балів, а також стабільна впродовж останніх трьох років популяція таких «знавців основ наук» (9—10% від загальної кількості учасників тестування). (кінець цитати)
Перевірка на прикладі тверджень доктора наук, професора, директора УЦОЯО
Заповнимо таблицю відповідей, наприклад, методом вишиванки, як показано на малюнку.
Реальні завдання і правильні відповіді є за адресою
http://datatp.com.ua/ZVIT2009_.zip
За правильну відповідь на завдання 1-25 нараховується по 1 балу.
Завдання 26,27,28 оцінюють так: "За кожну правильно встановлену відповідність у логічній парі Ви отримуєте 1 бал"
Методика оцінювання є тут
http://doc.osvita.ua/doc/files/news/3879/OcFiz2009.pdf
За випадкові відповіді я нарахував 14 балів.
14 тестових балів = 162,0 у шкалі 100-200
Шкала переведення є тут
http://doc.osvita.ua/doc/files/news/3878/ScaleFiz2009.pdf
На малюнку показано також, що «вгадувач» опинився у кращій половині абітурієнтів. Можна би радіти, але чомусь сумно.
Цей результат настільки шокував мене, що я довго рахував ймовірність того, що випадковим вгадуванням отримати менше 124 (менше 6 тестових балів). Неймовірно, але виходить приблизно 12%, тобто для 88% вгадувачів ЗНО дає перепустку до університету. Ну як його не любити!?!
У мене бракує слів для коментарів.
Автор: Ігор ЛІКАРЧУК (директор Українського центру оцінювання якості освіти)
Текст статті: http://www.dt.ua/3000/3300/68875/
Міф третій. Його творці полюбляють спекулювати тим, що в тестах можна вгадати відповідь, поставивши «хрестики» навмання.
Задля справедливості зазначимо: проблема вгадування справді є. Вона особливо актуальна для завдань так званого закритого типу, в яких передбачається знаходження однієї або кількох правильних відповідей із запропонованих. Хоч у тестології використовується досить багато форм тестових завдань, відмовитися від використання завдань закритого типу не можна. Одна із причин цього — те, що в середній школі тестові технології практично не використовуються, й учні елементарно не можуть працювати з різними формами тестових завдань. Але наука і практика знають методи запобігання вгадуванню. Так, у тестах Українського центру оцінювання якості освіти закриті завдання подано серіями. За даними авторитетного Національного інституту з оцінки досягнень у галузі освіти — СІТО (Великобританія), це значно зменшує можливості вгадування. Наприклад, серія із п’яти завдань дає вірогідність вгадування 0,0313, а з десяти завдань — лише 0,00098. Ще один застережний елемент — надання для складання тесту досить тривалого часу. Адже коли його обмаль, то, за даними того ж таки СІТО, вірогідність вгадування значно зростає. Значно зменшує можливості вгадування й те, що всім абітурієнтам створюються однакові умови для складання тестів. Українським ноу-хау в цьому контексті є запровадження так званої нижньої межі кількості балів, наявність яких дозволяє абітурієнтові взяти участь у конкурсі для вступу до вищого навчального закладу. Як відомо, ця кількість становить 124 бали. Трирічний досвід дає підстави стверджувати, що абітурієнти з гіршими результатами можуть бути зараховані до категорії «вгадувачів». Підтвердженням цього слугують результати опитувань серед тих, хто отримав результат нижче 124 балів, а також стабільна впродовж останніх трьох років популяція таких «знавців основ наук» (9—10% від загальної кількості учасників тестування). (кінець цитати)
Перевірка на прикладі тверджень доктора наук, професора, директора УЦОЯО
Заповнимо таблицю відповідей, наприклад, методом вишиванки, як показано на малюнку.
Реальні завдання і правильні відповіді є за адресою
http://datatp.com.ua/ZVIT2009_.zip
За правильну відповідь на завдання 1-25 нараховується по 1 балу.
Завдання 26,27,28 оцінюють так: "За кожну правильно встановлену відповідність у логічній парі Ви отримуєте 1 бал"
Методика оцінювання є тут
http://doc.osvita.ua/doc/files/news/3879/OcFiz2009.pdf
За випадкові відповіді я нарахував 14 балів.
14 тестових балів = 162,0 у шкалі 100-200
Шкала переведення є тут
http://doc.osvita.ua/doc/files/news/3878/ScaleFiz2009.pdf
На малюнку показано також, що «вгадувач» опинився у кращій половині абітурієнтів. Можна би радіти, але чомусь сумно.
Цей результат настільки шокував мене, що я довго рахував ймовірність того, що випадковим вгадуванням отримати менше 124 (менше 6 тестових балів). Неймовірно, але виходить приблизно 12%, тобто для 88% вгадувачів ЗНО дає перепустку до університету. Ну як його не любити!?!
У мене бракує слів для коментарів.
Відповіді
2010.03.22 | Перехожий
І до чого тут ЗНО?
Підрахуйте ще імовірність вступу абітурієнта з провінції в престижний навчальний заклад без хабара та знайомств.А мінімальну кількість балів кожен навчальний заклад може встановлювати самостійно. От у вас вийшло на випадковому угадуванні 162, то й встановіть 170, 180 і приймайте тих у кого знання є.
2010.03.23 | Василь Петрів
Re: І до чого тут ЗНО?
ЗНО тут до того, шо їхніми тестами у 2009 році були менш-більш реально оцінені знання прблизно 15% абітурієнтів. Решта - розіграли оцінки в лохотроні.2010.03.24 | Перехожий
Re: І до чого тут ЗНО?
А з екзаменами такого лохоторона не буде?! Серед теоретичних питань випадково саме вивчених не може бути? Задачі на екзаменах однакової складності? І нарешті, списки від ректора, прийомної комісії, та інше лохотрон перетворює на звичайне кідалово, без будь-яких шансів для звичайного учня.2010.03.22 | sama
Re: Урок ...для прихильників ЗНО
А що тут дивного? Кількість місць у ВНЗ за прогнозами стає більшою від кількості абітурієнтів.На математично-фізично-технічних спеціальностях особливо.Ясно, що доводиться набирати всіх, хто прийде.Але Табачник недавно по телебаченню розказував, як ЗНО калічить життя тим молодим людям, яким не вистачило одного балу до 124.Це у східних областях не вміють заповнювати бланків під вишиванку?
А якщо серйозно, то говорилося про можливість тестів різного рівня для вступу у ВНЗ різного профілю. Ну , наприклад математика на мех-мат і в академію харчової промисловості могла б бути різного рівня.Розробники попередніх тестів найбільше боялися когось образити недоступним рівнем завдань.
Можливо оцінювання поступово наблизилося б до реального рівня. Але тепер при врахуванні тестів +атестат ( ясно , що чим слабша школа, тим кращі оцінки вона поставить) + іспит у ВНЗ- (а отут вже приймемо кого захочемо) все зруйнує і нічого буде удосконалювати.
2010.03.23 | Василь Петрів
Re: Урок ...для прихильників ЗНО
sama пише:> А якщо серйозно, то говорилося про можливість тестів різного рівня для вступу у ВНЗ різного профілю.
Хай дурні тішаться тим, що говорилося.
Невже Ви вважаєте нормальним, що ЗНО централізовано здаватимуть окремо в різні ВНЗ?
"Якщо серйозно", то треба аналізувати те, що зроблене.
2010.03.22 | псевдоквази
Що Ви б тут не казали, та
нічого вже не допоможе, бо "прогресивні освітяни" вже завчили добре та нікого і нічого не чують, бо на всю силу легенів скандують: "Лєнін! Партія! Кам-сам-мол!". Тю, трохи іншої: "Зно! Болонка! Ва-кар-чук!"То вже не простеє ЗНО:
ЗНО - то наше знамено!
Йдіть ви з критикою на ... -
Не плямуйте знамена!
А там, у коментарях до статті, пане Василю, є якийсь Фед, що розповідає, який Ви паганий хлопчик, якого вигнали за якісь грішки з якоїсь там контори, от Ви і взялися гудити цю зношну цяцю. Ну а якщо Ви - паганий, то чого доброго від Вас очикувати?!
2010.03.23 | sama
Re: Що Ви б тут не казали, та
sama пише:> Але тепер при врахуванні тестів +атестат ( ясно , що чим слабша школа, тим кращі оцінки вона поставить) + іспит у ВНЗ- (а отут вже приймемо кого захочемо) все зруйнує і нічого буде удосконалювати.
Прошу розкритикувати мої сумніви з цього приводу.
2010.03.23 | псевдоквази
Re: Що Ви б тут не казали, та
sama пише:> sama пише:
>
> > Але тепер при врахуванні тестів +атестат ( ясно , що чим слабша школа, тим кращі оцінки вона поставить) + іспит у ВНЗ- (а отут вже приймемо кого захочемо) все зруйнує і нічого буде удосконалювати.
>
> Прошу розкритикувати мої сумніви з цього приводу.
1) Про що говорити, коли ще нічого конкретно не вирішено?
2) Зовсім не вважаю ЗНО досягненням, саме тому "нічого вдосконалювати". Яка різниця, як приймають до непрацюючої системи, коли вона таки не працює?
2010.03.23 | Василь Петрів
Re: Що Ви б тут не казали, та
Читав. Не дивуюся. Я чув ще не таке.Дивно, чому всі обговорюють мою мізерну персону, а не цікавляться, звідки взяв такі фантастичні цифри Лікарчук? Страшно? Навіть анонімно у форумі?
2010.03.23 | loup-garou
Та не смикайтесь, ніхто не обговорює.
Поки що. Хоча, можливо, і треба. Бо якщо "вишиванку" віддзеркалити відносно вертикалі (ГВБАБВГВБА...), то на питаннях з 1 до 25 замість 10 правильних відповідей буде 5, що набагато ближче до середньої ефективності 25/4 = 6.25 генератора випадкових чисел від 1 до 4. Власне, імовірність отримати випадковим чином 10 і більше правильних відповідей з 25 складає близько 7.1% (біноміальний розподіл з n=25 і p=1/4). З чого випливає, що з високою імовірністю Ви намагаєтесь дурити публіку.2010.03.22 | ziggy_freud
ймовірність появи вишиванки?
дивний результат. Хіба що тест так навмисне складали.з 28 питань по 4 варіанти методом випадкового вгадування має виходити приблизно 7 правильних. Посадіть 100 вгадувальників, і десь на те вийде.
"Вишиванка" не є випадковим розподілом. Дивніше було б хіба що побачити, як в тестовому формулярі вишивається нецензурне слово. Тобто хтось мав знати, що саме цей метод дає трохи більше за звичайне вгадування.
Якщо я помиляюсь, хай мене поправлять математики.
2010.03.23 | Василь Петрів
Re: ймовірність появи вишиванки?
ziggy_freud пише:> дивний результат. Хіба що тест так навмисне складали.
Так, навмисне. З метою приховування реального рівня знань.
> з 28 питань по 4 варіанти методом випадкового вгадування має виходити приблизно 7 правильних. Посадіть 100 вгадувальників, і десь на те вийде.
Тільки 1-25 завдання дають таку картину. Завдання 26-28 дають ймовірність вгадування приблизно 0,8. Разм виходить 8,65 балів.
> "Вишиванка" не є випадковим розподілом. Дивніше було б хіба що побачити, як в тестовому формулярі вишивається нецензурне слово. Тобто хтось мав знати, що саме цей метод дає трохи більше за звичайне вгадування.
>
> Якщо я помиляюсь, хай мене поправлять математики.
А Ви перевірте самі. Видрукуйте 100 наведених табличок і дайте їх заповнити випадково першокласникам. Я стверджую, що приблизно 88 з них за методикою ЗНО треба приймати до університету.
2010.03.22 | ЗО (за об'єктивність)
Щоб не починати дурну дискусію про статистичні методи і їхню
важливість у сучасному світі (бо статистика жодної апологетики не потребує) нагадаю лише армійську (отже, грубувату - вже вибачте) приказку:Дурневі і скляний прутень не на користь: Не лише розіб'є, а ще й поріжеться.
2010.03.23 | igorg
Збільшіть число варіантів і ймовірність вгадування впаде
до потрібного рівня. До нуля звісно не впаде.Напевно з огляду на це було б доцільно мінімальний прохідний бал виствити саме по рівню відгадування. Але тоді ВНЗ не вистачить студентів
Політичність питання зрозуміла із заяв нинішніх вождів. Тобто будем рішать так як треба а не так як воно є.
Введение в теорию моделирования и параметризации педагогических тестов
Нейман Ю.М., Хлебников В.А. Москва 2000 168
http://infanata.ifolder.ru/10159813
http://rapidshare.com/files/172367937/Vveden_v_teor_modelirovan_i_parametrizacii_pedagogicheskih_testov.rar
http://www.onlinedisk.ru/file/50803/
2010.03.24 | Василь Петрів
На завершення дискусії
Щойно я прозмістив на своїй сторінці програмку моделюванняпроцесу вгадування відповідей на тест з фізики 2009 року.
http://petriv.ho.ua/fiztest.php
Перевіряйте!
2010.03.25 | IH
Re: На завершення дискусії
П. Петрів,пропоную також написати програму для оцінки % випадково вгаданих відповідeй, коли у тeсті є НЗ запитань і НВ варіантів відповіді на кожнe (при рівномірному розподілі правильних відповідей).
Нмд, цe допоможe вибрати оптимальні значeння НЗ, НВ та мeжу "випадкового прохідного балу".
2010.03.25 | IH
Re: Урок теорії ймовірностей для прихильників ЗНО
Чомусь правильні відповіді на питання 1-24 розподілені нерівномірно:А: 3
Б: 7
В: 5
Г: 9
----
24
замість однакового значення 24/4=6.
2010.03.25 | Мацяльця
Дуже маленька вибірка
2010.03.25 | IH
Re: Дуже маленька вибірка
Нмд, можна згенерувати випадкові числа, щоб розподіл був рівномірний: якщо частота якоїсь букви досягла Nzapytan/Nbukv, то її далі не вибирають.2010.03.25 | texas aggie
Тоді це будуть не випадкові числа.
Наприклад, відповідь на останнє питання буде наперед відомою, якщо ви відповіли правильно на попередні.По справжньому випадкові числа не будуть мати абсолютно рівномірний розподіл у вибірці.
2010.03.26 | IH
Re: Тоді це будуть не випадкові числа.
1) Усі числа, гeнeровані алгоритмами, нe є ідeально випадковими - вони поврорюються з пeвним пeріодом...2) Звичайно, що при цілому НЗ/НВ "відповідь на останнє питання буде наперед відомою, якщо ви відповіли правильно на попередні".
Алe ж ніхто і нe кажe підбирати НЗ і НВ так, щоб НЗ/НВ було цілe. У навeдeному тeсті НЗ=25, НВ=4 і
А: 3
Б: 7
В: 5
Г: 10
тобто видно моду Г (10) , яка у 3.(3) рази більша за наймeншу частоту А (3). Нмд, можна спокійно вибрати частоти так, щоб вони нe дужe відрізнялися від НЗ/НВ=6.25, напр.:
А: 6
Б: 7
В: 6
Г: 6
----
25
3) Авторам майбутніх тeстів варто рeалізувати слушну пораду igorg: "Збільшіть число варіантів і ймовірність вгадування впаде",
а також написати програму відповідно до моєї пропозиції:
" пропоную також написати програму для оцінки % випадково вгаданих відповідeй, коли у тeсті є НЗ запитань і НВ варіантів відповіді на кожнe (при майжe рівномірному розподілі правильних відповідей).
Нмд, цe допоможe вибрати оптимальні значeння НЗ, НВ та мeжу "випадкового прохідного балу" (або використати ту, яку напишe п. Пeтрів
2010.03.27 | Koala
В межах 3 сигм, причому вибірка дуже мала.
2010.03.26 | Koala
Перепрошую за мою математику...
Отже, є така центральна гранична теорема, що сума кількох однаково розподілених випадкових величин збігається до нормального розподілу з мат. очікуванням, що дорівнює сумі мат. очікувань і дисперсією, що дорівнює сумі дисперсій.Припустимо, що відповіді ставляться навмання з рівномірним розподілом (до речі, в "вишиванці" розподіл далеко не рівномірний - центральні відповіді вдвічі частіші за крайні).
Маємо 25 випадкових величин з мат. очікуванням M=(1+0+0+0)/4=1/4 і дисперсією D=(1/4)-(1/4)^2=3/16 і 3 величини з мат. очікуванням M=(4*1+3*0+2*6+1*8+0*9)/24=1 і дисперсією D=(16*1+9*0+4*6+1*8+0*9)/24-1=1. Сума всього цього буде нагадувати гаусіану з M=25/4+3=37/4=9.25 і D=25*3/16+3=123/16=7.688. За "правилом трьох сігм" 99,7% всіх значень попаде в проміжок (M-3*корінь(D);M+3*корінь(D)), в цьому випадку (6,477;12.023), що, до речі, непогано спостерігається на реальному графіку (і дає змогу оцінити кількість тих, хто відповідав навмання). Відхилення в Вашому випадку пояснюється нерівномірністю розподілу, яке випадково співпало з нерівномірність завдання.
2010.03.27 | loup-garou
Re: Перепрошую за мою математику...
Koala пише:> Припустимо, що відповіді ставляться навмання з рівномірним розподілом (до речі, в "вишиванці" розподіл далеко не рівномірний - центральні відповіді вдвічі частіші за крайні).
Це якраз неважливо. Поставивши в рулетку а) 10 разів підряд на чорне і б) чергуючи червоне і чорне, я програю однакову суму (точніше, розподіл програного буде однаковим в обох випадках).
> Маємо 25 випадкових величин з мат. очікуванням M=(1+0+0+0)/4=1/4 і дисперсією D=(1/4)-(1/4)^2=3/16 і 3 величини з мат. очікуванням M=(4*1+3*0+2*6+1*8+0*9)/24=1 і дисперсією D=(16*1+9*0+4*6+1*8+0*9)/24-1=1. Сума всього цього буде нагадувати гаусіану з M=25/4+3=37/4=9.25 і D=25*3/16+3=123/16=7.688. За "правилом трьох сігм" 99,7% всіх значень попаде в проміжок (M-3*корінь(D);M+3*корінь(D)), в цьому випадку (6,477;12.023),
Ні, Ви забули помножити на 3; насправді виходить (0.936;17.564). А взагалі, корисність апроксимації за допомогою центральної граничної теореми залежить від питань, на які Ви хочете отримати відповідь. Наприклад, наївно застосовуючи ЦГТ, ми завжди будемо отримувати якусь кількість від'ємних оцінок, або якусь кількість оцінок між 8.1 і 8.9 - результати, очевидно, безглузді.
>що, до речі, непогано спостерігається на реальному графіку (і дає змогу оцінити кількість тих, хто відповідав навмання). Відхилення в Вашому випадку пояснюється нерівномірністю розподілу, яке випадково співпало з нерівномірність завдання.
Брєд. Що, власне, Ви хотіли сказати?
Повторюсь: імовірність отримати випадковим чином 10 і більше правильних відповідей з 25 складає близько семи відсотків при чотирьох варіантах. Автор початкового посту вважає, що це "лохотрон" (кагбе намєкая нам, що тестування=кака). Хоча імовірність того, що абітурієнт отримає відмінну оцінку на традиційному екзамені, вивчивши 2 з 25 білетів, більша!
Навіть ці нещасні 7 відсотків покращити дуже легко:
1) збільшивши кількість варіантів відповідей до п'яти, замість 7.1% ми отримаємо 1.7%.
2) якщо кількість питань збільшити до 50, імовірність отримати 20 і більше правильних відповідей складатиме 1.4%.
Але виглядає, що комусь дуже хочеться скомпрометувати саму ідею тестування.
2010.03.28 | sama
http://unian.net/ukr/news/news-368277.html (л)