?

Log in

No account? Create an account
За Единый государственный экзамен 2 - Щербинин Игорь — LiveJournal

> Recent Entries
> Archive
> Friends
> Profile
> Моя рекламная домашняя страничка

October 6th, 2009


Previous Entry Share Next Entry
04:41 pm - За Единый государственный экзамен 2
Чем хороши цифры, так это тем, что не надо лишних слов. Правильно проведенный расчет с двумя числами в итоге будет убедительней иной сотни предложений. Понятия числами приводятся в норму.

Вот, в своем недавнем посте, посвященном ЕГЭ я высказал мысль о том, что анализируя официальные данные об экзаменах невозможно понять, где истинная картина, а где искажения, которые получаются вследствие разных нарушений. Так и написал:

«И беда в том, что все эти искажения нельзя увидеть из статистики по ЕГЭ. Кривые подстроятся как надо и общая картина все равно останется благостной.»

Однако оказалось, что это не так. Виктор Кромер в комментарии на этот пост прислал ссылку на его статью, в которой он, анализируя официальные данные ЕГЭ 2009 года сумел выделить «коррупционную составляющую» экзамена. По его данным, в среднем 45% школьников незаконно «улучшили» свой результат, приписав себе в среднем 20 тестовых баллов.

Данные впечатляют, но при этом подтверждают всем известное то, что с организацией этого самого Единого государственного экзамена творятся безобразия. Но с цифрами картина получается и объективнее и убедительнее.

Итак, по моим оценкам, полученным из анализа «оперативной» обстановки в относительно небольшой выборке искажения результатов ЕГЭ в 2009 году составило 14%.

По данным Кромера, полученным из статистического анализа всей совокупности результатов экзаменов 1-ой волны 2009 года получается 9%, то есть 0,45 помноженное на 0,2.

По сути эти цифры все одно – как ни крути, картина представляется неприглядной. Выводы разные люди могут делать разные. Виктор Кромер в своей статье (приведу еще раз ссылку http://kromer.newmail.ru/kvv_a_37.pdf) сделал такие:

1. Результаты ЕГЭ 2009 года искажены вследствие несоблюдения регламента процедуры, при этом по отдельным предметам искажено до 60% всех результатов.

2. Вследствие искажения результатов ЕГЭ тестовые баллы по отельным предметам у части испытуемых смещены в сторону увеличения от истинных, соответствующих уровню их подготовки, в среднем на 27 баллов, что вследствие общеизвестности явления вызывает недоверие руководителей образования к высоким тестовым баллам.

3. Влияние и массовость коррупции при проведении процедуры ЕГЭ не позволяют считать результаты ЕГЭ 2009 года пригодными для ранжирования абитуриентов вузов с целью профессионального отбора, поскольку в соответствии с принятым порядком отбора абитуриентов преимущество получают абитуриенты с несоответствующими истинному уровню знаний тестовыми баллами.

4. Анализ распределений предметных тестовых баллов по отдельным регионам России предположительно позволит выявить региональные особенности распределения степени коррупции при проведении ЕГЭ.

5. В основу выводов положены определенные предположения, в частности о линейности шкалы логистической модели Раша и о нормальности распределения уровня подготовки выпускников в логитах. Отказ от этих предположений и выдвижение более слабых, в частности предположение о симметричности распределения уровня подготовки с отказом от нормальности, в силу робастности модели не повлияет на сделанные качественные выводы относительно массового искажения результатов ЕГЭ.

Может быть, кто-нибудь возьмется их опровергнуть?

(10 comments | Leave a comment)

Comments:


From:ostsee
Date:October 6th, 2009 07:36 pm (UTC)
(Link)
У гуманитария статья вызывает некоторые вопросы:
1. не рассматриваются данные ЕГЭ по иностранным языкам, хотя их графики существенно отличались от графиков по другим предметам (вместо гауссианы - выраженные сдвиги к высшим баллам)
2. Низшие параметры коррупции показали обществознание и литература (3,6 и 3,3 соответственно), что в несколько раз ниже показателей по другим предметам (от 15 до 27). При этом обществознание в 2009 г. было обязательным предметом для наиболее престижных и популярных специальностей (право и экономика). Получается, что люди фальсифицировали ЕГЭ для поступления в инженерные (физика, химия), ИТ (информатика), медицинские (химия, биология) ВУЗы, а вот абитуриентов юристов-менеджеров-экономистов охватила эпидемия честности.
3. Натяжка на 2-х обязательных экзаменах (математика и русский язык) объяснима потребностями школ.
[User Picture]
From:valerian_igor
Date:October 7th, 2009 01:40 pm (UTC)

Бактриан против дромадера

(Link)
>не рассматриваются данные ЕГЭ по иностранным языкам

Ну да, обработка первичных данных по иностранным языкам ведется по другой методике. Для иностранных языков зависимость тестовых и первичных баллов просто линейная.

>Получается, что люди фальсифицировали ЕГЭ для поступления в инженерные (физика, химия), ИТ (информатика), медицинские (химия, биология) ВУЗы, а вот абитуриентов юристов-менеджеров-экономистов охватила эпидемия честности.

Получаться, грубо говоря, может что угодно. Что выявил расчет Кромера? Что наши абитуриенты, сдававшие ЕГЭ состоят из двух «рас», параметры средних которых различаются на величину сравнимую с этими параметрами, то есть СУЩЕСТВЕННО. То есть речь идет о системе, параметры которой распределены принципиально двугорбо. Распределение напоминает верблюда бактриана. Хотя ожидался верблюд дромадер. Кстати говоря, такие распределения тоже бывают, - подобное распределение характерно для распределения доходов в РФ. http://www.lgz.ru/article/6084/

Причиной такой асимметрии может, вообще говоря, что угодно. Гендерные различия в генеральной совокупности, или хоть вышеназванное распределение доходов. Ну, или например наличие исследуемой территории двух резко очерченных разных народов, принципиально различающихся по успеваемости. Можно еще предположить еще какое вдруг возникшее во времени к 2009 году расслоение в корпусе учащихся, подвергшихся Единому государственному экзамену. По не очень понятным причинам, например, начавшемся к этому периоду облучением вероятным противником территории специальными лучами.

НО. В государстве РФ более восьмидесяти процентов – русские. Такое моноэтническое государство еще поискать! Успеваемость среднего ученика не сильно зависит от того мальчик это или девочка. То есть различия есть, - среди сильных учеников больше мальчиков, а среди слабых … опять больше мальчиков. То есть различия нивелируются.

Тоже и с доходами. Я заметил, что состоятельные люди не очень склонны готовить своих детей к ЕГЭ, им просто незачем, они смогут обучаться платно, что они, кстати говоря, и делают. Опять компенсация.

Так что интерпретация данных, полученных Виктором Кромером, как возникших из резких неоднородностей в социуме кажется не очень основательной. А вот нарушения в процедуры проведения ЕГЭ как гипотеза первой значимости выглядит вполне основательной.

Несомненно, подобные исследования стоит продолжать. Выяснится много интересного. И продолжать должны в его первую очередь сами Наробраз и ФИПИ. Кажется, что они должны, во-первых, публиковать данные в полном, а не усеченном объеме, а во вторых их отчетности не должны напоминать приведенное здесь. http://www.rustest.ru/ege/stat.php Это, думается, в их же интересах. Может, они этого не понимают?


>Натяжка на 2-х обязательных экзаменах (математика и русский язык) объяснима потребностями школ.

Ага. А остальные искажения объяснимы частью потребностями абитуриентов иметь балл получше и частью потребностями Правительства создать благостную картину.
From:(Anonymous)
Date:October 12th, 2009 05:18 am (UTC)

Подтверждение от Рособрнадзора

(Link)
- Среднее снижение результата - от 5 до 15 процентов, - уточнила Любовь Глебова.
Это из статьи в Российской газете по результатам перепроверки Рособрнадзором знаний первокурсников в 7 вузах по материалам ЕГЭ-2009.
http://www.rg.ru/2009/10/08/rezult.html
Открытым остается, конечно, вопрос - отнести эту разницу за счет "естественного забывания" как утверждает уважаемая Л. Глебова, или за счет обсуждаемых сейчас вопросов незаконного увеличения результата при проведении штатного ЕГЭ. Даже если в среднем по 1 предмету 10 баллов – это 30 баллов в рейтинг-листе поступающих. То-есть на бюджет в престижные вузы поступили определенно НЕ ТЕ.

Виктор Кромер


[User Picture]
From:valerian_igor
Date:October 12th, 2009 05:52 am (UTC)

Re: Подтверждение от Рособрнадзора

(Link)
Глебова в очередной раз говорит чушь малограмотного человека. http://galkovsky.livejournal.com/139740.html?thread=25221596

Как можно говорить о каких-то процентах для "естественного убывания", если ясно, что разные экзамены, проводимые для разных целей среди разных выборок не будут иметь сходные по профилю результаты. Вся эта "препроверка" проводилась ясно для чего.

Нечего даже обсуждать. У ней все получается по формуле советской власти.
From:(Anonymous)
Date:October 12th, 2009 12:32 pm (UTC)
(Link)
Что забавно, только сейчас разобрал, что Л.Г. действительно сказала "проценты" а не баллы. Я, конечно, в уме по умолчанию подставил баллы, поскольку только они и имеют смысл в данном контексте. Шкала тестовых баллов интервальная, нуль условный, и смысл имеет только разница баллов. Скорей всего ей и представили результаты в баллах, а она исходя из 100-балльности шкалы и ляпнула про проценты.
Не думаю, что у первокурсников стимулов выкладываться при тестировании было меньше, чем у школьников. Чем черт не шутит, вдруг дадут команду отчислять за неподтверждение ЕГЭ? Так что отмеченное среднее уменьшение "от 5 до 15" будем считать баллов вполне реальное. Другое дело, что Глебова, как не специалист-тестолог, даже не понимает, что афишируя факт того, что некоторые показали результат гораздо больший, чем при первоначальном тестировании, расписывается в низкой надежности = точности КИМов ЕГЭ. Ведь что было бы в идеальном случае:
1. Среднее вывелось бы прежнее.
2. Распределение индивидуальных отклонений при ретестировании было бы нормальным с матожиданием 0 и малой дисперсией. Вот эта дисперсия и характеризовала бы точность КИМов. Ну, скажем, сигма=5 баллов. Великолепный результат. А у нынешних КИМов по замерам Хлебникова и его коллег, сигма=12 на краях шкалы. Плоховато-с.
Беда ЕГЭ в том, что когда они отобъются от наскоков Миронова или от видимости его наскоков, когда посадят парочку деятелей и покончат с коррупцией, всерьез встанет вопрос о точности тестов. И вот тут им сказать будет нечего - кроме обветшавшего Раша, предъявить будет больше нечего. Все исследования в этом направлении давились, где по инициативе местных дураков, где по указке из центра. Подоплека простая - американцы все уже сделали, куда нам больше.
[User Picture]
From:valerian_igor
Date:October 15th, 2009 12:37 pm (UTC)

Поживем - увидим.

(Link)
Мало ли что она скажет. Смысл ее "перепроверки" ясен - налицо желание отмазаться. В МГУ результаты тоже проверяли. http://top.rbc.ru/society/28/09/2009/332838.shtml

Но по сути это все шум и цыганская суета.

Тут еще наш президент мягонько создал комиссию.
http://top.rbc.ru/society/14/10/2009/337239.shtml

Особых надежд комиссия что-то не внушает. Заболтают. Видно по тому как они ее создают. Однако, поживем до середины декабря - увидим.
From:(Anonymous)
Date:October 21st, 2009 04:09 am (UTC)
(Link)
Апропо о комиссии. Странный сам документ об ее образовании. Заседания - "не реже одного раза в месяц". Значит, могут собраться всего 3 раза, последнее заседание уже заключительное, по выработке рекомендаций президенту. Организационно-техническое обеспечение за Минобрнауки, т.е. за Фурсенко. И это называется, что Минобр будет отстранен от вопроса для повышения объективности выводов? И еще - рассмотрение предложений общественных профессиональных организаций и организаций родителей. Как там у составителей с русским языком? Между "общественных" и "профессиональных" запятая есть или нет? Или у нас уже появились "общественные профессиональные организации"? И что, мнения ни родителей самих по себе, ни отдельно взятых специалистов в учет приниматься не будут? Если предложения будут приниматься только от организаций, комиссию можно было и не собирать, результаты предсказуемы.

Виктор Кромер
[User Picture]
From:valerian_igor
Date:October 21st, 2009 07:17 pm (UTC)

Цели все прозрачны

(Link)
Да нет. По отношению к этой "комиссии" у меня иллюзий нет. Работать они явно не собираются.
From:(Anonymous)
Date:October 24th, 2009 05:31 pm (UTC)
(Link)
Обратил внимание на комментарий Л. Глебовой Известиям, где местные наробразовские власти обвиняются в попытке уменьшить количество двоечников путем помощи им при сдаче ЕГЭ в дополнительные сроки. Неужели это главный результат коррумпированности системы и то, с чем следует бороться в первую очередь? Тем более и коррупции там кот наплакал, за коррупцию принят феномен регрессии к среднему, Гальтон его еще в 1886 году открыл.
См. здесь: http://kromer.newmail.ru/kvv_net_1.pdf
А вот коррупцию в области баллов выше среднего надо вскрывать и преследовать, там цена вопроса выше. Кого набрали в вузы по этим дутым баллам, покажет зимняя сессию, или уже выявила первая контрольная неделя.

Виктор Кромер
[User Picture]
From:valerian_igor
Date:October 25th, 2009 06:16 am (UTC)

Наперсточники

(Link)
Вы же видите с кем мы имеем дело. Это же лоторейщики. Причем такие, что у них нельзя выиграть. Наперсточники.

> Go to Top
LiveJournal.com