В чем проблема?
Отсутствие единого инструмента поддержки принятия решения, в котором множество объединенных показателей служат индикаторами и подсказками для определения трендов и мер развития отрасли и отдельных ее частей. «Единого» — так как ответ на вопрос должен получать пользователь любого уровня — ученик, родитель, учитель, руководитель образовательного учреждения, сотрудники органов исполнительной власти. Как оценить эффективность образования? Для этого необходима методология оценки качества, для которой требуется определение понятных и точных критериев — метрик оценки. Но перед этим нужно учесть, что образование имеет несколько значений, ни одним из которых нельзя пренебрегать при оценивании текущего состояния и построения прогнозов:
образование — как отрасль, в целом;
образование — как программа обучений;
образование — как успешность учеников в дальнейшем, их трудоустройство и уровень жизни;
образование — как доступность инструмента, помогающего человеку развиваться и развивать;
образование — как обеспеченность необходимой инфраструктурой.
Задача
Для каждого — родителя, школьника, учителя, руководства учебного заведения — оценка эффективности образования складывается из разных факторов, с разным влиянием и значимостью. Соответственно, наша задача — создать такой инструмент, который каждому из пользователей по отдельности и вместе будет давать показатель, достаточный и необходимый для дальнейшего принятия решения. А порой — и способствовать появлению импульса, инициативы, побуждать к изменениям, то есть привлекать внимание к проблемам, которые до этого могли оставаться незамеченными.
Решение
Определение триггеров — первый, базовый этап решения задачи. Это предоставление для пользователя кратких и понятных, то есть оцененных в конкретных величинах, коэффициентов, метрик-сигналов. Здесь стоит сложная, но важная задача, — найти усредненные показатели, которые окажутся важными для всех, например, родителей, несмотря на то, что у каждого свой подход к обучению, воспитанию, и, соответственно, свои критерии для оценки эффективности достижения того или иного результата. Поэтому в первую очередь необходимо определить базовые, верхнеуровневые, показатели, на которых дальше необходимо выстраивать модели оценки текущего состояния и прогнозы дальнейшего развития. Так, это:
успеваемость — оценки;
успеваемость — прогулы;
успеваемость — доступность, то есть качество предоставляемых инструментов для достижения успехов (рейтинг учителей, школ, учебных материалов);
здоровье — физическое;
здоровье — эмоциональное, то есть оценка ближайшего окружения, в котором находится ребенок.
Основная сложность при реализации, с которой мы столкнулись, — количество систем, являющихся источниками данных, и объем событий и информации в них (мы брали информацию о 800 учебных заведениях). Здесь оказались как источники, условно говоря, структурированной информации (результаты ГИА/ ЕГЭ/ Олимпиад; прогулы; оценки), так и полу— и вовсе неструктурированной информации (программа обучения; интернет-события; наименования и структура кружков дополнительного образования; клики по электронной доске). Поэтому только этап сбора данных по всем метрикам с учетом etl-процессов, интеграции сервисов (а зачастую — их разработка с нуля) и всех реляционных и нерялляционных баз данных требует большого количества времени и, более того, является непрерывным, так как при появлении одного результата сразу поступает запрос на новые метрики и разработки. Так, например, сейчас уже реализованы:
мониторинг текущих академических успехов и выявление отклонений (получил плохую отметку; получил плохую отметку после болезни; получил плохую отметку, а весь класс получил хорошие отметки);
выявление особенностей обучения в школе (любимые предметы, которые хорошо получаются, которые не прогуливает);
выявление, какие виды активности получаются хорошо и плохо (письменные работы, ответ у доски);
выстраивание круга интересов, исходя из посещения кружков и дополнительных секций.
Разработка на этапе инициации:
мониторинг внеурочной, внеклассной деятельности;
определение дополнительных интересов, исходя из интересов ближайшего окружения;
определение психологических особенностей (экстраверт/ интроверт);
определение профессиональной ориентации.
Аналитика и выявление закономерностей с применением многомерного статистического анализа являются вторым этапом решения задачи. Это, по сути, создание «цифрового двойника» учащегося, то есть поиск похожих и их сравнение. Здесь решаются такие кейсы, как:
построение зависимости успеваемости от заболеваний;
построение «портрета» ученика и класса, то есть сравнение с одноклассниками;
построение рейтинга учителя, школы, учебников.
Поиск зависимостей успеваемости от заболеваний ложится в основу прогноза эпидемий, но для начала мы изучили наличие корреляции между атрибутами погодных условий, посещаемости и получаемых оценок, а также скорость, с которой они изменяются. То есть анализируются не только натуральные величины, но и их производные. Результат — проверенные гипотезы:
двоечники и отличники болеют меньше, чем троечники и хорошисты;
младшие классы болеют меньше, чем средние и старшие, но в сентябре старшие классы болеют чаще;
средняя продолжительность заболевания составляет две недели;
болеют в среднем два раза в год;
школы болеют по-разному;
температура — незначимый фактор (обусловлено особенностью анализируемых данных — за факт заболевания принимается дата постановки диагноза в поликлинике, а не момент реального заболевания школьника).
Для построения «портретов» применялся многомерный статистический анализ. В его рамках производится визуализация средних оценок ученика на фоне класса, параллели и школы в виде паутинки (по предметам); результат — анализ уровня ученика на фоне других:
сколько % учеников класса/параллели учится лучше тебя по топ-5 предметам;
сколько % учеников класса/параллели учится хуже тебя по боттом-5 предметам;
процент учеников в классе/параллели с такой же долей плохих отметок по предмету.
Результат полезен тем, что дает возможность оперативно понять, на каком уровне учится ребенок, неявно сравнивая его результаты с обезличенным средним учеником класса или параллели. Рейтинг учителей — создание витрины с различными показателями по учителю, рассчитанных на основе данных успеваемости учеников, данных по кружкам, статистик по школе и городу, часть из них:
количество школ, в которых работает учитель;
список школ, в которых работает учитель;
средняя оценка учеников у учителя;
количество школьников;
процент учителей, средний балл учеников у которых выше;
процент учителей тех же предметов, средний балл учеников у которых выше;
доля отличников;
процент учителей, доля отличников у которых выше;
процент учителей тех же предметов, доля отличников у которых ниже;
процент пропусков уроков.
С точки зрения работы с данными решались несколько подзадач. Выполнялась нормализация наименований предметов, поиск некорректных данных (учитель преподает физкультуру и математику), работа с дублями, работа с выбросами.
Построение скорингов, прогнозных моделей — третий этап решения задачи. Чем дальше горизонт планирования, тем выше неопределенность. Как предугадать результат сдачи выпускных экзаменов, когда ребенок находится только в средних классах? Или средний балл? Или набор предметов, к которым у ребенка имеется склонность для выбора дальнейшей профессии? Как определить, какие факторы могут повлиять на заболеваемость класса, в котором учится ваш ребенок, получив прогноз роста эпидемий на следующий месяц? Если мы можем предугадать, как наши действия и решения повлияют на развитие обстоятельств в последующий час и/или день, то в более долгосрочной перспективе это становится весьма затруднительной задачей.
Во-первых, становится все больше входящих потоков, экзогенных переменных, которыми мы просто пренебрегаем (погодные условия, удаленность образовательного учреждения от вашего места жительства и влияние способов передвижения на общий фон здоровья ребенка), в силу нехватки времени, их объема и неочевидности. Во-вторых, в данном случае результирующей переменной в регрессионном уравнении являетесь не вы сами, а ваши дети и/или ученики, то есть третьи лица. А это значит, что для вас все больше становится неизвестных переменных. В-третьих, вы не можете обладать всеми знаниями, исторически накопленными другими людьми в отрасли. Даже если вы тратите большое количество времени на изучение пользовательского опыта, то в большинстве случаев он представляет собой большой массив разрозненной неструктурированной информации субъективно-оценочных мнений. Соответственно, скоринговые модели и прогнозы дают возможность предоставить вам информацию о вероятности того или иного исхода с учетом именно ваших условий, но в агрегированном виде, не допускающем раскрытия персональной информации остальных участников процесса.
На этом этапе решаются такие кейсы:
прогноз успеваемости;
персональные рекомендации по образовательной траектории — корректировки, дополнения, необходимость уделить внимание «проседающим» факторам;
персональные рекомендации по профилактическим мерам в области здоровья ребенка, родителя и даже школы в целом.
*** Все разработки на этом этапе у нас пока в виде пилотных проектов. В прогнозе успеваемости выводится персональный прогноз в зависимости от найденной зависимости между средним баллом текущей успеваемости и результатом по ГИА/ ЕГЭ в городе. Для персональных рекомендаций используются как лог регрессии и бустинг для классификации, так и алгоритмы и модели выделения смысла из текстовой информации — пока в тестовом режиме. Персональные рекомендации в первую очередь планируется использовать для рекомендации образовательных материалов из библиотеки Московской электронной школы (МЭШ). Для прогноза эпидемий использовалась сезонная интегрированная модель авторегрессии скользящего среднего (SARIMA). Планируем добавить группу дополнительных факторов для построения новой модели таких, как расстояние от места жительства до учебного заведения, хобби во внеурочное время, распределение времени в сутки на обучение в школе/допобразование/отдых/прогулки, интересы и увлечения родителей (некоторые из параметров планируем собирать через обратную связь, то есть через обработку текстовых данных для дальнейшего учета в моделях).
Кейс был представлен на Big Data Conference.
Материалы по теме: Девять лучших курсов по Big Data для дата-сайентистов и менеджеров Нужно остановить big data: «темная сторона» больших данных, о которой вы, возможно, не задумывались Что такое data science и как это работает? Как используют IoT, Big Data, машинное обучение и блокчейн НЛМК, М. Видео, МегаФон и проекты Сколково Как медиакорпорации используют Big data