Дмитрий Данилов / Умскул

Последний месяц было очень много разной работы и спустя месяц с последнего поста могу уверенно сказать – я забыл точный ответ на вопрос, о чем хотелось рассказать в следующем посте! Но попробую кратко ответить на ключевой вопрос – почему не получается сделать ИДЕАЛЬНЫЙ продукт. Мы занимаемся улучшением наших курсов постоянно, ежегодно, и для нас имеют значение довольно большое количество разных метрик. Среди них в том числе активация, сдаваемость ДЗ, успешность решения ДЗ, ПРОсмотр занятий, ДОсмотр занятий. Смотрим за тем, насколько ученики довольны ответами кураторов и проверками домашних заданий. Насколько помогают и мотивируют личные кураторы и персональные менеджеры. Насколько удобно пользоваться платформой, насколько стабильна платформа, насколько часто они пользуются теми или иными частями платформы. Перечислять метрики и углубляться в них можно сколько угодно долго, и каждая из них в той или иной степени влияет на эффективность обучения. Скрин с самыми верхнеуровневыми метриками прикрепляю, можете глянуть на динамику. И каждый раз, когда внутри мы видим, что что-то идет не так – сразу направляем туда внимание и улучшаем работу. Но помимо метрик в моменте в конце года мы проводим по каждому предмету изучение эффективности курса в целом – насколько хорошо мы подготовили к решению каждого из номеров на экзамене, где не доработали, как могли сделать лучше. В этом учебном году появилась возможность собрать очень подробную информацию по части учеников о том, какие номера они решили правильно, а какие нет, и исходя из этого смогли сделать классные выводы Одна из задач – добиться того, чтобы ученики, которые набирают 80-95 баллов все-таки добегали до 100, хочется выпускать как можно больше 100-балльников. Для этого в прошлом году мы запустили проект Высшая лига в тестовом режиме, увидели результаты, и в этом году раскатили на всех учеников Недавно вышли методические рекомендации ФИПИ, мы взяли их методологию расчета, применили на наши результаты и внимательно проанализировали. Исходя из этого сделали выводы о том, по каким номерам надо готовить еще лучше, переработали часть программ и дополнили необходимой практикой и прочее. И так будет в следующем году, и через год и так далее. Каждый год мы будем осознавать, что какие-то номера или темы можно было проработать лучше. И я убежден в том, что достичь идеала невозможно – но возможно каждый год становиться к нему ближе и вместе с тем помогать ученикам все лучше и лучше достигать своих целей.

И вопрос к вам – что бы вы хотели узнать о нас, нашей школе, обо мне? Пишите в комментарии, с кайфом все расскажу

Все прочитал, на все отвечу

Всем приветик Завтра улетаю в отпуск, тяжелый рабочий месяц закончился, так что я готов возвращаться к вам в блог!

«Было бы интересно узнать об ии, который проверяет наши работы, как ввели, как настраивали» О, это, кстати, очень интересная штука. Я сейчас расскажу общими словами, потом, если будут доп. вопросы, могу уйти в детали Где-то я могу ошибаться с датами, но сутевая часть верная Проверка работ ИИ – тема очень сложная, важная и спорная. Я сам лично большой скептик и очень переживаю за качество, поэтому разработка проверки работ ИИ идет уже года три, и только в прошлом учебном году мы начали его аккуратно внедрять. Его долго обучали. Для обучения использовали огромное количество решений учеников, их оценок. Это кстати наше преимущество, что у нас много учеников, из-за чего больше данных для обучения. После обучения сверяли качество с качеством проверки кураторами сами, много раз переделывали. Потом, когда результаты наших внутренних проверок оказались удовлетворительными, начали исползовать ИИ для проверки работ учеников. Собирали обратную связь, сверяли, снова вносили корректировки. Получается так, что ИИ иногда проверяет немного строже, чем кураторы в среднем, но строже – не так плохо, как если бы завышал баллы. И вот сейчас постепенно внедряем по некоторым предметам, придерживаясь двум важным принципам 1. Это прозрачно. Ученик должен знать, что его работу проверил ИИ 2. У ученика всегда есть возможность получить проверку человеком А вообще, если говорить про ИИ проверку, то сейчас ее качество довольно высокое. И более того, мы же понимаем, что и люди при проверке могут ошибаться, так что тут история такая, интересная. Мы внедряем ИИ не чтобы «догнать» проверку кураторами, а чтобы ее превзойти. Добиться того, чтобы проверка была стабильно лучше и быстрее. Быстрее сделать легко, стабильно лучше – сложнее, но получается.