Андрей Марков: русский гений, который дал жизнь ИИ
Гимназистом Марков был себе на уме. Поступив в Петербургскую 5-ю гимназию, он сразу дал понять, что видал ненавистные латынь и греческий в царстве Аида, как и типичную школьную муштру того времени. По многим предметам у Андрюши проскакивали тройки и колы. И лишь в математике он блистал, неизменно получая оценку 5-й степени.
После гимназии Марков поступает в Петербургский университет. Наконец‑то свобода: никаких карцеров, комендантских часов и отнятых в наказание булок с изюмом. В университете он начинает блистать уже в полную силу.
Этому способствует пул его наставников: теорию чисел он изучал под руководством еще одного титана отечественной матшколы Пафнутия Чебышёва, а неорганическую химию вел сам Дмитрий Менделеев. Кстати, Менделеев поставил Маркову единственную четверку по точным наукам за всю жизнь.
Карьера развивается быстро: уже в 1886 Марков становится экстраординарным профессором.
Марков успевает отметиться во многих областях математики, но настоящий прорыв его ждет с открытием класса стохастических процессов с дискретной и непрерывной временной компонентой — марковских процессов.
В 1906 году он опубликует работу «Распространение закона больших чисел на величины, зависящие друг от друга». Ее основная мысль заключается в том, что будущее состояние последовательности случайных величин определяется только настоящим состоянием, а не всей предысторией состояний как таковой.
Иными словами, грядущую вероятность возможно предугадать, делая всего один шаг назад. Чтобы доказать это, Марков провел беспрецедентный эксперимент: он диссектировал 20 000 букв из «Евгения Онегина», чтобы выявить математическую вероятность появления гласных и согласных в тексте романа.
Доклад появился в Известиях Императорской Академии Наук в 1913 и опередил свое время лет, этак, на сто. Марков доказал, что события можно относительно легко прогнозировать, не заглядывая слишком далеко в прошлое. И, вероятно даже сам не догадываясь, он высек первую искру огня математических абстракций, которые постепенно приведут нас к Искусственному Интеллекту.
Кстати говоря, работая над экспериментом с «Онегиным», Марков спонтанно открыл методику предобработки данных (data cleaning), которая сейчас используется для препарации тренировочных датасетов. Предобработка удаляет лишние шумы из массива тренировочных сэмплов, чтобы нейро‑модель не запоминала ложные закономерности. В противном случае это может привести к ошибкам и галлюцинациям — то есть их будет ещё больше, чем обычно
Бушевал пожар революции, отгремела гражданка. Профессор Марков стойко переносил лишения — порой у него не было даже нормальной обуви. Но все же возраст и здоровье дали о себе знать. Гениального математика не стало в июле 1922 года после операции аневризмы на ноге.
Однако для описанных им алгоритмов все только начиналось. В 1948 году Клод Шеннон выпускает прорывную статью «Математическая теория связи», в которой описывает, среди прочего, рудиментарную языковую модель, вдохновленную идеями Маркова.
По Шеннону, система может предугадать какое слово последует за определенной цепочкой других слов. К примеру если написать:
«Корсиканец Наполеон»
То система предположит, что следующим словом будет Бонапарт. Но если написать:
«Наполеон начиняется…»
То система предложит, что речь идет о заварном креме и может даже добавит glace plombières в конце, чтобы очаровать нас эрудицией. Этот принцип построен на распределении вероятностей для последующих слов, на основе уже полученных и изученных языковой моделью токенов: слов, символов, эмодзи.
Вклад Маркова в то, как современные роботы мыслят колоссален. Они научились вести осмысленную беседу и понимать контекст благодаря скрытым марковским моделям (Hidden Markov models), рисовать картинки с помощью диффузионного принципа и добавлять в СМС слово «поздно» во фразе «Я буду…»
С помощью марковских процессов можно выжать много КПД, обслуживая производственные линии, прогнозируя биржевые котировки, моделируя темп роста сельхозкультур или ранжируя страницы в Гугле.
#русскиесупергерои