Женя и Дима познакомились еще во втором классе школы № 2. Потом судьба их развела, и снова они встретились уже студентами факультета физики протвинского филиала университета «Дубна». Завязалась тесная дружба. Однажды Женя катался на велосипеде по окрестностям и увидел дельтапланеристов, паривших над полем. Он загорелся идеей научиться летать, увлек Диму. Друзья пришли на аэродром «Дракино», где базируется дельтаклуб МИИТ.
Обучение на первых порах проходило успешно, и ребятам разрешили взлетать на небольшую высоту. Чтобы поднять дельтаплан в небо, его затягивают с помощью лебедки и троса, зажим замка от которого пилот держит во рту. Набрав высоту, пилот должен отпустить зажим, чтобы свободно парить. Ученикам полагалось сделать пару кругов над полем и сесть.
В тот день, 7 ноября 2010 года, что-то не заладилось с самого начала, как вспоминают участники событий. Полеты начали поздно, ближе к вечеру. Дима лететь отказался, оценив обстановку и прислушавшись к собственным ощущениям. А Женя решил попробовать. Поднявшись на высоту 15 метров, он по какой-то причине не отпустил зажим, и дельтаплан потянуло вниз. Падение произошло стремительно, за секунды. Никто не успел среагировать. Сильнейший удар о землю почти не оставил шансов. Но юноша выжил, оставшись полным инвалидом. Он не мог говорить, двигаться, самостоятельно что-либо делать, были сомнения в том, что он сохранил память и восприятие действительности. Врачи оценили его состояние как вегетативное. Но семья верила, что его можно поднять на ноги. Собрали, в том числе с помощью краудфандинга, деньги на лечение во Франции и Израиле. Благотворительные фонды помогли приобрести необходимые средства реабилитации. Затем Женя проходил лечение в реабилитационном центре в Москве. Постепенно удалось разработать элементарные навыки, немного левую руку.
Первая попытка: eye-tracker
После трагедии Дмитрий еще какое-то время занимался дельтапланеризмом. Определенные свойства характера, осмотрительность позволяли ему хорошо усваивать навыки управления аппаратом в воздухе. По отзывам членов клуба, впоследствии из него мог бы получиться отличный пилот или даже спортсмен.
— Потом я много ошибок стал допускать из-за волнения и решил, что безопаснее будет оставить этот спорт, — рассказывает Дмитрий.
Он продолжал учиться, освоил программирование, поступил в магистратуру МФТИ по специальности — физика высоких энергий. Однажды ему пришла в голову мысль написать компьютерную программу, чтобы наладить контакт с больным другом.
— Было замечено, что Женька, скорее всего, осознанно реагирует на происходящее. Почитал эпикриз. В его ранних версиях ставили диагноз «акинетический мутизм», говорилось, что больной способен общаться при помощи взгляда, — вспоминает Дмитрий.
Тогда он решил сделать прибор слежения за взглядом, по-английски его называют eye-tracker. На рынке существуют готовые решения, но они дорогие, поэтому Дима сделал прибор сам. Он смонтировал повязку для головы, на которой крепились веб-камера, инфракрасный фильтр и инфракрасная подсветка из светодиодов. Дело в том, что инфракрасный свет не слепит глаз, в нем четче виден зрачок, и камера лучше фиксирует направление взгляда. Программу для распознавания и слежения за зрачком он взял готовую. Он хотел ответить на вопрос, может ли Женя читать текст. Для этого нужно было показать ему текст и отслеживать в это время направление взгляда. Если его взгляд двигается по горизонтальным линиям, значит, он читает. Но для начала нужно было откалибровать устройство, то есть зафиксировать точки по краям экрана, по которым настраивается положение курсора. После калибровки курсор управлялся бы одним лишь взглядом. Кроме того, есть готовые программы для набора текста курсором.
Испытать устройство удалось только один раз, но без особого успеха.
— Провести калибровку не получилось, как и добиться какой-либо иной реакции, например, следить за пальцем или картинкой. Взгляд циклически прыгал в центр и потом плавно уходил в левый угол. Стало ясно, что даже с калибровкой не получится выделить осознанные движения от «шума». По какой-то причине Женька на контакт не шел. Возможно, сказалась утеря навыков. С другой стороны, одной попытки могло быть мало, — рассуждает Дмитрий.
К тому времени Женя уже несколько лет находился дома, без надлежащей реабилитации. Занималась с ним только мама. Из-за отсутствия денег семья не могла поместить его на лечение в специализированный центр. Большинство благотворительных фондов в помощи отказывало, поскольку специализировалось на помощи детям, а Женя уже взрослый. Пожертвования в интернете тоже собирались плохо.
Дмитрий придумал другой вариант eye-tracker’а — показать Жене видео со знакомыми людьми и следить за взглядом. Он смонтировал видеообращение друзей к нему. Сначала человек стоял справа, потом слева. Нужно было посмотреть, куда чаще будет падать взгляд испытуемого.
— Поняв, что он видит на экране, различает ли он то, что видит, можно было бы двигаться дальше.
Но этот вариант устройства так и не удалось протестировать.
Вторая попытка: анализ моргания
К тому времени у Димы родилась другая идея — сделать программу для анализа моргания глаз, чтобы выделить осознанные движения. Он написал софт на «Си++», который подсчитывал сумму пикселей в выделенной области. Если сумма больше некоторого числа, значит, камера зафиксировала зрачок, если меньше, то нет. Выставив минимальное время, в течение которого глаз закрыт, можно было отсеять рефлекторные закрытия века от намеренных.
— Есть программа-наборщик текста с помощью морганий. На экране выделяется блок букв, человек моргает, выбирая нужную букву. Так можно писать.
Сначала Дима проверил программу на знакомом, потом один раз испытал с Женей, но выделить осознанные моргания от случайных не получилось.
Третья попытка: движения руки
— Женя достаточно хорошо двигал пальцем, локтем. Левая сторона тела у него рабочая была, он мог немного двигаться. Когда его просили: «Женька, подвигай рукой», он это делал. Когда ему подносили гитару, он мог кистью дергать за струны, — говорит Дмитрий.
Идея состояла в том, чтобы отследить четко различимые движения, прикрепив на локоть и пальцы маркеры. Отслеживая маркеры с помощью камеры, можно было определять координаты. Дмитрий планировал предложить Жене набрать текст с помощью специальной технологии. При этом нужно было как-то отсеять тремор.
Он написал программу, но проверить ее в боевой обстановке не удалось по разным причинам. Пока работал над технологией, узнал, что то же самое можно делать проще, если собрать конструкцию из одного микроконтроллера и потенциометра, которая крепится в двух точках суставов. Точность такой системы выше, чем с маркерами.
— Есть компьютерные игры, в которых небольшим поворотом руки или пальца можно управлять действиями: бегущим человечком или лазерной космической пушкой. Хотелось посмотреть, получится ли у Жени сыграть.
Эту программу удалось протестировать тоже один раз, и результаты были немного лучше, но тут подошла пора завершать диплом в магистратуре, тестирование пришлось отложить, а 13 мая 2017 года Жени не стало.
После магистратуры Дмитрий поступил на работу в отдел экспериментальной физики в ИФВЭ. Сейчас он выбирает тему для будущей кандидатской диссертации, которая будет связана с изучением нового прибора, определяющего, какие элементарные частицы летят в мишень. Свое профессиональное будущее он связывает с наукой. А в качестве хобби выбрал фехтование.
