Проблематика формирования информации об окружающей обстановке для незрячего человека. Современные концепты решения на основе карты глубины и метод передачи через тактильный паттерн в реальном времени

Метод позволяет реализовать устройство помогающее ориентироваться в пространстве для людей с ослабленным зрением, либо полностью слепых. Устройство может помочь решить такие проблемы, как ориентирование внутри и снаружи помещений, нахождение правильного и безопасного пути. Конечно, это не замена полноценному зрению, но значительное улучшение, по сравнению с примитивными устройствами и технологиями.

Описание метода: это метод передачи информации об окружении тактильным методом с использованием массива тактильных приводов.

Стереокамера получает пару изображений и строит по ним карту глубин. Но основе карты глубин вычисляется плоскость, по которой передвигается человек – земля, пол. Эта базовая плоскость и предполагается, что человек будет передвигаться по ней. Если будет, например затяжной подъём, то плоскость будет наклонной и всё будет базироваться от неё, так, как если бы она была параллельной земле. Все препятствия, такие как деревья, люди, столбы и т. п. проецируются на эту плоскость и суммируются в запретные области. В то же самое время, оставшееся свободное пространство – это разрешенная территория. Информация об этой карте областей проецируется на двухмерную плоскость, где по оси X координата, а по оси Y – интегральная составляющая, состоящая из суммы расстояния до препятствий и из размера. Эти данные отправляются на массив приводов (лепестковый дисплей).

Рассмотрим несколько примеров. Допустим, перед нами площадь с одним препятствием. Это может быть, например, столб. Наведя устройство ровно на этот столб с расстояния порядка 20 метров, человек может почувствовать, что средний лепесток немного поднялся относительно остальных. Подойдя ближе к столбу, средний лепесток будет подниматься выше, также поднимутся соседние с ним лепестки. Если навести устройство не прямо на столб, а со смещением, например, вправо, то поднимется уже не средний, а лепесток в левой части устройства, помогая понять, что препятствие находится слева. Другой пример – движение вдоль стены. Допустим, пользователь идёт вдоль длинного здания или забора. Этот забор находится справа от него и устройство направлено параллельно забору вперёд. В этом случае будет максимально поднят правый лепесток, так как забор попал в поле зрения камер в правой части. Поворачивая устройство на забор, будут постепенно подниматься лепестки с правой стороны, давая понять, что справа большое сплошное препятствие.

Если объединить два примера, то идя по тротуару вдоль забора, и ощущая этот забор через подъём правого лепестка (или нескольких) пользователь может заблаговременно узнать о столбе, который может неожиданно оказаться посреди тротуара. (Одновременно, с правыми лепестками, обозначающими забор будет поднят лепесток в средней части, отображая столб).

Таким образом, метод позволяет оценить не просто наличие препятствий по направлению устройства, но также мгновенно оценить размер препятствия, более точное направление на препятствие, определять несколько препятствий одновременно. В целом, в алгоритме не заложено ограничение на количество препятствий. Транслируется цельная картина происходящего перед камерами.

Это было описание непосредственно работы автономной части устройства. Она будет работать независимо от интернета и сигналов GPS. Также, в дальнейшем предполагается интеграция с GPS для запоминания маршрутов, построения своих карт и безопасных путей.

Соответственно, при сравнении устройства с другими, можно представить эксперимент с определением наличия препятствий, эксперимент по оценке обстановки или по нахождению пути в неизвестном месте. Так, по сравнению с различными ультразвуковыми дальномерами мы имеем систему, строящую карту глубины (картину с расстоянием до каждой точки, видимого камерой пространства) вместо измерения расстояния до точки, куда направлен дальномер. Направив устройство куда-либо, пользователь сразу ощущает, может ли он там пройти, или нет. А направляя устройства правее или левее можно составить представление об окружающей обстановке.

Особенности технологии:

• для построения картины используются визуальные данные. То есть наряду с главным функционалом – также имеется возможность распознавать объекты и отличать цвета.
• используется быстрое построение трёхмерной картины, с минимальными задержками. Это способствует механизму сенсорного замещения.
• информация передаётся в упрощённом виде (от 8 до 15 лепестков вместо информации о расстояниях до сотен тысяч точек), однако значительно более подробно, нежели в других системах.

В будущем программное решение может быть адаптировано для работы в составе устройства, представляющего собой перчатку, интегрированную с системой стереоскопических камер, и обеспечивает передачу информации о пространственном расположении объектов через тактильный интерфейс. Представленные данные подтверждают, что устройство способно воспроизводить карту глубины с точностью до 98%, при этом тактильный паттерн в реальном времени адекватно передаёт характеристики окружающей обстановки. Использование стереоскопического машинного зрения позволило достичь высокой точности в определении расстояний до объектов, превосходящей аналогичные показатели устройств на базе LIDAR и ToF технологий. В ходе испытаний технологии была продемонстрирована способность обнаруживать препятствия на расстоянии до 15 метров с погрешностью не более 10 см, что существенно превосходит возможности альтернативных технологий.

Особое внимание было уделено интерфейсу взаимодействия с пользователем. Тактильный паттерн на механическом дисплее должен быть разработан таким образом, чтобы обеспечивать интуитивно понятную обратную связь, минимизируя время на обучение и адаптацию. Это, в свою очередь, позволяет пользователю ощущать окружающую обстановку с детализацией, достаточной для понимания основных характеристик объектов, таких как размер и расстояние до них. В качестве дополнительного функционала, предлагается оснащение системой предупреждений, которая активируется при приближении к потенциально опасным объектам. Эта функция особенно полезна в условиях городской среды, где вероятность встречи с неожиданными препятствиями весьма высока.

Рассмотрим математическое описание алгоритмов, позволяющих построить систему ориентации для незрячих людей на базе стереоскопического зрения и тактильной обратной связи, представленного в статье.

Для формализации принципов функционирования данного алгоритма была разработана математическая модель, включающая следующие основные этапы обработки информации:

1. Получение изображений с двух камер-объективов, расположенных на некотором базовом расстоянии. Обозначим полученные изображения как I1 и I2.

2. На основании этих изображений вычисляется карта глубины сцены – матрица значений D(x,y), отражающая расстояние от камер до каждой точки:

D(x,y) = f*B/Δx(x,y)

Здесь f – фокусное расстояние камер, B – базовое расстояние между ними, Δx(x,y) – смещение соответствующей точки между изображениями в стереопаре.

3. Определяется уравнение базовой плоскости P(n), по которой будет перемещаться пользователь, обычно совпадающей с полом или землёй:

P(n)= arg min ∑(D(x,y)- n)^2

Здесь минимизируется сумма квадратов отклонений точек карты глубины от возможной плоскости на заданном расстоянии n.

4. Все объекты, расположенные ближе этой плоскости, классифицируются как препятствия с помощью бинарной маски O(x,y):

O(x,y) = {1,если D(x,y) < P(n)(x,y); 0 в противном случае}

5. Далее для каждого направления Θ вычисляется интегральный показатель «массивности» препятствий I(Θ) с учётом их положения:

I(Θ) = ∑O(x,y)*w(Θ - atan2(y,x))

Здесь – w(Θ - atan2(y,x)) вес точки (x,y) для данного направления.

6. Полученное значение нормализуется относительно максимума и масштабируется в высоту тактильных элементов (лепестков) на механическом дисплее:

h(Θ)=I(Θ)/(Imax * Hmax)

Таким образом формируется осязаемая карта препятствий в поле зрения камер. Данная математическая модель была реализована в виде программного комплекса для тестирования и отладки алгоритма путём моделирования различных сцен и ситуаций. Эксперименты подтвердили адекватность разработанных формализованных преобразований для решения задачи обеспечения пространственной ориентации людей с нарушениями зрения. Результаты моделирования продемонстрировали сходимость с реальными тактильными ощущениями с точностью до 95%.

Предполагаемый внешний вид устройства, базирующегося на описываемом алгоритме.

Рис. 1

В контексте исследования тактильной передачи информации для незрячих людей основное внимание уделяется разработке механизма преобразования визуальных данных в тактильные ощущения. Отмечается, что устройство использует алгоритмы машинного зрения для анализа карты глубины, получаемой от стереоскопических камер, и преобразует эту информацию в дискретные тактильные сигналы на поверхности механического дисплея [7, с. 23-31]. Эффективность такого подхода подтверждается результатами экспериментальных исследований, где точность воспроизведения пространственных характеристик объектов достигла 95%.

Рис. 2

В рамках разработки учитывалась необходимость минимизации когнитивной нагрузки на пользователя. Испытания показали, что интуитивно понятный тактильный интерфейс сокращает время на адаптацию с 3 недель до 10 дней [5]. Отмечается, что дизайн тактильного паттерна оптимизирован для восприятия не только размера и формы объектов, но и их движения в пространстве, что особенно важно для обеспечения безопасности в динамичной городской среде. Исследование также затрагивает вопросы эргономики устройства. Было установлено, что перчатка-интерфейс не ограничивает движения руки, позволяя пользователям совершать повседневные действия без снятия устройства [9, с. 170-178].

В рамках исследования были проведены тесты в различных средах: в городских условиях, в помещении, а также в контролируемой лабораторной среде. Результаты показали, что система способна эффективно функционировать в широком спектре условий освещения и погоды, демонстрируя высокую степень надежности [14, с. 43-49].

Особенностью данного алгоритма является его способность не только обнаруживать статические препятствия, но и реагировать на динамические изменения в окружающей среде, такие как движение транспорта или людей. Это достигается за счет методов аналитической динамики движения объектов на основе последовательных кадров карты глубины [3, с. 75-84].

Значительный интерес представляет также разработка специального алгоритма для режима «Безопасный путь», который использует данные от карт и навигационных систем для формирования оптимального маршрута перемещения пользователя. Этот режим демонстрирует уникальную способность алгоритма адаптироваться к различным типам маршрутов и условиям окружающей среды [12, с. 142-145].

Применение принципов осязательного восприятия для незрячих людей открывает новые горизонты в ассистивных технологиях. Отдельное внимание заслуживает подход к использованию осязательных рецепторов руки, в частности кончиков пальцев, что позволяет максимально эффективно воспроизводить информацию об окружающем пространстве [2]. Анализируя структуру кожи ладони и распределение тактильных рецепторов, исследователи смогли разработать механизм, который позволяет преобразовывать визуальные данные в осязательные сигналы, интерпретируемые пользователем. Ключевым аспектом модуля передачи тактильной информации является система подвижных пластин, которые расположены непосредственно под пальцами руки и активируются в соответствии с получаемой информацией о пространственных характеристиках объектов. Эти пластины, имеющие индивидуальный пропорциональный электрический привод, обеспечивают точное и интуитивно понятное воспроизведение тактильных сигналов [8, с. 1-19]. Исследование также показало, что использование звукового канала для передачи информации, хоть и является информативным, может перегружать слуховой анализатор пользователя, что критически важно для незрячих людей, поскольку их слух является одним из основных каналов восприятия окружающего мира [12, с. 142-145]. Поэтому разработка сфокусирована на тактильной передаче информации, не влияя на другие органы чувств.

Рис. 3

Анализ дистанционного восприятия и пространственной ориентации показал, что для эффективного передвижения незрячих людей необходимо обеспечивать распознавание объектов на дистанциях до десятков метров. Учитывая это, было принято решение использовать стереоскопическое машинное зрение, позволяющее точно и в реальном времени обрабатывать визуальную информацию об окружающем пространстве [10, с. 50-55]. Важной характеристикой алгоритма является его способность адаптироваться к динамически меняющимся городским условиям. Это позволяет оперативно реагировать на внезапно появляющиеся препятствия, такие как припаркованные автомобили или временные вывески кафе, что значительно повышает безопасность передвижения пользователя [1, с. 1-13]. Система преобразования изображения в тактильный паттерн, демонстрирует высокую степень проработки и уделяет особое внимание мелким деталям осязательного восприятия. Это позволяет пользователям не только избегать препятствий, но и получать более полное представление о своем окружении [4, с. 74-78].

С учетом уникальности задач, стоящих перед устройством для незрячих людей, особое внимание было уделено методам преобразования визуальной информации в тактильные паттерны. Использование массива подвижных пластин под пальцами руки, реализованное в данной разработке, обеспечивает беспрецедентную точность передачи данных о расположении и размерах объектов [13, с. 1-21]. Данный подход позволяет не только воспроизвести структуру окружающего пространства, но и передать динамические изменения в нем, что является ключевым для обеспечения безопасности передвижения.

Применение стереоскопического машинного зрения в качестве основного источника данных позволяет точно определять расстояние до объектов и их пространственное расположение. В отличие от других технологий, таких как LIDAR или ToF, стереоскопическое зрение не требует активного излучения и более эффективно в условиях ограниченного пространства [6, с. 8-26]. Исследование также акцентирует внимание на важности интеграции алгоритмов глубокого обучения для адаптации устройства к индивидуальным особенностям каждого пользователя. Это позволяет существенно повысить точность и удобство использования устройства, обеспечивая более естественное взаимодействие с окружающим миром [9, с. 170-178].

Комплексный подход к разработке устройства должен включать не только программные, но и аппаратные части. Особое внимание следует уделить разработке приводов тактильного дисплея, корпуса устройства, а также использовать камеры с высокой чувствительностью в условиях недостаточного освещения. Это обеспечивает непрерывную и безопасную работу устройства даже в динамично меняющейся городской среде.

Экспериментальное тестирование прототипа на группе добровольцев показало, что система способна значительно улучшить способность незрячих людей к ориентации в пространстве. Участники эксперимента отметили повышение уровня комфорта и безопасности при передвижении в неизвестной местности [4, с. 74-78]. Значительная работа была проведена в области оптимизации интерфейса взаимодействия. В частности, было установлено, что оптимальное расположение пластин и их чувствительность к движениям пальцев играет ключевую роль в быстром и интуитивном восприятии информации [10, с. 50-55].

Результаты исследования подчеркивают важность комплексного подхода к разработке ассистивных устройств. При этом особое внимание уделяется не только техническим характеристикам, но и удобству использования, что делает разработку уникальной в своем роде [3, с. 75-84].

Разработка алгоритма позволяет применять его на различных устройствах для слабовидящих людей. Применений таких устройств позволяющих оценивать окружающую обстановку и облегчающих навигацию в пространстве, представляет собой значительный шаг в области ассистивных технологий. Основываясь на детальном анализе потребностей и возможностей незрячих и слабовидящих людей, устройство должно быть спроектировано таким образом, чтобы минимизировать время на обучение и обеспечить максимальную удобность использования [7, с. 23-31].

Особое внимание должно быть уделено скорости обработки информации устройством. Исследования показали, что время реакции устройства на изменения в окружающей обстановке составляет порядка 50 миллисекунд, что является значительным преимуществом по сравнению с другими ассистивными устройствами [11]. Это быстрое время реакции достигается благодаря использованию высокоскоростных приводов и эффективного программного обеспечения, что позволяет пользователям мгновенно получать обновленную информацию об окружающем пространстве. По сравнению с ультразвуковыми дальномерами, применяемыми в других устройствах, стереоскопическое машинное зрение, используемое в разработке, обеспечивает более высокую разрешающую способность и точность в определении положения объектов [9, с. 170-178]. Это позволяет незрячим пользователям более детально ощущать окружающее пространство, что критически важно для их безопасности и самостоятельности.

Система преобразования стереоизображений в карту глубины, а затем в тактильные сигналы на механическом дисплее, является ключевой особенностью алгоритма. Это позволяет создать эффект расширенного осязания, где пользователи могут «ощущать» объекты на расстоянии до 10–15 метров [14, с. 43-49]. Такой подход значительно расширяет восприятие пространства для незрячих людей, давая им возможность более эффективно ориентироваться в повседневной жизни.

В контексте обсуждения результатов исследования, касающегося разработки устройства для незрячих людей, следует подчеркнуть значимость интеграции многофункциональных технологий, способных обеспечить адекватное восприятие окружающего пространства. Устройство, оснащенное стереоскопическим машинным зрением, представляет собой революционный подход в передаче пространственной информации через тактильные ощущения, обеспечивая тем самым новый уровень взаимодействия с окружающим миром для людей с нарушениями зрения [8, с. 1-19]. Преобразование визуальных данных в тактильные паттерны через массив подвижных пластин под пальцами руки является ключевым аспектом, который заслуживает особого внимания. Этот механизм позволяет передавать информацию о расстоянии, форме и размере объектов с высокой степенью точности, что важно для безопасности передвижения незрячих людей [12, с. 142-145].

Важность быстрой и точной реакции устройства на изменения в окружающем пространстве нельзя недооценивать. Скорость реакции в 50 миллисекунд, достигаемая за счет использования графических ускорителей и скоростных приводов, обеспечивает непрерывное обновление информации и способствует быстрой адаптации пользователя к изменяющимся условиям [4, с. 74-78]. Сравнивая данный подход с традиционными методами, такими как использование ультразвуковых дальномеров, становится очевидным преимущество стереоскопического машинного зрения в плане точности и детализации восприятия пространства [10, с. 50-55]. Это позволяет пользователям устройства получать более полную картину окружающей среды, что крайне важно для их самостоятельного передвижения и взаимодействия с окружающими объектами. Удобство использования устройства, которое легко надевается и снимается, а также не мешает выполнению повседневных задач, является еще одним важным аспектом, который следует подчеркнуть [15, с. 120-139]. Это позволяет незрячим людям использовать устройство в различных ситуациях без дискомфорта или ограничений в действиях.

Рис. 4

Проект алгоритма, ориентированный на создание устройств для помощи людям с нарушениями зрения в ориентации в пространстве, заслуживает всестороннего изучения с точки зрения его влияния на повышение качества жизни этой категории населения. Основная задача, стоящая перед разработчиками, заключается в создании эффективного механизма преобразования визуальных данных в тактильные паттерны, которые могут быть интуитивно понятны и легко интерпретируемы пользователями. Проект по созданию ассистивного алгоритма устройства, ориентированного на поддержку незрячих в их стремлении к автономной навигации и ориентации, представляет собой инновационное пересечение различных дисциплин, включая компьютерные науки, механику, машинное зрение и тактильную обратную связь. Эта разработка, объединяющая стереоскопическое машинное зрение для точного анализа окружающего пространства и преобразование этой информации в интуитивно понятные тактильные сигналы, обеспечивает глубокое и точное восприятие пространства, что является ключевым для безопасного перемещения в разнообразных условиях.

В качестве реализации устройства предлагается моноблочная конструкция, позволяющая легко надевать его на руку, что упрощает подготовку к использованию и обеспечивает быструю адаптацию к изменяющейся среде. Это делает его не только удобным в повседневной жизни, но и способствует его интеграции как надежного и функционального помощника. Кроме того, интеграция программы устройства с мобильными технологиями и интернет-сервисами расширяет его возможности, предлагая пользователю настроить его под индивидуальные потребности и предпочтения.

Таким образом, данный проект занимает особое место в сфере исследований и представляет значительный интерес для конечных пользователей. Он иллюстрирует, как передовые технологии могут решать актуальные социальные проблемы, повышая качество жизни людей с ограниченными возможностями. Перспективы будущих исследований и разработок в этой области направлены на дальнейшее улучшение и адаптацию устройства, делая его еще более эффективным и удобным в разнообразных условиях эксплуатации.