Уявити щоденні дії без можливості повноцінно бачити непросто, але саме з такими викликами стикаються тисячі людей у світі. Знайти потрібний предмет, зорієнтуватися у кімнаті чи відстежити напрямок руху – усе це може стати справжнім випробуванням. Саме тому нові технології зі штучним інтелектом дедалі частіше стають помічниками, які роблять життя доступнішим. Однією з таких інновацій є NaviSense — застосунок, розроблений дослідниками з Пенсільванського університету. Він уже отримав визнання на міжнародній конференції та привернув увагу завдяки своїй практичності та унікальному підходу.
Як виникла ідея створення NaviSense
NaviSense розробили як інструмент, що допомагає людям із порушеннями зору краще орієнтуватися у побуті. Команда дослідників прагнула створити рішення, яке не вимагатиме складних налаштувань і буде доступним будь-кому, хто має смартфон.
Застосунок працює у режимі реального часу та здатен розпізнавати об’єкти у просторі завдяки штучному інтелекту. Однією з ключових проблем попередніх технологій було те, що вони вимагали завантаження моделей об’єктів у пам’ять пристрою.
Це обмежувало швидкість роботи та значно ускладнювало експлуатацію. Дослідники вирішили уникнути цих недоліків, підключивши застосунок до зовнішнього сервера з потужними мовними та мультимодальними моделями.
Так NaviSense здатен аналізувати голосові запити та миттєво знаходити потрібні предмети без додаткових бібліотек. Ідея створення інструмента виникла після серії інтерв’ю з людьми, які мають порушення зору. Саме їхній досвід дозволив команді зрозуміти реальні виклики та сформувати потрібний функціонал.
Тож застосунок з самого початку орієнтований на реальні потреби, а не теоретичні припущення.
Як працює система та чому вона унікальна
NaviSense виділяється серед інших застосунків тим, що поєднує розпізнавання простору, голосове керування та інтелектуальні підказки.
Користувач дає голосову команду – наприклад, “знайди чашку” або “де вимикач”. Телефон починає сканувати простір камерою та відсіює всі зайві об’єкти. Якщо інформації недостатньо, система ставить уточнюючі запитання.
Такий підхід робить процес набагато точнішим і більш природним. Дослідники також додали інноваційну функцію “наведення руки”. Смартфон відстежує рух руки користувача та підказує, у якому напрямку її спрямувати, щоб доторкнутися саме до того предмета, який потрібен.
Це стало можливим завдяки мультимодальним моделям, що аналізують і простір, і рух одночасно. За словами учасників опитувань, такої функції їм найбільше бракувало, але раніше подібних рішень просто не існувало.
Тепер процес пошуку предметів стає швидшим і безпечнішим, а користувач отримує детальну і зрозумілу навігацію.
Практичні можливості NaviSense: що саме вміє застосунок
Ось головні функції системи, які роблять її корисною у повсякденному житті:
- миттєве розпізнавання об’єктів у кімнаті;
- голосові підказки та інтелектуальні уточнення;
- вібраційні сигнали для точнішої навігації;
- відстежування руху руки для фізичного наведення на предмет;
- робота без попередньо завантажених моделей;
- підтримка складних запитів, наприклад “знайди вузький предмет поряд із дверима”.
Кожна з цих функцій створює більш природну взаємодію між користувачем і смартфоном. Використання зовнішніх серверів робить застосунок максимально легким і швидким.
Завдяки штучному інтелекту система вчиться обробляти запити користувача і підлаштовується під його стиль спілкування. Технологія працює навіть тоді, коли у приміщенні багато об’єктів, що зазвичай ускладнює розпізнавання.
Особливу увагу команда приділила безпеці – користувач завжди отримує чіткі підказки, щоб уникати помилок. Тож NaviSense стає не просто програмою, а реальним асистентом у повсякденному житті.
Тестування та результати: що показали перші випробування
Перші випробування NaviSense провели у контрольованих умовах за участю 12 людей із порушеннями зору. Мета дослідження була простою – порівняти новий інструмент із двома найпопулярнішими комерційними застосунками.
Учасники виконували однакові завдання: знайти певний предмет, визначити його відстань або доторкнутися до нього без допомоги сторонніх осіб. Результати виявилися дуже показовими – NaviSense демонстрував швидшу реакцію та точніші підказки. Користувачі витрачали менше часу на пошук і рідше помилялися.
Технологія також отримала позитивні відгуки за інтуїтивність та простоту використання. Дослідники зазначають, що у майбутньому планують розширити тестування та залучити більшу кількість учасників.
Але навіть перші результати свідчать: NaviSense має потенціал стати одним із найважливіших інструментів доступності. Технологія демонструє, як штучний інтелект може змінювати якість життя без зайвих складнощів.
Це приклад того, як технології можуть вирішувати реальні соціальні виклики, а не бути просто експериментами у лабораторії. Застосунок показує, що доступність може бути сучасною, інтелектуальною та зручною. Коли штучний інтелект починає працювати в інтересах людей, які справді цього потребують, результат стає відчутним вже з перших днів використання. І, можливо, саме такі інструменти задають напрямок майбутньої цифрової інклюзії.
