Новий винахід: смартфон навчився читати по губах (ВІДЕО)

29.6.2021 в 18:27 Різне

Програма може розпізнавати кілька десятків фраз одразу та робить це з приблизно 90-відсотковою точністю

Про це йдеться на VICE, передає НАРАЗІ.МЕДІА.

Як це працює?

У статті видання наводиться один із прикладів використання програми. Пацієнт сидить на лікарняному ліжку, пов’язуючи шию з невеликим отвором для трихотомічної трубки, що постачає його киснем. 

Через нещодавню операцію чоловік, представлений у цьому рекламному відео, не може розмовляти. Тож лікар тримає смартфон і записує пацієнта, коли він вимовляє коротку фразу. Додаток під назвою SRAVI аналізує рухи губ і приблизно через дві секунди повертає свою інтерпретацію – “Мені потрібно всмоктування”.

Використання додатку SRAVI на практиці

Де цю програму можуть використовувати?

Це здається простою взаємодією, і в деяких аспектах SRAVI (програма для розпізнавання мови для людей із вадами голосу) все ще досить спрощена. Але додаток, створений ірландським стартапом Liopa, являє собою значний прорив у галузі розпізнавання візуального мовлення (VSR), який передбачає навчання ШІ читання губ без будь-якого аудіовходу. Ймовірно, це буде перший додаток для читання з губ, який можна придбати для загального користування.

Дослідники десятиліттями працювали над тим, щоб навчити комп’ютери читати з губ, але це виявилося складним завданням навіть завдяки досягненню систем глибокого навчання, які допомогли розв’язати значні проблеми. Дослідження зумовлене широким спектром можливих комерційних додатків – від інструментів спостереження до додатків безшумного спілкування та покращеної роботи віртуального помічника.

Liopa перебуває в процесі сертифікації SRAVI як медичного пристрою класу I в Європі, і компанія сподівається завершити сертифікацію до серпня, що дозволить їй розпочати продаж постачальникам медичних послуг.

Хоча їхні наміри щодо цієї технології не ясні, багато технічних гігантів також працюють над читанням з губ штучного інтелекту. Згідно з інтерв’ю та нещодавніх опублікованих досліджень, вчені, які пов’язані або працюють безпосередньо в Google, Huawei, Samsung та Sony, досліджують системи VSR і, здається, швидко роблять успіхи. Однак, компанії або не відповіли, або відмовились від інтерв’ю щодо цієї історії.

У міру того, як ШІ, що читає губи, стає актуальним комерційним продуктом, технологи та сторожі, що контролюють конфіденційність, дедалі більше стурбовані тим, як він розробляється та як його колись можна буде використовувати. Наприклад, SRAVI – це не єдиний додаток для читання з губ, над яким працює Liopa. Компанія також перебуває на другому етапі проєкту з британським агентством оборонних досліджень з розробки інструменту, який би дозволив правоохоронним органам здійснювати пошук за мовчазними кадрами відеоспостереження та визначати, коли люди вимовляють певні ключові слова. 

Наглядова компанія Motorola Solutions має патент на систему зчитування з губ, призначену для допомоги поліції. Skylark Labs, стартап, засновник якого пов’язаний з Агентством оборонних дослідницьких проєктів оборони США (DARPA), повідомив Motherboard, що його система зчитування з губ в цей час застосовується в приватних будинках та підконтрольній державі енергетичній компанії в Індії для виявлення нецензурних і образливих висловлювань.

Генеральний директор Liopa Ліам Маккуїлан заявив, що компанія, як мінімум, через рік не матиме системи, яка зможе задовільно читати з ключових слів мовчазні кадри відеоспостереження – проєкт, який фінансується британським органом оборони та безпеки. Також компанія врахувала можливість негативного впливу на конфіденційність. “Тут можуть бути занепокоєння, які насправді забороняють остаточне використання цієї технології. … Ми, звичайно, не ставимо Liopa на цей випадок використання, але він забезпечує фінансування “.

Раніше повідомлялося, що вчені придумали, як вбити COVID-19 менше ніж за секунду.

Популярні новини

Стрічка новин

Стрічка новин