Інженери Google використовували різні звуки, які видає людина, для використання смартфонів у діагностиці хвороб.
Інженери Google використовували звукові сигнали для визначення перших симптомів захворювання. Біоакустичну модель Health Acoustic Representations (HeAR) навчили на 300 млн зразків аудіо, включно з кашлем, нежитю і утрудненим диханням. Модель може розпізнавати ознаки таких захворювань як туберкульоз або хронічна обструктивна хвороба легень.
Google працює разом з індійським стартапом Salcit Technologies, який спеціалізується на респіраторній медицині, для впровадження цієї технології в смартфони. Технологія, за заявами представників компанії, дає змогу відстежувати і проводити скринінг груп високого ризику в регіонах з обмеженим доступом до дорогих діагностичних пристроїв.
Штучний інтелект Google навчався з використанням величезного набору даних із 300 мільйонів аудіокліпів, що включає звуки кашлю і дихання з усього світу. Ці звуки отримали із загальнодоступних матеріалів, не захищених авторським правом, таких як відеоролики YouTube і записи обстежень на туберкульоз у лікарнях Замбії.
Аналізуючи ледь помітні відмінності в характері кашлю, система штучного інтелекту може виявляти ранні ознаки туберкульозу, сприяючи ранньому втручанню та лікуванню. Розробники зазначають, що нейромережа не замінює лікарів, але допоможе проводити первинну діагностику у віддалених районах у бідних країнах, де немає можливості піти в медичний центр із рентгенівськими апаратами та складнішою технікою.
У Google зазначають, що модель буде відкрита для розробників і дослідників, щоб використовувати зібрані дані для діагностики інших захворювань.