Почути і знищити: як штучний інтелект допомагає збивати крилаті ракети в українському небі
Інтерв'ю з учасниками AI-стартапу Zvook, що розробляє радіолокаційні системи для виявлення ворожих ракет та дронів.
З початку великої війни росіяни випустили по українській території понад 4700 крилатих ракет. Ворожа зброя вражає не лише критичну інфраструктуру України, але й житлові будинки, школи, дитячі садочки.
Життя багатьох мирних жителів обірвалося саме через авіа- та ракетні удари. Останній масштабний обстріл території України стався 23 листопада 2022 року.
Під час масованого обстрілу 15 листопада українська ППО збила понад 70 з 90 крилатих ракет та всі 10 випущених "шахедів". Щоб зробити українське небо вільним від ворожих ракет, сили ППО посилюють засоби протиповітряної оборони та створюють комплекси, що складатимуться з декількох сучасних систем.
Чим масштабніший є захисний комплекс, чим більше він складає в собі систем виявлення, тим важче їх усіх знищити.
Однією з таких систем є Zvook – AI-стартап, що розробляє апаратно-програмний комплекс, здатний акустично виявляти крилаті ракети, гелікоптери, дрони та винищувачі ворога на малих та середніх висотах. Сьогодні на території України вже функціонує близько 40 комплексів Zvook.
Про те, як ця система захищає національну безпеку України ЕП розповіли учасники команди military-tech стартапу: Дмитро Бєлєвцов, учасник проєкту Zvook, CTO та Cofounder в Respeecher, Павло Цюпка, учасник проєкту, CEO в i3 Engineering та Мар'ян Сулим, учасник проєкту і військовослужбовець 125-тої бригади ТрО.
— Що підштовхнуло вас до створення проєкту і яка його основна мета?
— Павло: Звісно у перший же день війни у голові виникало лише одне питання – як допомогти Збройним силам України? В телеграм чатах у той час було багато моторошних відео з польотами крилатих ракет.
Тоді я знав, що в нас існує система ППО, але був обізнаний і у сфері військових технологій. Розумів, що на маленьких висотах самі ракети складно виявити за допомогою радіолокаційних систем. Можна зафіксувати пуск, з винищувача прослідкувати, куди ракета летить, але зробити перехоплення фактично неможливо.
Для виявлення ворожих повітряних цілей можна поставити тисячі людей по всій території України, які будуть фіксувати переміщення ракет і передавати інформацію, але це погана ідея. Ми зрозуміли, що краще розробити автоматизовану систему, яка виконуватиме ту ж саму функцію – повідомляти силам ППО про проліт і місцеперебування ракети саме в цю мить, у певній локації.
Так народилася ідея проєкту. Zvook – це апаратно-програмний комплекс, що акустично виявляє крилаті ракети, гелікоптери, дрони та винищувачі ворога на малих та середніх висотах. В основі лежить технологія машинного навчання (ML), що розпізнає звуки двигунів ворожих повітряних цілей.
Наразі на території України вже функціонує близько 40 комплексів Zvook.
— Хто складає команду проєкту Zvook?
— Павло: До нас доєдналися провідні українські спеціалісти зі сфери IT, телекому, а також військові.
Львівська обласна військова адміністрація, зокрема заступник голови Олександр Кулепін, протягом 30 хвилин після нашого звернення зібрали представників мобільних операторів та організували роботу з ними. Львівська ОВА й дотепер сприяє розвитку проєкту.
Команда компанії "Київстар" також оперативно відгукнулася на звернення та вирушила з нами в першу подорож країною. Разом ми встановили перші системи Zvook. Також спеціалісти "Київстар" забезпечили нас цілодобовою підтримкою під час позаштатних ситуацій.
Важливо, що проліт крилатої ракети був зафіксований вже через 4 години після встановлення комплексу Zvook й ми сповістили відповідні військові структури.
Також безсонні ночі з нами ділили інженери компаній i3 Engineering та GlobalLogic. "Украерорух" допоміг у плануванні мережі і презентацією у військових структурах.
Модель штучного інтелекту розробляли інженери стартапу Respeecher: Володимир Сидорський (тімлід ML-команди) та Валерій Заблоцький-Дроган (звукоінженер, дата інженер).
Команда Label Your Data допомагала з ручною розміткою сотень годин даних, що є одним з ключових компонентів успіху ML алгоритмів, які застосовуються в системі Zvook.
Команда 125-тої обр ТрО розробляла, тестувала і встановлювала станції детекції на вежах мобільного зв'язку оператора "Київстар".
Мар’ян: На самому початку Павло потребував кваліфікованих спеціалістів, які б могли реалізувати ідеї у виробництві станцій детекції, розгортати та підтримувати їх мережу. Він звернувся до командування 125-ої обр ТрО і отримав повну підтримку.
Командування організувало підбір військовослужбовців, які у цивільному житті мали досвід програмної розробки та конструювання, забезпечені умови для їх дієвої участі у проєкті Zvook. Наразі від бригади залучено 5 військовослужбовців, це командир Артур Горбенко, Едуард Лучук, я (Мар’ян Сулим), Максим Руденко та Ілля Павлюк.
Співпраця з нашою бригадою полегшила комунікацію проєкту по військових лініях. Став у нагоді досвід військових, а також розуміння специфіки організації протиповітряної оборони міст та важливих інфраструктурних об’єктів України.
– Як виглядає цей проєкт зараз?
Павло: Зараз в нас функціонує два підрозділи – hardware- і software-розробка.
Hardware-продукт (залізо) – це система, що фізично розміщена в певній локації на території України. За залізо в нас відповідають Мар’ян та Ілля. Мар’ян координує команду, вигадує різні удосконалення, а Ілля – майстер на всі руки, якими він і створює комплекти автоматизованого слухача.
Основна задача полягає в отриманні звуку зі спеціального пристрою, фокусування його за допомогою дзеркала. Після цього ми підсилюємо цей звук і передаємо його далі на обробку всередині захищеної мережі передачі даних.
Єдиного центру обробки даних немає, ними можуть бути багато вузлів, що виключає можливість знищення центру, якби він був один. Таку мережу надзвичайно важко знищити.
Для розпізнавання записаного сигналу приходить на допомогу команда Дмитра, вона працює над над ML-частиною. Також Дмитро допомагає з просуванням продукту.
Решту програмного забезпечення розробляє команда Максима Руденка із 125-ої обр ТрО. Він координує волонтерів, які пишуть код. Максим сам є програмістом з багаторічним досвідом, співзасновником IT-компанії.
Дмитро: Насправді в нас немає чіткої ієрархії на цьому етапі. Задач багато, їх підхоплюють різні учасники команди. Ми розуміємо, що важливою складовою є не тільки розробка, але й комунікація, Bizdev, та маркетинг. А саме – пошук стейкхоледрів, спілкування з військовими, потенційними замовниками. Цю частину процесів загалом закривають Мар’ян та Павло.
Зараз ми збираємо команду, що буде займатися операційними процесами та побудовою, власне, компанії. Наразі Zvook знаходиться на ранньому етапі розвитку, без глибокої структури.
– З якими основними проблемами радіолокаційного виявлення цілей противника зараз доводиться стикатися? Що змінилося з початку війни?
Павло: З перших днів війни в нас було дуже мало інформації про самі крилаті ракети, що завдавали ударів по українській інфраструктурі.
З того часу відбулися суттєві зміни. Раніше ми не знали, якими маршрутами вони літають. Зараз ми можемо приблизно спрогнозувати маршрут польоту. У взаємодії з ППО покриваємо ті зони, де є найбільша потреба.
Окрім цього, на початку війни радіолокаційна мережа в Україні була побудована інакше, ніж тепер. На сьогодні основні точки проходження ракети фіксують радіолокатори. ППО бачить значно більше.
Система Zvook робить дорозвідку ворожих повітряних цілей по "мертвим зонам". Звісно, покрити всю Україну радіолокаторами – неможливо, тому ми розробляємо нові системи, щоб закривати також ті зони, де радіолокаторів ще немає.
Система доповнює супровід за повітряними цілями в певних зонах, що надзвичайно важливо для прийняття правильних рішень щодо протидії ворожим повітряним цілям.
Дмитро: Важливо відстежувати якомога більший відсоток шляху, тому що таким чином ми робимо більше спроб перехоплення та збиття. Так в нас зростають шанси знищити ракету.
– Розкажіть про технічну архітектуру комплексу. Яка технологія лежить в основі системи?
Дмитро: В основу системи Zvook закладено машинне навчання. Завдяки ML Zvook може виявляти ворожі повітряні об’єкти.
Ще з 2006 року ML-технологія спричинила революцію у сфері обробки зображень. Завдяки їй машини отримали майже людські здібності аналітики даних. Раом з тим машинне навчання здатне оброблювати набагато більші масиви інформації, ніж людина. Що важливо, нейронні мережі здатні не тільки аналізувати ці данні, але й навчатися на помилках й удосконалювати свій досвід.
Історично нейронна мережа мала справу із виявленням об’єктів на зображеннях. Так само звук можна ототожнити із зображенням, що буде зрозуміло для системи. Так почав розвиватися аудіонапрямок.
Щодо Zvook. В нас є аудіострім, в якому існують певні звукові об’єкти – в часі, а не в просторі. Таких об’єктів – дуже багато. Це вітер, шум дороги, маленькі мушки, голоси інженерів, мекання корів, бензопили, які валять ліс. На ці звуки припадає 99,9%. При цьому ми відокремлюємо дуже маленький відсоток (0,1% часу) тих об'єктів, що нам дійсно цікаві – власне, звуки, з якими рухаються ворожі повітряні цілі.
Задача алгоритму – виявити цю ціль серед тієї величезної кількості інших об’єктів і сповістити про неї користувача станції.
Щоб досягти потрібного результату, ми постійно тренуємо мережу і забезпечуємо її даними. Найвагоміша потреба ML-алгоритму полягає в її доступі до правильних даних у необхідних кількостях. Декілька станцій вже було встановлено, коли ми приєдналися до Zvook, тому мали з чим працювати.
– З якими проблемами вам довелося стикатися у процесі розробки? Як ви з ними ладнали?
Дмитро: Спершу ми тренували мережу на записах з інтернету. Ми мали справу з тим, що називається domain shift – сценарієм, коли первинні характеристики відрізняються від того, що тобі треба отримати в кінцевому результаті.
Команда використовувала відео близьких прольотів ракет, зняті з телефону. Звук насправді відрізняється від далекого прольоту, до того ж мікрофон в телефоні не дає високої якості.
У процесі система почала покращуватися. Хлопці з 125-ої бригади, Мар’ян та Максим, дуже багато часу приділяли прослуховуванню та надавали постійний фідбек по результатам, необхідний для донавчання алгоритму.
Павло: Коли воно все запрацювало в лабораторії на столі, і ми, щасливі, повезли систему до бригади для монтажу на місцях, це був лише початок нашого шляху. Попереду на нас чекало багато різних хибних фіксацій, тож ми поверталися в лабораторію і ночами виправляли помилки.
Раніше ймовірність правильного виявлення дорівнювала близько 50%, що є недостатнім для перехоплення ворожих повітряних цілей. Зламний момент настав, коли у проєкт повірила Львівська ОВА, яка миттєво відгукнулася на наш запит співпраці, й зібрала усіх представників мобільних операторів.
В той самий день вони дали розпорядження на дозвіл встановлення наших пристроїв по місцевості на території України. Вже незабаром – протягом декількох днів – ми почали збирати дані справжніх прольотів ракет та передавати дані відповідним силам реагування.
Потім виникла інша проблема – ми тільки накопичували ці дані, але відчували складнощі з передачею їх силам реагування. Військові структури потребували більшої точності, бо паралельно розгортали свої комплекси спостереження. Ми розв'язали цю проблему, коли до нас приєдналася команда Дмитра. Процеси покращилися, і тепер ймовірність похибки прямує до нуля.
Дмитро: Похибки бувають двох родів. Перша похибка (false positive) – система позначає об’єкт, що не є ракетою, ворожою ціллю. Наприклад, ототожнює звук мотору авто зі звуком реактивного двигуна ракети. Похибка другого роду (false negative) – система розпізнає справжню ракету як безпечний об’єкт і каже, що все оk.
Важливо боротися з обома похибками. Ми виправляємо їх, навчаючи Zvook на власних помилках. Також ми залучили команду стартапу Label Your Data, яка займається лейблингом (маркуванням) даних для ШІ (штучного інтелекту). Хлопці допомогли з ручною розміткою даних, щоб наповнити датасет прикладами шуму, що відповідає справжнім звукам ракет.
Дані мають бути чіткими та відповідати дійсності, щоб запобігти непотрібній витраті ресурсів через помилкову детекцію ворожих повітряних цілей. Також, у разі частих помилок, до системи може виникнути недовіра.
Павло: Зараз українські структури перехоплення розвиваються і нехтувати цими похибками неможливо. Вимоги до системи – дуже високі. Раніше було припустимо з 5-ти похибок отримати 1 правильний результат, а зараз – вже ні. Сьогодні система працює у достовірному режимі, отже на неї можна покаладатися.
Мар’ян: Також на початку ми ступили в певне замкнуте коло. Щоб гарно розпізнавати ворожі об’єкти в нас мали бути відповідні зразки прольотів. Їх, насправді, дуже важко зібрати, тому що ти їх не розпізнаєш в автоматичному режимі і, відповідно – не можеш зберегти.
Щоб вирішити це, нам знадобилося 4 місяці часу. Тільки тоді в нас накопичилася достатня кількість записів цих прольотів і ми змогли запустити автоматичний режим.
Розробники намагаються передбачити помилки своїх систем, ще перебуваючи у своїй лабораторії. В нас часу на це не було. Ми робили все "на вчора". Коли в нас з’явилося готове рішення, станції почали одразу застосовувати на практиці, нас просили розширити мережу.
Тому ми не мали змоги сидіти в лабораторії і тестувати наш продукт. Були випадки, що тест був позитивний, а потім ми завозили станцію в поле, а вона не працювала. Доводилося їхати назад, виправляти, а це 300 км шляху. Звісно, це демотивувало нас. Але ненадовго.
– Чи вивчали ви якісь аналоги системи Zvook під час розробки комплексу?
Павло: Насправді, ми вивчили багато аналогів системи, починаючи з кейсів часів Першої та Другої Світових війн.
Коли ще радіолокатори були неефективні та не було автоматизованих систем, повітряні загрози прослуховували люди – відповідні військові спеціалісти. Вони відслуховували перші ракети з реактивними двигунами (зокрема, гітлерівські ракети Фау-1 та Фау-2) на звукових постах.
Слухали за допомогою спеціальних дзеркал, які відбивали звук. На пості чергували люди з дуже гарним слухом. А Zvook – це діджитальна версія такого посту.
Мар’ян (сміється, показує фото): Ось такі девайси часів початку-середини XX століття. Цікаво, що під час Другої Світової, коли німці запускали ракети Фау-2 по Лондону, використовувалися самі такі системи, як на зображеннях.
Працюючи над Zvook, мені доводилося вивчати спеціалізовану літературу з інжинірингу подібних систем та, закрема, про різні підходи в аудіороздвідці.
Система складається з дзеркала, яке підсилює сигнал та концентрує його в певній точці фокусу, де розміщений мікрофон. Таким чином мікрофон може чути більше, ніж це було б без дзеркала. Останнє є необхідним елементом станції, воно не коштує багато.
Також в комплексі, про який згадується в спеціалізованій літературі, використовуються так звані мікрофонні решітки. Ще одна окрема команда львівських волонтерів розробляє для нас таке рішення. За допомогою нього комплекс зможе визначати кутові координати до повітряної цілі.
Насправді, розробляючи Zvook, ми нічого нового не винайшли. Натомість в потрібний час зібрали докупи усі наявні кейси, які мало людство за всю свою історію. За допомогою Дмитра ми доповнили систему штучним інтелектом, бо чути – мало, треба це робити автоматично.
Павло: Так, треба або двадцять чуваків з філармонії, або одного Дмитра. (сміється)
Дмитро: Унікальність Zvook полягає саме у виявленні крилатих ракет. Росія використовує ці ракети у величезній кількості. Тому я не думаю, що десь у світі є подібні мережі акустичних сенсорів, які є настільки чутливі для цього виду зброї.
Навіть, якби у війну проти України вступила інша країна, Zvook здатен був би виявити й ці, неросійські, ворожі повітряні цілі. Крилаті ракети побудовані за схожим принципом – в кожної є реактивний двигун.
– Скільки коштує розробка систем Zvook?
Мар’ян: В розробці маємо три складові: програмне забезпечення, модель ШІ і саме залізо. Hardware ми розроблюємо самі, без залучення підрядників. Тому роботу над залізом можна оцінювати в кількості годин залучення інженерів.
Дмитро: Zvook наразі не є комерційним продуктом. В такому випадку в нас немає unit-економіки. Для військових системи Zvook – безкоштовні. А будуємо станції ми за свої кошти, частково – за донати. Ми плануємо масштабувати виробництво за державні кошти.
– Якби по Україні було встановлено тисяча систем Zvook, наскільки б надійним був захист?
Павло: Жодна система не може дати стовідсоткової гарантії. Але кожна доповнює одна одну. Дуже важливо мати гарну систему ППО – це 90% усього успіху знищення ворожих повітряних цілей. А ті 10%, що залишаються, мають компенсуватися іншими технологіями, зокрема, такими як Zvook.
Мар’ян: Найбільш доцільним способом розгортання комплексу є рубіжний, коли станції детекції встановлюються лініями уздовж державного кордону та в глибині території України. Збільшення дальності виявлення дає можливість встановлювати станції із меншою щільністю, що економить ресурси на виготовлення і логістику.
Виходячи із поточних технічних характеристик комплексу і орієнтовної довжини рубежів розгортання, потрібна кількість станції детекції становить близько 600 одиниць.
Звісно, до кожного засобу захисту є якась протидія. Чим більшим є захисний комплекс, чим більше він складає в собі систем виявлення, тим важче їх усіх знищити. Радіолокаційні станції є мішенню №1. Їх можна вивести з ладу, наводячи ракети на джерело радіовипромінювання.
Перевага Zvook у тому, що система є пасивною, вона нічого не випромінює. Можна, звісно, виявити локацію станції, проте кожна війна має економічну складову – засіб знищення повинен бути хоча б трішки дешевшим, ніж твоя ціль ураження. В іншому випадку ти залишишся без ресурсів.
Тому воювати із системою Zvook – нераціонально.
Дмитро: Серед основних методів боротьби проти акустичних та контрбатарейних систем є так звані "папуги". Це створення додаткового шуму, який відволікає противника від цілі. Наприклад, коли російський снайпер стріляє, він може попросити колег, щоб вони також вистрілили в повітря в різних точках.
Однак станції знаходяться на території України і рашисти тут не можуть використовувати цей метод.
– З якими нестандартними ситуаціями ви стикалися під час роботи над Zvook?
Мар’ян: Найкумедніші випадки траплялися під час сценарію false positive (система позначає об’єкт, що не є ракетою, ворожою ціллю).
Дмитро тренував модель на пошук крилатих ракет, і все працювало добре, але було багато false positive сценаріїв, коли система шукала схожі патерни, щоб видати вірний результат. Ці патерни трапляються у природі також.
Зокрема, на початковій стадії Zvook ототожнював мичання корів з ворожою ціллю. Модель відсікала вітер, автомобілі, але корови позначился як загроза. Проблема у тому, що ми змогли знайти дуже мало записів цього мекання, і тренувати модель на них не виходило. Тож знадобився десь з місяць, щоб тих корів позбутися. А так, були ракети і корови. (сміється)
Павло: А одного разу повз наші пристрої пролетів хрущ, чи-то джміль, й усі посхоплювалися з місць від того звуку. Бо напружені ж сиділи. А ми як раз за день до того встановили нові дзеркала, що забезпечували дуже якісний звуковий ефір.
Якщо порівняти наші ранні версії дзеркал з тим, що ми маємо зараз, то це як Full HD та 4K.
Мар’ян: Насправді, в той час всі були у відчаї. Не існувало варіантів, як протидіяти цим російським ракетам. Ми мали рішення – Zvook, і систему почали використовувати навіть з умовою, що вона може помилятися, бо не було іншого шляху.
Без цього практичного досвіду нам було б дуже важко її розвивати в подальшому. Завдяки цьому, зараз в нас вже не виникають false positive сценарії.
– Які маєте пріоритети з розвитку проєкту на найближчий час?
Мар’ян: Ми бачимо багато цікавих напрямів удосконалення з технічного боку. Одним із найбільш пріоритетних для нас є визначення напрямку на виявлену ціль і, відповідно, її координат, курсу і швидкості руху.
Це було б значним кроком для видачі цілевказання підрозділам протиповітряної оборони на вогневе ураження цілей противника. Наша команда вже розробила концепцію акустичного визначення азимуту (напрямку) цілі та провела експеримент, який підтвердив її правильність.
Дмитро: Нашим першим і основним пріоритетом є застосування системи Zvook для захисту національної безпеки. Наразі ми плануємо масштабувати проєкт, вести ще більше комунікації з військовими щодо Zvook.
Також розглядаємо комерційний напрямок розвитку проєкту і залучення інвестицій. В якомусь класному майбутньому хочемо продавати наш продукт на глобальний ринок.