Комп'ютерний зір (computer vision, CV) є галуззю штучного інтелекту, яка вчить програми знаходити й розпізнавати об'єкти на зображеннях і відео. Камера дає лише масив чисел. Завдання CV полягає в тому, щоб перетворити ці числа на відповідь: що на кадрі, де саме і що з ним відбувається.
Нижче про те, як це працює, які задачі розв'язує комп'ютерний зір, де його вже використовують і як увійти в напрям, якщо ти пишеш код або працюєш із залізом.
Як комп'ютер «бачить» зображення
Для програми фото є таблицею чисел. Кольорове зображення 640×480 пікселів зберігається як масив 480×640×3: висота, ширина і три канали кольору. Кожне значення від 0 до 255 описує яскравість червоного, зеленого або синього в одній точці.
З цим масивом можна працювати двома способами.
Класичні алгоритми. Інженер сам описує правила: розмий шум, знайди краї, виділи контури, порахуй об'єкти. Цим займається бібліотека OpenCV. Такий підхід швидкий, передбачуваний і добре працює там, де умови стабільні: однакове освітлення, однаковий фон, однакові деталі на конвеєрі.
Нейромережі. Правила не пишуть вручну. Модель показують тисячі розмічених прикладів, і вона сама підбирає фільтри, які відрізняють один клас від іншого. Згорткова мережа (CNN) по суті робить те саме, що й класичний фільтр, тільки її ядра налаштовуються на даних. Сучасні детектори на кшталт YOLO та RT-DETR будуються на цьому принципі.
На практиці ці підходи поєднують. Нейромережа знаходить об'єкт, а класичний алгоритм уточнює його межі чи рахує розміри.
Які задачі розв'язує комп'ютерний зір
Основні задачі комп'ютерного зору: яке питання вирішує модель і приклад застосування
| Задача |
Питання, на яке відповідає модель |
Приклад |
| Класифікація |
Що на зображенні? |
здоровий листок чи уражений |
| Детекція об'єктів |
Що на кадрі і де саме? |
рамки навколо людей на вході до магазину |
| Сегментація |
Які саме пікселі належать об'єкту? |
точний контур пухлини на знімку |
| Трекінг |
Куди рухається об'єкт між кадрами? |
підрахунок машин, що перетнули лінію |
| Оцінка пози |
Як розташовані точки тіла? |
аналіз техніки вправи в фітнес-застосунку |
| OCR |
Який текст на зображенні? |
читання номерів накладних на складі |
Найчастіше в продуктах трапляються детекція і трекінг. Саме з них зазвичай починають навчання, бо результат видно одразу: рамка або з'являється на правильному місці, або ні.
Де використовують computer vision
Споживчі продукти. Фільтри, які накладають маски на обличчя, розумні камери, що відрізняють людину від кота, сканери документів у банківських застосунках. Частина таких продуктів створена в Україні: у програмі Computer Vision Beetroot Academy окремо розбирають кейси Looksery (згодом Snapchat), Reface, Ajax Systems і Petcube.
Промисловість. Контроль якості на лінії, де камера шукає подряпини й відколи швидше за людину. Підрахунок продукції, перевірка маркування, моніторинг безпеки на виробництві.
Агро. Виявлення хвороб рослин за фото листя, оцінка стану посівів з аерознімків, сортування врожаю.
Медицина. Допомога лікарю в аналізі рентгенівських і МРТ-знімків. Остаточне рішення тут ухвалює людина, а модель підсвічує ділянки, на які варто подивитися.
Робототехніка й dual-use. Автономні роботи, складські системи, аналіз аерофото і тепловізійних даних. Для інженера це ті самі алгоритми, тільки дані інші: кадр знято згори, об'єкти дрібні, а тепловізор дає одноканальне зображення замість кольорового.
Комп'ютерний зір, машинне навчання і AI: у чому різниця
Штучний інтелект є найширшим поняттям. Машинне навчання є його частиною: програми, які вчаться на даних замість прописаних правил. Комп'ютерний зір є прикладною областю, де машинне навчання застосовують до зображень і відео.
Звідси практичний висновок для кар'єри. CV Engineer зазвичай знає ML-основи, але глибоко працює з одним типом даних і з обмеженнями заліза, на якому модель має працювати. Детальніше про роль ми написали в статті Computer Vision Engineer: хто це і що робить.
Інструменти: OpenCV, PyTorch, YOLO, ONNX
Базовий набір, з яким працюють у більшості команд:
- Python як основна мова для експериментів і тренування
- OpenCV і NumPy для класичної обробки зображень
- PyTorch для нейромереж
- YOLO від Ultralytics для детекції, сегментації та трекінгу
- Roboflow або CVAT для розмітки даних
- ONNX, TensorRT, OpenVINO для запуску моделей на конкретному залізі
- C++ там, де важлива швидкість на пристрої
Для старту достатньо Python і Google Colab: GPU для тренування Google надає безкоштовно, тож власна відеокарта на першому етапі не потрібна.
Що потрібно, щоб почати вивчати комп'ютерний зір
Найкоротший шлях має той, хто вже програмує. Досвіду з machine learning для старту не треба. Вища математика теж не є обов'язковою умовою: щоб працювати з детекторами, вистачить розуміння масивів і матриць, а складніші речі засвоюються на практиці.
Типова послідовність виглядає так:
- Зображення як масив: канали, типи даних, колірні простори
- Класичні операції в OpenCV: фільтри, краї, контури
- Основи нейромереж і transfer learning
- Детекція з YOLO на готових моделях, потім на власних даних
- Метрики, аналіз помилок, друга ітерація тренування
- Експорт моделі та запуск на пристрої
Кожен із цих кроків ми розібрали окремо у наступних статтях.
