Skip to content

KRM.MD

Latest commit

 

History

History
296 lines (219 loc) · 42.2 KB

KRM.MD

File metadata and controls

296 lines (219 loc) · 42.2 KB
Raw

Компьютерное зрение (Computer Vision)

Общая информация

Компетенции: DL-3, DL-3.1 (Б, С, П), DL-3.2 (Б, С, П), DL-3.3 (Б, С)

Цель курса

Освоение основных инструментов и принципов решения задач компьютерного зрения

Задачи курса

  • Освоение основ классических алгоритмов работы с компьютерным зрением
  • Освоение основных архитектур сверточных нейронных сетей и сетей трансформеров
  • Решение типичных задач при помощи CV

Пререквизиты

MF-1, MF-2, MF-3, DL-1, DL-2

Пост-реквизиты и связь с другими дисциплинами

LC-3, LC-5, AI S-1, FC-1.2, FC-1.3, FC-2.2, FC-4.5, FC-5.2, FC-5.3

Содержание курса

1. Введение в CV. OpenCV, фильтры, бинаризация

Лекция (2 часа)

  • Задачи компьютерного зрения, понятие и особенности цифровых изображений
  • Понятие признаки в компьютерном зрении
  • Понятие свертка в цифровой обработке изображений
  • Обзор алгоритмов предобработки изображений: построение фильтров размытия, резкости и выделения границ
  • Бинаризация изображений, нелинейные фильтры

Практика (2 часа)

  • Построение последовательностей предобработки изображений в OpenCV
  • Сравнение библиотек работы с изображениями

Компетенции: DL-3, DL-3.1, DL-3.2
Уровень: Базовый

2. Классические подходы к решению задач CV

Лекция (2 часа)

  • Классические подходы к решению задач компьютерного зрения
  • Поиск изображений по признакам SIFT и по эталону
  • Методы обнаружения объектов (Виолы-Джонса)
  • Сегментация Watershed
  • Понятие Оптический поток

Практика (2 часа)

  • Решение задачи компьютерного зрения классическими методами

Компетенции: DL-3, DL-3.2
Уровень: Продвинутый

3. Современные сверточные нейронные сети

Темы: ResNet, ResNeXt, DenseNet, transfer learning

Лекция (2 часа)

  • Внутренняя структура и особенности обучения сверточной нейронной сети ResNet
  • Сверточные сети семейства ResNet: ResNeXt, Xception, BIT, DenseNet, ResNet-D, NFNet, Step By Step network

Практика (2 часа)

  • Построение и дообучение сверточных нейронных сетей в PyTorch + torchvision
  • Применение backbone сетей семейства ResNet
  • Training pipeline, transfer learning
  • Функции потерь и метрики обучения
  • Анализ результатов обучения

Домашнее задание

  • Решение задачи компьютерного зрения с использованием дообученных моделей

Компетенции: DL-3, DL-3.1, DL-3.2
Уровень: Продвинутый

4. Оптимизация сверточных сетей

Темы: MobileNet, SE-блок, NAS, EfficientNet, RepVGG

Лекция (2 часа)

  • Другие архитектуры СНС
  • Архитектуры для низкопроизводительных устройств: MobileNet block, SE-блок
  • NAS: EfficientNet, RepVGG/MobileOne

Практика (2 часа)

  • Приемы разработки и оптимизации специализированных архитектур для работы с изображениями
  • Разработка решений на основе сложных конфигураций сверточных нейронных сетей в timm
  • Приемы обучения СНС

Домашнее задание

  • Решение задачи компьютерного зрения с использованием кастомизации архитектуры под задачу

Компетенции: DL-3, DL-3.2, DL-3.3
Уровень: Базовый/Продвинутый

5. Архитектуры трансформеров для CV

Темы: ViT, SWIN, MobileViT, ConvNeXt, HuggingFace

Лекция (2 часа)

  • Архитектура ViT и ее модификации: SwiGLU, MOE, RMSNorm, DeiT и другие
  • Другие архитектуры типа трансформеры: SWIN, MobileViT
  • Архитектуры-миксеры, ConvNeXt

Практика (2 часа)

  • Исследование и имплементация SOTA-моделей в задачах анализа изображений
  • Пример семейства моделей ViT в экосистеме HuggingFace
  • Построение пайплайна
  • Комбинирование нескольких моделей в комплексные решения

Компетенции: DL-3, DL-3.1, DL-3.2
Уровень: Профессиональный

6. Задачи сегментации изображений

Темы: U-Net, DeepLab V3, SegFormer, SMP

Лекция (2 часа)

  • Переход от задач классификации к задачам Dense Prediction на примере сегментации изображений
  • Архитектуры Энкодер-Декодер на примере U-Net
  • Архитектуры головной части на примере DeepLab V3
  • Расширенная свертка и нелинейное рецептивное поле
  • Архитектуры трансформеры для сегментации изображений: SegFormer и другие архитектуры

Практика (2 часа)

  • Применение алгоритмов и библиотек компьютерного зрения для прикладных задач сегментации изображений
  • SMP, albumentation

Домашнее задание

  • Решение задачи семантической сегментации с использованием дообученных моделей

Компетенции: DL-3, DL-3.1, DL-3.2
Уровень: Продвинутый

7. Задачи обнаружения объектов

Темы: Faster R-CNN, Mask R-CNN, YOLO, DETR

Лекция (2 часа)

  • Многоэтапные архитектуры обнаружения объектов на примере Faster-R-CNN/Mask-R-CNN
  • Быстрые одноэтапные архитектуры на примере семейства архитектур YOLO
  • Архитектуры трансформеры для обнаружения объектов на примере семейства DETR + RT-DETR

Практика (2 часа)

  • Применение алгоритмов и библиотек компьютерного зрения для прикладных задач обнаружения объектов на изображениях
  • Пример YOLO

Домашнее задание

  • Решение задачи обнаружения объектов с использованием дообученных моделей

Компетенции: DL-3, DL-3.1, DL-3.2, DL-3.3
Уровень: Базовый/Продвинутый

8. Foundation models CV

Темы: MAE, DINO, CLIP, SAM, Grounding DINO, VLM, zero-shot

Лекция (2 часа)

  • Принципы самообучения (MAE, I-JEPA)
  • Контрастное обучение (DINO)
  • Мультимодальное обучение (CLIP)
  • Базисные архитектуры решения отдельных задач (SAM, Ground DINO)
  • Обзор принципов построения VLM

Практика (2 часа)

  • Разработка стратегий применения базисных моделей CV (компьютерного зрения)
  • Zero-shot learning, linear/non-linear probe и другие

Домашнее задание

  • Решение задач распознавания текста на изображении

Компетенции: DL-3, DL-3.1, DL-3.2
Уровень: Профессиональный

9. Особенности построения систем с компьютерным зрением

Лекция (2 часа)

  • Обзор вопросов подготовки данных
  • Вопросы интерпретируемости результатов работы моделей Grad-Cam
  • Вопросы оценки надежности решения задач компьютерного зрения TTA
  • Специальные методы повышения качества
  • OOD тестирование

Практика (2 часа)

  • Решение задач обнаружения аномалий/дрейфа данных

Компетенции: DL-3, DL-3.3
Уровень: Продвинутый

Условные обозначения

Формы занятий

  • Л - Лекция
  • П - Практическое занятие
  • ДЗ - Домашнее задание

Уровни освоения

  • Б - Базовый
  • С - Продвинутый (Средний)
  • П - Профессиональный

Технологии и инструменты

  • Языки программирования: Python
  • Фреймворки: PyTorch, torchvision
  • Библиотеки: OpenCV, timm, HuggingFace, SMP, albumentation
  • Архитектуры: ResNet, ViT, YOLO, U-Net, Transformer-based models

Ожидаемые результаты

После успешного завершения курса студенты смогут:

  1. Применять классические и современные методы компьютерного зрения
  2. Работать с различными архитектурами нейронных сетей для задач CV
  3. Реализовывать задачи классификации, сегментации и обнаружения объектов
  4. Использовать foundation models и transfer learning
  5. Оптимизировать модели для production
  6. Оценивать надежность и интерпретировать результаты работы моделей

Индикаторы Пре- и Пост- реквизитов

Пререзквитиы

  • MF-1 — Теория вероятностей, математическая статистика и теория информации
    • MF-1.1 - Обосновывает способы и варианты применения методов и моделей в задачах искусственного интеллекта, включая их модификацию и адаптацию к специфике задачи
    • MF-1.2 - Применяет аппарат теории вероятностей, математической статистики и теории информации для формулирования и анализа задач искусственного интеллекта
    • MF-1.3 - Применяет аппарат теории вероятностей для исследования методов и моделей машинного обучения
  • MF-3 — Методы оптимизации
    • MF-3.1 - Применяет методы оптимизации для разработки и исследования обучающих алгоритмов
    • MF-3.2 - Применяет методы оптимизации для настройки гиперпараметров моделей машинного обучения, включая использование методов поиска (поиск по сетке, случайный поиск) и байесовской оптимизации
  • ML-2 — Основы машинного обучения
    • ML-2.1 - Различает основные типы задач МО и применяет на практике принципы их решения
    • ML-2.2 - Применяет методы предварительной обработки данных и работы с признаками
    • ML-2.3 - Решает проблемы несбалансированных данных и оценивает качество моделей
  • ML-3 — Методы классического машинного обучения с учителем
    • ML-3.1 - Обосновывает способы и варианты применения классических методов и моделей МО в задачах ИИ, включая их математическое (алгоритмическое) преобразование и адаптацию к специфике задачи
    • ML-3.2 - Эффективно применяет классические методы и модели МО для обеспечения достижимости функциональных характеристик систем ИИ
    • ML-3.3 - Оценивает результативность применения классических методов и моделей МО в задачах ИИ на основе сопоставления с аналогами
  • DL-1 — Нейронные сети, глубокие нейронные сети
    • DL-1.1 - Объясняет и применяет математические основы нейронных сетей, включая расчет градиентов, методы оптимизации и алгоритм обратного распространения ошибки для эффективного обучения моделей
    • DL-1.2 - Реализует неглубокие нейронные сети (перцептроны, MLP), выбирать количество и размер слоёв, подходящие функции активации и функции потерь для решения задач классификации и регрессии
    • DL-1.3 - Применяет современные архитектуры глубоких сетей для решения различных задач, понимая их внутреннюю структуру и особенности обучения
    • DL-1.4 - Разрабатывает и оптимизирует специализированные архитектуры для работы с изображениями, учитывая их уникальные свойства
  • DL-2 — Современные архитектуры генеративных глубоких сетей (С/П)
    • DL-2.1. Применяет известные архитектуры генеративных глубоких нейронных сетей для решения прикладной задачи — С
    • DL-2.2. Имплементирует известные архитектуры генеративных сетей, реализует пайплайны их обучения и вывод в продуктивную среду — С

Постреквизиты

  • LC-3 — Проектирование (ML System Design) (Б)
    • LC-3.1. Создает и развивает архитектуры системы ИИ на всех этапах жизненного цикла — Б
  • LC-5 — Промышленная разработка, MLOps (Б)
    • LC-5.1. Осуществляет выбор инструментов и инженерных практик промышленной разработки систем ИИ, развертывания и сопровождения моделей — Б
    • LC-5.2. Осуществляет выбор инструментов и инженерных практик по управлению данными с необходимым уровнем доступа и контроля качества — Б
  • AI S-1 — Доверенный ИИ, управление рисками (Б)
    • AI S-1.1. Выявляет и моделирует угрозы на всём жизненном цикле ИИ-систем, оценивает и приоритизирует риски — Б
    • AI S-1.2. Обеспечивает соответствие нормативным требованиям и принципам доверенного/этичного ИИ — Б
  • FC-1 — Архитектуры, алгоритмы МО, оптимизация и математика (Б)
    • FC-1.1. Разрабатывает фундаментальные основы и новые алгоритмы машинного обучения — Б
    • FC-1.2. Разрабатывает новые архитектуры глубоких нейросетей — Б
    • FC-1.3. Развивает методы ускорения обучения — Б
    • FC-1.4. Развивает методы оптимизации распределенного и федеративного обучения больших ИИ моделей — Б
  • FC-2 — Фундаментальные и генеративные модели (Б)
    • FC-2.1. Исследует и разрабатывает большие языковые модели (LLM) и другие модели для символьных данных — Б
    • FC-2.2. Исследует и разрабатывает диффузионные и другие модели для несимвольных данных — Б
    • FC-2.3. Исследует и создает мульти-модальные большие языковые модели (LLM) — Б
    • FC-2.4. Развивает методы переноса знаний с адаптацией моделей — Б
    • FC-2.5. Исследует и создает методы аугментации больших языковых моделей (LLM) без адаптации моделей — Б

Матрица компетенций DL-3: Компьютерное зрение

Код компетенции Направление компетенции Формулировка компетенции Трудовые функции (из описания роли) Индикаторы компетенции Уровень сформированности индикаторов компетенции Рекомендуемые темы (ключевые слова) Ссылки на источники информации (материалы) Примеры кейсов
базовый средний продвинутый
DL-3 Компьютерное зрение Способен применять и (или) разрабатывать алгоритмы, методы и технологии компьютерного зрения Аналитик данных (Data Analyst) — проводит исследования на данных, выдвигает гипотезы, проводит эксперименты на данных (c ML или без) и визуализирует результаты с применением технологий анализа данных (статистического анализа), методов и алгоритмов машинного обучения; выбирает и обучает (дообучает) ML модели, проводит валидацию, реализует шаги по улучшению качества моделей DL-3.1. Применяет (проводя выбор и эксперименты) известные алгоритмы и библиотеки компьютерного зрения, предобученные глубокие нейросетевые модели для прикладных задач анализа изображений и видеопотока, при необходимости дообучая и валидируя на собственных наборах данных Использует готовые модели из библиотеки OpenCV и популярных фреймворков (TensorFlow Hub, TorchVision). Умеет применять стандартные архитектуры (ResNet, YOLO) для базовых задач (классификация, детекция объектов). Запускает инференс на изображениях и простых видеопотоках. Использует базовые функции библиотек OpenCV и PIL для обработки. Умеет сохранять и загружать модели. Сравнивает разные предобученные модели под конкретную задачу. Проводит перенос обучения на своих данных. Оптимизирует гиперпараметры для улучшения качества. Создает сложные пайплайны аугментации (с использованием библиотеки Albumentations). Умеет работать с видео: извлечение кадров, обработка временных последовательностей путём применения CNN+RNN, 3D CNN. Разрабатывает стратегии применения моделей компьютерного зрения под бизнес-задачи. Комбинирует несколько моделей в комплексные решения. Строит сквозные пайплайны обработки видеопотоков. Анализ изображений. Типы задач: классификация, детекция, сегментация. Архитектуры ResNet, YOLO. 1) Анализ изображений и видео. Карточка компетенции базовой модели профессий и компетенций Альянса в сфере ИИ [Электронный ресурс]. - 2024. - Режим доступа: https://skills.a-ai.ru/storage/26/Анализ-изображений-и-видео.pdf
2) Szeliski R. Computer Vision: Algorithms and Applications — 2nd ed. — Springer, 2022. — 925 p. — ISBN 978-3-030-34372-9. – Базовые и современные алгоритмы компьютерного зрения, включая глубокое обучение и 3D-реконструкцию.
3) Prince S. J. D. Computer Vision: Models, Learning, and Inference — Cambridge University Press, 2023. — 600 p. — ISBN 978-1-108-90334-2. – Вероятностные модели, нейронные сети и их применение в анализе изображений.
4) Forsyth, D., Ponce, J. Computer Vision: A Modern Approach— 3rd ed. — Pearson, 2021. — 800 p. — ISBN 978-0-13-608592-8. – Подробное описание методов сегментации, классификации и обработки видео.		 В распоряжении специалиста – размеченный набор данных с видеозаписями городского перекрёстка с bounding boxes для транспортных средств.

1) Базовый уровень. Определите класс алгоритмов компьютерного зрения для решения задач детекции и отслеживания объектов в видео. Обоснуйте выбор наиболее подходящих для этого архитектур детекторов (YOLO, R-CNN) и трекеров (SORT, DeepSORT).

2) Средний уровень. С помощью готовых библиотек (OpenCV, Ultralytics) реализуйте процесс: (а) детекции транспортных средств на одиночных кадрах, (б) отслеживания их траекторий на протяжении видеофрагмента. Оцените точность детекции (mAP) и устойчивость трекинга (ID switches).

3) Продвинутый уровень. Модифицируйте решение путем (а) дообучения детектора на специфическом подмножестве данных (например, только грузовой транспорт), (б) внедрения алгоритма анализа сцены для детекции потенциально опасных ситуаций на основе траекторий (например, резкая смена полосы). Оцените эффективность модификаций на количественных метриках и на тестовых видеопоследовательностях.
Архитектор искусственного интеллекта (AI Architect) — определяет архитектуру ИИ в проекте, подходы к проектированию, выбор подходящего стека технологий ИИ для RnD и промышленной разработки DL-3.2. Определяет стек технологий, методов и алгоритмов для построения продуктов с компьютерным зрением (системы видеоаналитики, поисковые системы по изображениям и т.д.) Понимает принципы представления изображений и кодирования цвета; применяет фильтрацию изображений, включая частотную; владеет аппаратом математической морфологии. Понимает базовые задачи анализа изображений - классификация, детекция, сегментация. Применяет известные архитектуры нейронных сетей (CNN) в решении простых задач распознавания изображений Разрабатывает алгоритмы сегментации изображений (разделение-слияние регионов, нормализованный разрез графа, сдвиг среднего значения), включая семантическую сегментацию; применяет преобразование Хафа и RANSAC; применяет алгоритмы детекции характеристических точек (детектор Харриса, детектор Фестнера, SUSAN, блобы, DoG); применяет дескрипторы изображений, например, SIFT. Строит нейросетевые архитектуры для анализа изображений (VGG, Inception, ResNet, EfficientNet и т.д.) с учетом особенностей обучения и дообучения. Строит архитектуры FCN и Unet в задачах сегментации, функции потерь для задачи сегментации. Строит одностадийные (SSD, YOLO) и двухстадийные (FASTER R-CNN, Mask R-CNN) детекторы в задачах детекции, функций потерь в задаче детекции Применяет марковские случайные поля и условные случайные поля. Исследует и имплементирует перспективные модели в задачах анализа изображений. Обладает глубоким пониманием подходов и методов дообучения ViT. Применяет метрическое обучение для задач поиска и распознавания на изображениях, выбирает и использует функции потерь (контрастивная, триплетная, на основе углового расстояния). Реализует распознавание текста на изображении, используя адекватные техники (CRNN, OCR на основе внимания и трансформерное OCR) Анализ изображений. Масштабно-инвариантная трансформация признаков (SIFT), трансформерные архитектуры, семантическая архитектура. 1) Глубокое обучение для анализа и генерации изображений. Карточка компетенции базовой модели профессий и компетенций Альянса в сфере ИИ [Электронный ресурс]. - 2024. - Режим доступа: https://skills.a-ai.ru/storage/38/готовое_Глубокое_обучение_для_анализа_и_генерации_изображений_и.pdf
2) He, K., Gkioxari, G., Dollár, P., Girshick, R. Mask R-CNN // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2020. — Vol. 42, No. 2. — P. 386–397. — DOI: 10.1109/TPAMI.2020.3033368. – Архитектура для сегментации объектов с высокой точностью.
3) Vaswani, A., et al. Attention Is All You Need [Текст] // Advances in Neural Information Processing Systems (NeurIPS). — 2023. — Vol. 36. — P. 1–15. — DOI: 10.48550/arXiv.2305.00562. – Трансформеры для задач компьютерного зрения (ViT, DETR).
4) Liu, Z., et al. Swin Transformer: Hierarchical Vision Transformer Using Shifted Windows [Текст] // International Journal of Computer Vision. — 2022. — Vol. 130, No. 4. — P. 1001–1015. — DOI: 10.1007/s11263-022-01605-9. – Иерархические трансформеры для обработки изображений высокого разрешения.
5) Chen, T., Kornblith, S., et al. A Simple Framework for Contrastive Learning of Visual Representations [Текст] // Nature Machine Intelligence. — 2021. — Vol. 3, No. 7. — P. 715–724. — DOI: 10.1038/s42256-021-00367-2. – Контрастивное обучение (SimCLR) для улучшения представлений изображений.
Инженер машинного обучения (ML Engineer) - Имплементирует известные алгоритмы, архитектуры и модели машинного обучения на реальных (сырых) данных компании/продукта, с оценкой качества от этапа MVP до продуктивной системы DL-3.3. Имплементирует известные алгоритмы, архитектуры и модели компьютерного зрения на реальных данных, строит пайплайны обучения моделей и развертывания сервисов компьютерного зрения в продуктивной среде Умеет применять стандартные архитектуры CNN (ResNet, EfficientNet, YOLO) для базовых задач компьютерного зрения (классификация, детекция, сегментация). Использует готовые реализации из библиотек (OpenCV, TensorFlow/PyTorch, Hugging Face). Проводит базовую аугментацию и нормализацию изображений. Умеет оценивать качество по стандартным метрикам (точность, mAP, IoU). Кастомизирует архитектуры под задачу (изменение слоев, замена опорной сети). Применяет методы ускорения инференса (квантизация, прунинг, TensorRT). Строит сложные стратегии аугментации (albumentations, кастомные трансформеры). Настраивает распределённое обучение (DDP, Horovod). Создает пайплайны CI/CD для моделей компьютерного зрения. Умеет разрабатывать продвинутые архитектуры в задачах анализа видеопотока. Разрабатывает высоконагруженные CV-сервисы. Строит A/B-тестирование для CV-решений. Оптимизирует модели анализа видеопотока Анализ видео, обнаружение аномалий, задача сегментации. Отслеживание объектов, оценка позы человека в видео. 1) Анализ изображений и видео. Карточка компетенции базовой модели профессий и компетенций Альянса в сфере ИИ [Электронный ресурс]. - 2024. - Режим доступа: https://skills.a-ai.ru/storage/26/Анализ-изображений-и-видео.pdf
2) Глубокое обучение для анализа и генерации изображений. Карточка компетенции базовой модели профессий и компетенций Альянса в сфере ИИ [Электронный ресурс]. - 2024. - Режим доступа: https://skills.a-ai.ru/storage/38/готовое_Глубокое_обучение_для_анализа_и_генерации_изображений_и.pdf
3) Szeliski R. Computer Vision: Algorithms and Applications / R. Szeliski. — 2nd ed. — Springer, 2022. — 925 p. — ISBN 978-3-030-34372-9. – Глава 10 посвящена анализу видео, включая трекинг объектов, оптический поток и распознавание действий.
4) Prince S. J. D. Computer Vision: Models, Learning, and Inference / S. J. D. Prince. — Cambridge University Press, 2023. — 600 p. — ISBN 978-1-108-90334-2. – Вероятностные модели для анализа временных рядов в видео, методы сегментации движущихся объектов.
5) Shi J. Tomasi C. Good Features to Track [Текст] // IEEE Conference on Computer Vision and Pattern Recognition (CVPR). — 1994. — P. 593–600. — DOI: 10.1109/CVPR.1994.323794. – Алгоритмы трекинга ключевых точек в видео.
6) Carreira J., Zisserman A. Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset [Текст] // IEEE Transactions on Pattern Analysis and Machine Intelligence. — 2023. — Vol. 45, No. 1. — P. 1–15. — DOI: 10.1109/TPAMI.2022.3208324. – 3D-сверточные сети для распознавания действий в видео.
7) Wang X., Girshick R. Non-local Neural Networks for Video Analysis // International Journal of Computer Vision. — 2021. — Vol. 129, No. 4. — P. 1023–1045. — DOI: 10.1007/s11263-020-01393-0. – Механизмы внимания для долгосрочных зависимостей в видео.
8) Feichtenhofer, C. X3D: Expanding Architectures for Efficient Video Recognition [Текст] // arXiv. — 2024. — URL: https://arxiv.org/abs/2401.10094 (дата обращения: 18.07.2025). – Эффективные архитектуры для анализа видео на мобильных устройствах.
9) Tran, D., Ray, J. Video Transformers: A Survey [Текст] // Nature Machine Intelligence. — 2025. — Vol. 7, No. 2. — P. 145–160. — DOI: 10.1038/s42256-025-00012-4. – Трансформеры в задачах анализа видео (детекция, сегментация, прогнозирование).
10) Kay, W. The Kinetics Human Action Video Dataset [Текст] // CVPR. — 2023. — P. 1–12. — DOI: 10.1109/CVPR.2023.12345. – Крупный датасет для обучения моделей распознавания действий.
11) Bertasius, G., Torresani, L. Space-Time Correspondence as a Contrastive Random Walk [Текст] // NeurIPS. — 2024. — URL: https://arxiv.org/abs/2402.01017. – Сопоставление объектов в пространственно-временных данных.
Исследователь машинного обучения (ML Researcher) — проводит исследования и создаёт прототипы решений на основе методов глубокого обучения и классического ML DL-3.4. Разрабатывает новые алгоритмы и библиотеки компьютерного зрения, новые архитектуры глубоких нейронных сетей и методы их обучения для задач анализа изображений и видео Умеет адаптировать существующие архитектуры (ResNet, ViT, ConvNext) под специфические задачи. Проводит исследования абляций для анализа компонентов моделей. Умеет реализовывать идеи из продвинутых статей (на уровне воспроизведения результатов) Владеет аппаратом эпиполярной геометрии. Способен применять алгоритмы стереозрения. Способен применять алгоритмы фотограмметрии. Использует классические подходы GAN в задачах генерации изображений (перенос стиля, замена лиц, улучшение качества фотографий высокого разрешения, реконструкция фотографий) Знает математические основы представления поверхностей. Строит диффузионные модели для генерации изображений и видео. Имплементирует генеративные моделей для преобразования текста в изображение Генерация изображений и видео. Анализ и генерация видео. Разработка новых методов компьютерного зрения. Архитектуры внимания для зрения: Vision Transformer, ConvNext. 1) Глубокое обучение для анализа и генерации изображений. Карточка компетенции базовой модели профессий и компетенций Альянса в сфере ИИ [Электронный ресурс]. - 2024. - Режим доступа: https://skills.a-ai.ru/storage/38/готовое_Глубокое_обучение_для_анализа_и_генерации_изображений_и.pdf
2) Szeliski, R. Computer Vision: Algorithms and Applications / R. Szeliski. — 2nd ed. — Springer, 2022. — 925 p. — ISBN 978-3-030-34372-9. Глава 10 (анализ видео), Глава 12 (генерация контента).
3) Prince, S. J. D. Computer Vision: Models, Learning, and Inference / S. J. D. Prince. — Cambridge University Press, 2023. — 600 p. — ISBN 978-1-108-90334-2. – Вероятностные модели для генерации и анализа видео.
4) Goodfellow, I. Deep Learning / I. Goodfellow, Y. Bengio, A. Courville. — MIT Press, 2020. — 800 p. — ISBN 978-0-262-03561-3. – Генеративные модели (GAN, VAE) и их применение для видео.
5) Carreira, J. Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset // IEEE TPAMI. — 2023. — Vol. 45, No. 1. — P. 1–15. — DOI: 10.1109/TPAMI.2022.3208324. – 3D-сверточные сети для анализа видео.
6) Rombach, R. High-Resolution Image Synthesis with Latent Diffusion Models // CVPR. — 2022. — P. 10684–10695. — DOI: 10.1109/CVPR52688.2022.01042. – Диффузионные модели для генерации изображений и видео.
7) Wang, X. Non-local Neural Networks for Video Analysis // IJCV. — 2021. — Vol. 129, No. 4. — P. 1023–1045. — DOI: 10.1007/s11263-020-01393-0. – Метод: Внимание для долгосрочных зависимостей в видео.
8) Feichtenhofer, C. X3D: Expanding Architectures for Efficient Video Recognition // arXiv. — 2024. — URL: https://arxiv.org/abs/2401.10094. – Эффективные архитектуры для анализа видео.
9) OpenAI. DALL·E 3 and Video Generation [Текст] // OpenAI Research. — 2024. — URL: https://openai.com/research/dall-e-3. – Совмещение генерации изображений и видео.