[EPIC-AID-001] Heavy GPU Neural Workers Pipeline

Оркестрация и распределение CUDA-нагрузок для YOLOv8, EasyOCR и Whisper

Author

AID Domain Lead / AI Infrastructure Engineer

Published

July 13, 2026

NoteКраткая карточка эпика
  • Эпик: (EPIC-AID-001)
  • Компоненты: ai-vision-worker, ai-speech-worker, Kafka (KRaft), Ubuntu GPU Server
  • Статус: Готово к реализации
  • Направление связи: Kafka (in.receipt.upload / in.voice.stream) \(\rightarrow\) GPU Workers \(\rightarrow\) Kafka (out)

Бизнес-контекст и цель (Business Context)

Для исключения зависания бизнес-транзакций, обработка медиа-файлов (изображения чеков, аудио голоса) происходит асинхронно на сервере Ubuntu с GPU RTX 3050Ti (16GB RAM). Эпик реализует воркеры, которые забирают ссылки на файлы из S3 через Kafka, аллоцируют память видеокарты, прогоняют инференс нейросетей и публикуют результат в out-топики.

Список атомарных задач:

  • [DevOps/Infra] Окружение CUDA & GPU Isolation [Конфиг 1]: Настройка Docker-контейнеров с поддержкой NVIDIA Container Toolkit для изоляции VRAM под YOLOv8 и OCR (Dockerfile.gpu).
  • [Backend] Воркер EasyOCR Чеков [Метод 1]: Консьюмер топика in.receipt.upload для извлечения текстовых массивов ОФД из картинок чеков (receipt_ocr_worker.py).
  • [Backend] Воркер Whisper Речи [Метод 2]: Консьюмер топика in.voice.stream для потоковой транскрипции аудио-чанков Voice-to-Text (voice_whisper_worker.py).
  • [Backend] Воркер YOLOv8 Продуктов [Метод 3]: Разработка ИИ-модуля распознавания конкретных объектов питания на фотографии внутри Холодильника (fridge_yolo_worker.py).