[TEST-AI-PROMPT-05] Регрессионное тестирование ИИ-промптов для Qwen и Llama

Тестирование: Data Science / ML

Published

October 14, 2026

NoteКраткая карточка задачи
  • Компоненты: ai_voice_text_parser (Qwen), ai_receipt_vision_gateway (Llama).
  • Инструменты: Python, pytest, Pydantic validation.
  • Тип задачи: MLOps / QA.
  • Статус: В анализе

Описание задачи

Поскольку локальные языковые модели склонны к галлюцинациям, необходимо внедрить автотесты, которые проверяют, что промпты стабильно заставляют модели отдавать валидный JSON-контракт, и ИИ не добавляет в ответ лишний текст.

Инструкция по шагам

  1. Создание золотого датасета (Golden Dataset): Подготовить эталонные текстовые расшифровки (например: «купила молоко две штуки и хлеб») и соответствующие им идеальные JSON-ответы.
  2. Написание тестов валидации схемы: Написать Python-скрипт, который прогоняет этот датасет через локальную модель qwen2.5:3b.
  3. Метрики успешности (Assertion): Тест считается пройденным, если модель разложила сырой текст в JSON-поля name, portions, weight_grams БЕЗ ошибок синтаксиса и без markdown-разметки ```json. Если модель галлюцинирует и пропускает поля — тест падает.