Production engineering для software и AI

Строим технологии, которые выдерживают production — от инфраструктуры до AI

Быстрее релизы, стабильный production и AI, который доходит до реальной эксплуатации.

  • Начинаем с аудита, а не с трансформации
  • Небольшие команды сильных инженеров
  • Результат — измеримое изменение
production-система healthy
DevSecOpsполитики, секреты, доступы

Software

codereview
ci/cdgolden paths
platformkubernetes, gitops
productionha, dr

AI

dataingestion
modelsml, cv, llm
servingvllm, triton
gpuscheduling
ai productagents, rag
Observability и SREметрики, логи, трейсы, SLO

Стек, с которым работаем

  • Kubernetes
  • Terraform
  • Argo CD
  • Flux
  • Prometheus
  • Grafana
  • OpenTelemetry
  • Vault
  • Kafka
  • ClickHouse
  • vLLM
  • Triton
  • MLflow
  • Qdrant

Почему системы тормозят

Чем больше система, тем сложнее ей поворачивать

Большая система — как танкер: устойчива, но медленно меняет курс.

  • Зависимости и legacy
  • Ручные согласования и длинный релиз
  • Размытый ownership и knowledge silos
  • Высокая цена ошибки

Путь небольшой фичи до production

  1. Идея
  2. Бэклог
  3. Зависимости
  4. Архитектура
  5. Доступы
  6. Инфраструктура
  7. Security
  8. Тесты
  9. Релиз
  10. Production

Возвращаем системе манёвренность, не ломая её устойчивость.

  • Оправданную осторожность сохраняем
  • Лишнее трение убираем

Задачи

Где обычно начинает тормозить система?

Разработка долго идёт до production

CI/CD, platform engineering, GitOps

Изменение быстро и безопасно доходит до production

Production нестабилен

SRE, SLO, безопасный деплой

Релиз — рутина, а не риск

О проблемах узнают от пользователей

OpenTelemetry, SLO, алертинг

Проблему видно раньше клиента

Инфраструктура и GPU слишком дорогие

Rightsizing, autoscaling, FinOps, GPU scheduling

Стоимость под контролем

Engineering-процессы непрозрачны

Метрики DORA, время ожидания и toil

Delivery по данным, а не по ощущениям

AI-демо есть, production нет

Serving, evals, мониторинг, контроль стоимости

AI работает в production

DOPS Engineering Checkup

Не знаете, где именно находится bottleneck?

Смотрим систему целиком по восьми направлениям:

Delivery
Путь от commit до production
Infrastructure
Ручная работа, legacy, долг
Reliability
Точки отказа, восстановление
Observability
Видно ли, что происходит
Security
Доступы, секреты, политики
Cost
Cloud, базы, GPU
Team flow
Handoffs, очереди, ownership
AI / ML
MLOps, inference, GPU

Что вы получите

  • Карта текущего состояния
  • Список bottlenecks
  • Риски
  • Quick wins
  • Приоритизированный backlog
  • Roadmap на 30, 90 и 180 дней
  • Метрики для контроля
Заказать технический аудит

Экспертиза

Build faster. Run reliably. Ship AI.

Build faster

Разработчики делают продукт, а не ждут инфраструктуру.

  1. developer
  2. golden path
  3. ci/cd
  4. gitops
  5. platform

Kubernetes, Terraform, Argo CD, Flux

Run reliably

Знаем о проблеме раньше клиента — и сразу чиним.

  1. application
  2. opentelemetry
  3. observability
  4. slo и алерты
  5. incident response

Prometheus, VictoriaMetrics, Grafana, Loki

Ship AI

AI, который не остаётся демо.

  1. data
  2. model
  3. eval
  4. serving
  5. monitoring

vLLM, Triton, MLflow, Qdrant

AI & ML

AI как production-система, а не API-интеграция

  • Сами AI/ML-системы
  • Serving, GPU, evals, мониторинг
  • Контроль стоимости

AI-агенты

Действия в ваших системах — с правами и аудитом

Enterprise RAG

Поиск по вашим данным с цитатами и правами доступа

AI-ассистенты

Поддержка, продажи, внутренние операции

Document AI

OCR и извлечение данных

Computer vision

Детекция, трекинг, видеоаналитика

Predictive ML

Прогнозы, аномалии, скоринг

Private AI

Self-hosted LLM, данные не уходят наружу

AI-платформа

MLOps, LLMOps, GPU для многих моделей

Что стоит за моделью в production

MLOps

  1. data
  2. training
  3. registry
  4. validation
  5. deployment
  6. monitoring

LLMOps

  1. prompt / model
  2. eval
  3. deploy
  4. observe

GPU: настраиваем

  • Scheduling и квоты в Kubernetes
  • MIG, batching, квантизация
  • Autoscaling

GPU: измеряем

  • Утилизация GPU
  • Tokens/sec и задержка
  • Стоимость запроса

Как мы выбираем AI-архитектуру

Не каждая задача требует AI.

Не каждый AI требует большой LLM.

Не каждая LLM должна жить в публичном облаке.

Архитектуру выбирает задача, а не hype. Если можно решить без LLM — скажем об этом.

Найти AI use cases

Как работаем

Меньше handoff. Больше контекста. Ownership до результата.

  • Небольшие команды T-shaped инженеров
  • Один инженер держит весь контекст
  • Узкий эксперт — только когда нужен
Обычно
БизнесPMАрхитекторРазработчикDevOpsSRESecurityML
7 передач контекста
DOPS
Бизнес-цель Инженер 1platform, SRE, infra, data Инженер 2AI, ML, GPU, production
2 передачи контекста

Не ждём нового тикета, если уже видим проблему

  1. Увидели
  2. Проверили
  3. Объяснили риск
  4. Предложили варианты
  5. Согласовали
  6. Сделали

Production без согласования не меняем

Почему я строю DOPS

Я хочу построить engineering-компанию, которой можно принести сложную техническую проблему

  • Задачи пересекают app, infra, data, ML и security
  • На стыках теряются контекст и ownership
  • DOPS — команда, которая разберётся целиком и доведёт до результата
«Вот система. Вот наша боль. Вот бизнес‑цель. Разберитесь».

Георгий, founder и инженер DOPS

Результат

Не заканчиваем на deploy

Результат — не установленный инструмент, а измеримое изменение.

  1. Разбираем проблему
  2. Понимаем контекст
  3. Проектируем
  4. Реализуем
  5. Деплоим
  6. Измеряем

Исходная задача решена?

ДаСтабилизируем и передаём знания вашей команде
НетСледующая итерация и новое измерение

Принципы

Как мы принимаем решения

Не продаём чудеса

  • Больше людей — не всегда быстрее
  • Миграции требуют проверки
  • Качество ML ограничено данными

Плохие новости — до релиза

  • Rollback продуман заранее
  • Failure modes и зависимости проверены
  • Понятно, кто будет эксплуатировать

Имя важнее тикета

  • Не скрываем риски и не переобещаем
  • Документируем решения
  • Оставляем поддерживаемые системы

Ваша команда станет сильнее

  • Документация и runbooks
  • Знания остаются у вас
  • Меньше зависимости от DOPS

Кейсы

Только реальные проекты с согласия клиентов

Без выдуманных логотипов и цифр. Пока описания согласуются — расскажем о релевантном опыте на созвоне.

Обсудить задачу

Контакт

Расскажите, что тормозит систему

  1. Прочитаем заявкуи вернёмся по указанному контакту
  2. Уточним контекстна коротком созвоне
  3. Предложим шагобсуждение, аудит или план работ
Что нужно

Например, name@company.com или @username