По данным аналитиков Gartner, незапланированный простой IT-инфраструктуры обходится предприятиям в среднем около $5 600 в минуту. При этом большинство серьёзных инцидентов происходит не в процессе разработки, а уже после выхода продукта в продакшн — в условиях реальной нагрузки, непредсказуемых пользовательских сценариев и постепенно накапливаемого технического долга. Именно здесь на сцену выходит Site Reliability Engineering (SRE) — инженерная дисциплина, разработанная в Google и детально описанная в открытой книге Google SRE Book. Подробное введение в дисциплину также доступно в учебном модуле Microsoft Learn. Эта статья отвечает на ключевой вопрос бизнеса: что конкретно входит в SRE-сопровождение ПО после релиза и как выстроить этот процесс.
Кратко: SRE — инженерная дисциплина управления надёжностью сервисов. Включает SLI/SLO/SLA-метрики, мониторинг, incident management, автоматизацию рутины (toil). Для бизнеса — способ согласовать скорость разработки и стабильность продукта через бюджет ошибок.
Что такое SRE и зачем он нужен бизнесу
SRE, или Site Reliability Engineering (инженерия надёжности сайтов/сервисов), — это подход к эксплуатации программных систем, при котором задачи поддержки и надёжности решаются методами разработки программного обеспечения. Проще говоря: SRE-инженер — это разработчик, который взял на себя ответственность за то, чтобы продукт работал стабильно 24/7, и использует код и автоматизацию там, где классический системный администратор действовал бы вручную.
Для бизнеса SRE ценен тем, что переводит надёжность из абстрактного понятия в измеримые показатели. Вместо расплывчатых обязательств «всё должно работать» SRE-команда оперирует конкретными цифрами: «сервис должен быть доступен 99.95% времени, а в случае инцидента восстановление займёт не более 30 минут». Это позволяет бизнесу принимать осознанные решения о балансе между скоростью выпуска новых функций и стабильностью продукта.
Откуда взялся подход и почему Google его придумал
Концепция SRE родилась в Google примерно в 2003 году, когда Бен Трейнор Слосс возглавил небольшую команду инженеров-программистов, ответственных за продакшн. Проблема была классической для крупных технологических компаний: по мере роста системы количество ручной работы по её поддержке росло линейно или быстрее — а разработчики создавали новую функциональность, не думая об операционной нагрузке на сопровождение.
Google решил эту проблему радикально: нанял программистов вместо традиционных администраторов и поставил им задачу автоматизировать всё, что только можно автоматизировать. Ключевое правило — SRE-инженер не должен тратить на ручные операции (так называемый toil) более 50% рабочего времени. Всё остальное — проектирование более надёжных систем, разработка инструментов и автоматизация. Этот подход оказался настолько успешным, что в 2016 году Google опубликовал книгу о своём опыте, сделав SRE общедоступной дисциплиной.
Чем SRE отличается от DevOps и обычной техподдержки
Вопрос о разнице между SRE и DevOps звучит часто, и ответ на него неочевиден. Если кратко: DevOps — это культура и набор практик, SRE — конкретная реализация части этих практик. Сам Бен Трейнор Слосс описывал это так: «SRE — это то, что происходит, когда вы нанимаете разработчиков для работы в команде операций».
DevOps говорит: «ломайте барьеры между разработкой и эксплуатацией». SRE даёт конкретный ответ на вопрос «как»: через SLO, error budget, postmortem-культуру и автоматизацию toil. В этом смысле SRE можно назвать одной из возможных реализаций принципов DevOps — с акцентом именно на надёжность и измеримость. Подробнее о связи SRE и DevOps можно прочитать у Atlassian. Наши инженеры выстраивают DevOps-процессы и SRE-практики как единую систему — разграничение между ними условно и зависит от зрелости команды.
Сравнение с классической техподдержкой ещё нагляднее. Традиционная техподдержка реактивна: что-то сломалось — починили, пользователь написал — ответили. SRE проактивен: инженер изучает систему, чтобы предотвратить поломку до того, как она случилась, и автоматизирует реакцию на типовые инциденты, чтобы человек вмешивался только в нестандартных ситуациях.
| Параметр | Традиционная техподдержка | DevOps | SRE |
|---|---|---|---|
| Подход | Реактивный | Культура + процессы | Инженерный + измеримый |
| Цель | Устранить инцидент | Ускорить поставку | Управлять надёжностью |
| Метрики | Время ответа на тикет | Частота деплоев, MTTR | SLI, SLO, error budget |
| Автоматизация | Минимальная | CI/CD-пайплайны | Устранение toil как приоритет |
| Постмортем | Редко, формально | Рекомендуется | Обязателен, blameless |
Что происходит с продуктом сразу после релиза
День выхода продукта в продакшн — один из самых уязвимых моментов в его жизненном цикле. Нагрузка резко возрастает, реальные пользователи создают сценарии, которые не предусмотрели тесты, а инфраструктура начинает вести себя непредсказуемо. По статистике, значительная часть серьёзных инцидентов случается именно в первые дни или недели после релиза — пока команда ещё не накопила данных о реальных паттернах нагрузки.
Почему классическая техподдержка не справляется
Классическая модель поддержки строится вокруг тикетной системы: пользователь жалуется — команда реагирует. Эта схема работает для относительно простых и нагрузочно предсказуемых продуктов. Но у современных SaaS-сервисов, мобильных приложений и высоконагруженных платформ она порождает несколько системных проблем.
Во-первых, пользователи замечают проблему позже, чем она реально возникает. К моменту, когда первый тикет поступает в поддержку, инцидент уже мог повлиять на тысячи сессий. Во-вторых, техподдержка не имеет инструментов для диагностики: она может зафиксировать симптом, но не определить причину. В-третьих, повторяющиеся инциденты воспроизводятся снова и снова — потому что нет структурированного процесса извлечения уроков.
Как SRE меняет логику сопровождения
SRE меняет точку зрения на сопровождение: надёжность — это не свойство, которым обладает система, а результат постоянной инженерной работы. Вместо того чтобы ждать жалоб пользователей, SRE-команда непрерывно измеряет состояние системы через метрики, заранее договаривается о допустимом уровне ошибок и строит процессы так, чтобы большинство инцидентов разрешались автоматически или с минимальным участием человека.
В результате бизнес получает предсказуемость: он знает, что если SLO нарушены — это сигнал к изменению приоритетов в разработке, а не повод для аврала. А команда разработки получает чёткий ответ на вопрос «как быстро мы можем выпускать новые функции, не рискуя стабильностью».
Ключевые метрики SRE: SLI, SLO, SLA и error budget
Язык SRE — это метрики. Именно через них команда общается с бизнесом и принимает технические решения. Понимание этих трёх уровней — обязательная база для любого разговора о надёжности сервисов.
SLI, SLO, SLA — три уровня одной цепочки
SLI (Service Level Indicator) — индикатор уровня сервиса. Это конкретная измеряемая характеристика системы: доля успешных запросов от общего числа, задержка ответа на 99-м перцентиле, частота ошибок в логах. SLI — сырые данные о том, как ведёт себя система прямо сейчас.
SLO (Service Level Objective) — целевой показатель уровня сервиса. Это конкретное числовое значение, которого должен достигать SLI. Например: «Доля успешных запросов должна быть не ниже 99,9%» или «99-й перцентиль задержки не должен превышать 200 мс». SLO — это внутреннее обязательство команды перед самой собой и бизнесом.
SLA (Service Level Agreement) — соглашение об уровне обслуживания. Это юридически оформленное обязательство перед клиентами, которое, как правило, менее строгое, чем SLO. Если SLO нарушается, SRE-команда должна разобраться в причинах; если нарушается SLA — бизнес несёт финансовые последствия (штрафы, компенсации).
Типичная связка выглядит так: SLO = 99.95%, SLA = 99.9%. Разрыв между ними — это буфер безопасности, позволяющий реагировать на нарушения SLO до того, как они ударят по SLA.
Доступность 99.9% vs 99.99%: разница в деньгах и времени простоя
Разница в одну девятку звучит незначительно, но на практике означает кардинально разные операционные требования и затраты.
| SLO | Downtime в год | Downtime в месяц |
|---|---|---|
| 99% | 87,6 ч | 7,3 ч |
| 99,9% | 8,76 ч | 43,8 мин |
| 99,95% | 4,38 ч | 21,9 мин |
| 99,99% | 52,6 мин | 4,4 мин |
Переход от 99,9% к 99,99% означает сокращение допустимого простоя в 10 раз — с 43 минут до менее чем 5 минут в месяц. Для большинства SaaS-продуктов это требует многоуровневого резервирования, активного geo-failover и дежурной смены инженеров 24/7. Стоимость такой инфраструктуры может в несколько раз превышать стоимость команды разработки. Поэтому выбор целевого SLO — это всегда экономическое решение: оно должно соответствовать реальным потерям бизнеса от простоя, а не желанию «на всякий случай иметь пять девяток».
Error budget: как бюджет ошибок управляет скоростью разработки
Error budget (бюджет ошибок) — одна из самых мощных идей SRE. Логика проста: если SLO составляет 99,9%, то допустимый процент ошибок (error budget) — 0,1%. Это конкретный «счёт», который команда расходует по мере возникновения инцидентов и деплоев новых версий. Пока бюджет есть — разработка может выпускать новые функции в рабочем темпе. Когда бюджет исчерпан — команды договариваются: новые деплои замораживаются до восстановления бюджета.
Этот механизм решает давний конфликт между разработкой (хочет выпускать быстро) и эксплуатацией (хочет стабильности): обе стороны заинтересованы в том, чтобы бюджет не заканчивался раньше времени. Разработчики начинают думать о надёжности своего кода, а SRE-инженеры — о том, что избыточная консервативность тоже стоит денег.
Что входит в SRE-сопровождение ПО
Конкретный состав SRE-сопровождения зависит от продукта, его нагрузки и зрелости инфраструктуры. Однако есть пять ключевых направлений, без которых SRE-практика не работает как система. Если вы хотите организовать SRE-сопровождение под ключ — эти блоки становятся основой технического задания.
Мониторинг и алертинг
Мониторинг — фундамент всей SRE-практики. Без видимости системы невозможно ни своевременно обнаружить инцидент, ни понять его причину, ни оценить прогресс восстановления. При этом «настроить мониторинг» — задача значительно более сложная, чем установить Prometheus или подключить Datadog.
Хорошо выстроенный мониторинг должен отвечать на три вопроса: что происходит прямо сейчас (дашборды реального времени), что произошло (логи и история метрик) и почему это происходит (связь между компонентами). Алертинг должен быть откалиброван так, чтобы каждый алерт требовал действий: алерты-«шумы», на которые команда не реагирует, разрушают дежурную культуру быстрее, чем что-либо ещё.
Современная SRE-практика различает несколько уровней алертов: page (немедленное вмешательство человека, круглосуточно), ticket (нужно обработать в рабочее время) и log (информация для последующего анализа). Смешение этих уровней — один из главных источников операционных проблем.
Управление инцидентами и постмортемы
Когда инцидент всё же происходит, ключевой показатель — время восстановления (MTTR). SRE-подход стандартизирует весь путь от обнаружения инцидента до его закрытия: определение ответственного (incident commander), оценка серьёзности, коммуникация со стейкхолдерами, параллельная диагностика и устранение.
Не менее важна работа после инцидента — постмортем (post-mortem). Постмортем — это структурированный анализ причин инцидента, который проводится в течение нескольких дней после его устранения. Ключевое правило постмортема — blameless (без обвинений): цель не найти виноватого, а понять системные причины и предотвратить повторение.
Хороший постмортем содержит: хронологию событий, анализ первопричин (root cause analysis), список действий с ответственными и сроками. Команды, которые системно проводят постмортемы, со временем значительно снижают частоту повторяющихся инцидентов — потому что каждый инцидент становится источником системного улучшения.
Автоматизация и устранение toil
Toil — один из ключевых терминов SRE. Это ручная, повторяющаяся, рутинная работа, которая не приносит долгосрочной ценности: перезапуск сервисов по скриптам вручную, ответы на одинаковые запросы, ручная проверка состояния систем, ручное масштабирование под нагрузку.
SRE-команда целенаправленно выявляет и измеряет toil. Если инженер тратит на него более 50% времени — это красный флаг. Устранение toil происходит через автоматизацию: написание инструментов, интеграцию runbook-автоматизации, настройку автоскейлинга, внедрение self-healing-механизмов (автоматический перезапуск упавших сервисов, автоматический фейловер на реплику базы данных).
Парадокс toil в том, что его устранение требует инвестиций сейчас — но окупается многократно: каждый час инженерного времени, вложенный в автоматизацию, экономит часы ручной работы в будущем и снижает вероятность человеческой ошибки.
Observability: логи, метрики, трейсы
Observability (наблюдаемость) — более широкая концепция, чем традиционный мониторинг. Если мониторинг отвечает на вопрос «всё ли в порядке?», то observability позволяет ответить на вопрос «почему что-то не в порядке?» — даже для ситуаций, которые никто не предвидел заранее.
Три «столпа» observability:
- Метрики — агрегированные числовые показатели состояния системы: CPU, память, RPS, частота ошибок. Быстрые и ёмкие, но не дают контекста конкретного запроса.
- Логи — детальные записи событий. Незаменимы для диагностики нестандартных ситуаций, но при высокой нагрузке объём логов становится трудноуправляемым — важно настроить уровни логирования и retention.
- Трейсы (distributed tracing) — цепочки вызовов в распределённой системе. Позволяют понять, какой именно микросервис или зависимость стал узким местом в конкретном запросе. Инструменты: Jaeger, Zipkin, OpenTelemetry.
Хорошо выстроенная observability означает, что инженер может ответить на вопрос «что случилось с конкретным запросом пользователя в 14:23:07» — не по памяти, а по данным.
Capacity planning и масштабирование под нагрузку
Capacity planning — планирование производительности — это заблаговременная подготовка инфраструктуры к ожидаемым изменениям нагрузки. Задача SRE-команды: убедиться, что система не упадёт под нагрузкой в момент, когда это особенно критично — например, в день масштабной рекламной кампании или в период сезонного пика.
Capacity planning включает: регулярный анализ трендов нагрузки, нагрузочное тестирование, планирование масштабирования с учётом роста базы пользователей и настройку автоскейлинга. При этом масштабирование «на всякий случай» — тоже не бесплатно: SRE следит за тем, чтобы ресурсы не простаивали впустую, и оптимизирует cost efficiency инфраструктуры.
Реальные метрики SRE: MTTR, MTBF и доступность
Помимо SLI/SLO, в практике SRE используют ряд операционных метрик, позволяющих оценить зрелость процессов сопровождения.
| Метрика | Что измеряет | Формула | Типичная цель |
|---|---|---|---|
| SLI | Индикатор уровня сервиса | (успешные запросы / все запросы) × 100 | Зависит от SLO, % |
| MTTR | Среднее время восстановления после инцидента | Сумма времён восстановления / количество инцидентов | < 1 часа |
| MTBF | Среднее время между отказами | Суммарный uptime / количество отказов | > 720 ч |
| Error budget | Допустимый % ошибок до нарушения SLO | 100% − SLO% | Зависит от SLO |
| MTTD | Среднее время обнаружения инцидента | Время уведомления − время начала инцидента | < 5 мин |
| Change failure rate | Доля деплоев, приведших к инциденту | Инциденты из-за деплоя / все деплои × 100 | < 5% |
MTTR (Mean Time To Recovery) особенно показателен: высокий MTTR означает либо плохую диагностику (команда долго ищет причину), либо медленные процедуры восстановления (нет runbook, нет автоматизации). Инвестиции в снижение MTTR — одни из самых окупаемых в SRE-практике.
MTTD (Mean Time To Detect) — часто недооцениваемая метрика. Если система «ломается» в 14:00, а первый алерт приходит в 14:35, то значительный ущерб уже нанесён ещё до начала расследования. Хорошо настроенный мониторинг должен сокращать MTTD до нескольких минут.
Свой SRE-инженер или аутсорс: что выгоднее
Один из самых практичных вопросов, с которыми приходит бизнес: строить ли собственную SRE-команду или отдать сопровождение на аутсорс? Однозначного ответа нет — всё зависит от стадии продукта, объёма нагрузки и доступного бюджета.
Когда выгодно держать SRE-команду в штате
Штатные SRE-инженеры целесообразны, когда:
- Продукт достиг высокой нагрузки и критичности: падение сервиса напрямую ведёт к потере выручки.
- Архитектура специфична и требует глубокого погружения, которое трудно передать внешней команде.
- Требования безопасности не позволяют предоставлять доступ к системам третьим сторонам.
- Бизнес планирует значительный рост в ближайшие 1–2 года и хочет строить компетенции внутри.
Когда аутсорс SRE-сопровождение эффективнее
Внешнее SRE-сопровождение выигрывает, когда:
- Продукт ещё растёт и не достиг нагрузки, оправдывающей найм 3+ специалистов для покрытия 24/7.
- Нужен быстрый старт: найм и онбординг SRE-инженера занимает 2–4 месяца, внешняя команда начинает работать за 2–4 недели.
- Требуется широкая экспертиза в разных инструментах и платформах, которую сложно сосредоточить в одном человеке.
- Бизнес хочет гибко масштабировать покрытие без постоянных HR-операций.
| Критерий | Штатный SRE | Аутсорс SRE |
|---|---|---|
| Стоимость в месяц | От 250 000 ₽ на инженера | От 80 000 ₽/мес (пакет) |
| Покрытие 24/7 | Нужна ротация 3+ человек | Входит в пакет |
| Экспертиза | Растёт постепенно | Сразу широкий стек |
| Погружение в продукт | Высокое | Средне-высокое |
| Скорость старта | 2–4 мес. (найм + онбординг) | 2–4 недели |
| Масштабируемость | Под ставку | Гибко |
| Ответственность по SLA | Через трудовой договор | Через контракт |
Практика показывает, что многие компании начинают с аутсорс-сопровождения на этапе роста, а затем постепенно строят внутреннюю экспертизу — передавая знания от внешней команды к штатным специалистам. Это снижает риски и позволяет не тормозить разработку ради кадровых вопросов.
Как выстроить SRE-процесс: пошаговый план для бизнеса
Внедрение SRE — это не однодневная задача, а постепенная трансформация. Хорошая новость: начать можно даже с небольшой командой и минимальным бюджетом, последовательно наращивая зрелость процессов.
Шаг 1 — Инвентаризация критичных сервисов
Первый шаг — составить карту того, что нужно защищать. Не все компоненты системы одинаково критичны. Выделите critical user journeys — ключевые пользовательские пути, нарушение которых непосредственно влияет на бизнес. Например, для интернет-магазина это оформление и оплата заказа; для SaaS — авторизация и ключевые функции продукта.
Для каждого критичного компонента зафиксируйте:
- Его зависимости (базы данных, внешние API, очереди)
- Текущий уровень доступности (если данных нет — начните с мониторинга)
- Последствия падения для бизнеса (в часах и/или рублях)
- Текущее наличие runbook и процедур восстановления
Шаг 2 — Определение SLO и приоритетов инцидентов
На основе инвентаризации определите SLO для каждого критичного компонента. Важно: SLO должны быть основаны на реальных данных, а не на желаниях. Если текущий уровень доступности составляет 99,5% — установить SLO в 99,99% без существенных инвестиций в инфраструктуру невозможно.
Одновременно определите матрицу приоритетов инцидентов:
- P0/SEV1 — полный outage критичного сервиса. Немедленная реакция, вся команда.
- P1/SEV2 — частичный сбой, затронута часть пользователей. Реакция в течение 15–30 минут.
- P2/SEV3 — деградация производительности без потери функциональности. Рабочие часы.
- P3/SEV4 — незначительные проблемы. Плановая обработка.
Шаг 3 — Выбор инструментов мониторинга
На рынке десятки инструментов, и выбор сильно зависит от стека и бюджета. Вот ориентиры по категориям:
- Метрики: Prometheus + Grafana (open source, гибко), Datadog или New Relic (SaaS, быстрый старт, платно)
- Логи: ELK Stack (Elasticsearch + Logstash + Kibana), Loki, Graylog
- Трейсы: Jaeger, Zipkin, OpenTelemetry (стандарт де-факто для инструментирования)
- Алертинг: Alertmanager (для Prometheus), PagerDuty, OpsGenie
- On-call расписание: PagerDuty, OpsGenie, VictorOps
Для небольших команд разумнее начать с облачных SaaS-решений (Datadog, New Relic), которые не требуют собственной инфраструктуры для мониторинга. По мере роста можно мигрировать на self-hosted стек.
Шаг 4 — Выстраивание процедур on-call и эскалации
On-call (дежурство) — это ответственность за реакцию на инциденты в нерабочее время. Хорошо выстроенный on-call не изматывает команду, а защищает продукт. Ключевые принципы:
- Ротация: каждый инженер дежурит по очереди, с чётким расписанием и компенсацией за ночные дежурства.
- Runbook: для каждого типового инцидента — задокументированная инструкция действий. Цель: дежурный должен устранить 80% инцидентов без обращения к другим специалистам.
- Эскалация: чёткая цепочка — кто следующий, если дежурный не справляется за N минут.
- Постмортем после каждого P0/P1: не как наказание, а как инструмент обучения команды.
Сколько стоит SRE-сопровождение
Стоимость SRE-сопровождения определяется несколькими факторами: целевым SLO (чем выше, тем дороже инфраструктура и команда), режимом дежурства (5×8 или 24/7), объёмом автоматизации и составом инструментов.
Ориентиры для российского рынка 2026 года:
- Штатный SRE-инженер — от 200 000 до 350 000 ₽ в месяц (в зависимости от уровня и специализации). Для покрытия 24/7 нужно не менее 3 специалистов, то есть от 600 000 ₽/мес только на зарплаты — без учёта оборудования, лицензий и онбординга.
- Аутсорс-сопровождение базового уровня — от 80 000–150 000 ₽/мес. Включает мониторинг, реакцию на инциденты в рабочее время и ежемесячные отчёты.
- Аутсорс-сопровождение 24/7 с SLA — от 200 000–400 000 ₽/мес. Включает дежурную смену круглосуточно, гарантированный MTTR и постмортемы.
- Инфраструктура мониторинга — от 0 (self-hosted Prometheus/Grafana) до 100 000–500 000 ₽/мес (облачные Datadog/Dynatrace для высоконагруженных систем).
Важный ориентир: стоимость одного часа простоя критичного сервиса по данным Gartner составляет в среднем $300 000–400 000 для крупного предприятия. Для среднего бизнеса реальные потери меньше — но даже несколько часов простоя в год легко перекрывают стоимость годового SRE-сопровождения.
Нужно SRE-сопровождение для вашего продукта?
YuSMP выстраивает SRE-процесс под нагрузку и архитектуру вашего сервиса: от определения SLO до дежурства 24/7.
Обсудить сопровождениеЧастые вопросы об SRE и поддержке ПО
SRE и DevOps — это одно и то же?
Нет, но они тесно связаны. DevOps — это широкая культура и набор практик, направленных на устранение барьеров между командами разработки и эксплуатации. SRE — конкретная реализация части этих практик с акцентом на надёжность, измеримость и инженерный подход. SRE можно назвать «DevOps с формулами»: там, где DevOps говорит «сотрудничайте», SRE говорит «вот SLO, вот error budget, вот метрика, по которой мы оцениваем результат».
Когда бизнесу нужен SRE, а не просто техподдержка?
SRE становится актуальным, когда простой сервиса начинает непосредственно влиять на выручку или репутацию компании. Практические сигналы: продукт используется сотнями и тысячами активных пользователей, инциденты повторяются без структурного анализа причин, команда разработки тратит значительное время на «тушение пожаров» вместо создания ценности, или бизнес готовится к масштабированию с ожидаемым кратным ростом нагрузки.
Что такое постмортем и зачем он нужен?
Постмортем — это структурированный анализ инцидента, который проводится после его устранения. Цель — не найти виновного, а понять системные причины и предотвратить повторение. Хороший постмортем содержит: точную хронологию событий, анализ первопричин, список конкретных действий с ответственными и сроками. Постмортем-культура — один из самых мощных инструментов повышения надёжности: каждый инцидент становится уроком, а не просто неприятным событием.
Можно ли внедрить SRE для небольшого проекта?
Да, хотя масштаб внедрения будет иным. Небольшому проекту не нужны собственные SRE-инженеры или сложная распределённая инфраструктура наблюдаемости. Однако базовые практики — определение SLO, настройка мониторинга и алертинга, документирование runbook и проведение постмортемов после серьёзных инцидентов — применимы с любой нагрузкой. Аутсорс-сопровождение позволяет небольшим продуктам получить SRE-практику без затрат на найм специализированной команды.
Как быстро реагируют SRE-инженеры на инцидент?
В рамках SLA реакция на P0-инцидент составляет типично 5–15 минут для 24/7 дежурного режима. Это время от момента алерта до того, как дежурный инженер принял инцидент и начал диагностику. Само время восстановления (MTTR) зависит от сложности инцидента — типовая цель для критичных сервисов составляет менее 1 часа.
Что такое toil и почему его нужно сокращать?
Toil — это ручная, повторяющаяся, рутинная работа, которая не создаёт долгосрочной ценности: перезапуск сервисов вручную, ручная проверка состояния систем, ответы на одинаковые запросы по скрипту. Проблема toil в том, что он масштабируется вместе с системой: чем больше сервисов, тем больше ручной работы — и в итоге инженеры тратят время на рутину вместо улучшения системы. SRE ставит жёсткое правило: не более 50% времени на toil. Всё, что превышает этот порог — приоритет для автоматизации.
