Измерение воронок: настройка
Какие воронки строить, как считать, на каких сегментах смотреть.
North-Star метрика и input-метрики
Одна главная метрика которая отражает успех продукта + 3-5 драйверов под неё.
Cohort-анализ retention
Weekly/monthly cohort: что измерять, как читать heatmap, какие действия следуют из паттернов.
Eval-фреймворк для LLM
Как мерить качество промтов и агентов: test set, метрики, автоматизация.
Курация golden dataset для evals
Собрать golden dataset: что включить (happy path, edge cases, regression, antagonistic), как версионировать через git, метрики (accuracy, latency, cost), как обновлять без подгонки.
Observability: метрики, логи, трейсы
Что и где собирать, как соединять три пилара, какой бюджет на cardinality и хранение.
Leading vs lagging метрики
Какие метрики предсказывают будущее, какие фиксируют прошлое — и почему смотреть надо на оба.
Дерево метрик активации
От выручки до клика — разложить активацию на драйверы, которые можно реально подвинуть.
NPS-дашборд с действиями по сегментам
NPS бесполезен без действий. Конкретные шаги по каждому сегменту: promoters, passives, detractors.
Дизайн когортного дашборда retention
Когорты × возраст, heatmap, drilldown по сегментам, алёрты на просадку Wk1 — как читать и не врать себе.
Magic numbers SaaS: TTV, activation, LTV/CAC, payback, NRR
Пять чисел, которые рассказывают историю бизнеса. Формула, action thresholds, когда красная зона.
Конвенция именования метрик
Формат имён, low vs high cardinality labels, aggregation rules, federation и deprecation flow.