Важной особенностью A/B-тестов является то, что они находятся на пересечении нескольких областей:
* бизнеса (проверка гипотез, базовый инструмент аналитика),
* математической (статистическая значимость)
* технической (обработки терабайтов данных и попадание в SLA).

В своем докладе, я расскажу про техническую реализацию стенда метрик, который обеспечивает расчет порядка тысячи метрик для всех экспериментов в компании Озон.

А именно:
* как стенд метрик для команды поиска превратился в центральный инструмент расчета метрик всей компании
* как попасть в SLA: про три итерации в эволюции архитектуры стенда метрик
* про DataQuality
* особенности баг фикса и инцидентов при работе с большими данными
* про особенности взаимодействии с математиками-аналитиками, которые обеспечивают инновационные расчеты

И конечно о продуктовом подходе в стенде метрик и процессах, без которых результаты расчета не играют никакого значения