Важной особенностью A/B-тестов является то, что они находятся на пересечении нескольких областей:
* бизнеса (проверка гипотез, базовый инструмент аналитика),
* математической (статистическая значимость)
* технической (обработки терабайтов данных и попадание в SLA).

В своем докладе я расскажу про техническую реализацию стенда метрик, который обеспечивает расчет порядка тысячи метрик для всех экспериментов в компании Озон.

А именно:
* как стенд метрик для команды поиска превратился в центральный инструмент расчета метрик всей компании;
* как попасть в SLA: про три итерации в эволюции архитектуры стенда метрик;
* про DataQuality;
* особенности баг-фикса и инцидентов при работе с большими данными;
* про особенности взаимодействия с математиками-аналитиками, которые обеспечивают инновационные расчеты.

И, конечно, о продуктовом подходе в стенде метрик и процессах, без которых результаты расчета не играют никакой роли.