Архитектура А/Б тестирования: сделай сам

Сергей Аверин (Ozon.ru)

Badoo — это большая социальная сеть с более чем 190 млн. пользователей. В нашей компании мы предварительно оцениваем большую часть нового функционала посредством A/B тестирования. Вот уже примерно год как мы используем собственный высоконагруженный фреймворк тестирования, при этом, по моему мнению, он очень прост, понятен и не требует огромных ресурсов на разработку и поддержку. В докладе я расскажу вам о том, почему мы пришли к собственному решению, объясню его архитектуру и принципы работы. Я уверен, что каждый из вас может сделать что-то подобное для своего проекта и начать принимать более обоснованные решения.

Тезисы
- Как мы раньше тестировали?
- Почему мы сделали свой инструмент?
- Архитектура: API, граф. интерфейсы, транспорт, скрипты, БД.
- Структура теста.
- Основные правила А/Б тестирования.
- Оценка результатов, примеры отчетов.
- И заключительная часть - о том, что от человека с головой полностью не избавиться.

Сложность

Несмотря на то, что конференция называется Highload++, я уверяю, что представленную здесь архитектуру может потянуть и проект с посещаемостью в 1000 чел в день и тремя программистами в штате. Реализовать все, о чем здесь рассказано, на PHP можно меньше чем за неделю с учетом работы только одного человека. А результат, между прочим, вполне измерим, и выражается он в реальной прибыли.