Когда мониторинга и статистики становится недостаточно для поиска всех слабых мест и бутылочных горлышек, хочется получать на бэкенде больше информации, что происходит во время обработки запроса: на что тратится время, какие методы выделяют больше памяти, в какие базы упирается сервер, насколько поток выполнения асинхронный и прочее. В целом, хочется иметь подобие вкладки Network в Chrome — но для бэкенда. Это называется трейсинг. Вроде как и материалов много, предлагаемых решений тоже, но — глаза боятся, путаешься, а как грамотно масштабировать на тысячи серверов — не ясно.

Попробуем всё разложить по полочкам на примере того, как мы организовали трейсинг внутри ВКонтакте и сделали интеграцию с Sentry: с учётом микросервисов, распределённых данных и практически zero overhead.