Эксплуатация голоса в Марусе. С какими проблемами мы столкнулись и при чем тут GPU

Аппаратное обеспечение, инфраструктура

Доклад принят в программу конференции

Тезисы

GPU - вещь капризная: видеокарты горят, вылетают из системы, отвечают с ошибками. Что делать с ними, когда ответ "переустанови драйвер" перестает работать? А если они просто исчезают? А если их еще при этом сотни?
За три года эксплуатации Маруси мы разрослись до порядка двухсот серверов, внутри которых более тысячи видеокарт. В этом докладе я раскажу, как мы применяем gpu, какие проблемы мы получили и как их решали. Рассмотрим типичные ошибки и не очень типичные действия по устранению этих ошибок.

SRE в VK, команда Маруси.

VK

VK

Видео