Реальный опыт использования облачного хостинга для высокопосещаемых сайтов РИТ++ 2010
Доклад принят в Программу конференции
ITSumma
Генеральный директор ITSumma.
15 лет в техническом менеджменте.
Постоянный участник и докладчик конференций Highload++ и РИТ++ с 2010 года.
Интересы: оптимизация производительности, траблшутинг, отказоустойчивость
Тезисы
View more presentations from rit2010.
Тезисы:
В докладе пойдет речьо реальном опыте использования облачного хостинга, тех результатах, которые были получены и выводах, которые были сделаны и делаются вот уже почти год, используя облака в высоконагруженном "продакшене".
Будет рассмотрен этот опыт в контексте типовых задач веб-разработки и технической поддержки в проектах с высокой посещаемостью.
Говоря об опыте, имеется в виду как опыт решения вычислительных задач, так и опыт масштабирования фронт-эндов.
Важным кажется рассказать о тех проблемах, с которыми мы столкнулись, о том, в каком виде они могут возникнуть у других людей, и как с ними можно бороться.
Вычисления.
Облака возникли как средство масштабирования вычислений, и, конечно, сначала будет рассмотрен опыт в решении вычислительных задач. Для некоторых проектов содержание парка dedicated-серверов для готовности к пиковым нагрузкам не оправдывало их простой в остальное время. Именно здесь был переведен бэк-энд проекта в облака. Число облачных инстансов обычно соответствует нагрузкам в данный момент, система мониторинга контролирует число запросов и при их росте автоматически докупает или отключает инстансы. В этой части будет рассказано, какие плюсы были получены из такого решения, и какие проблемы возникли.
Фронт-энд.
Веб-разработка - это не только вычисления, но и посетители. Как использовать облачный хостинг для масштабирования нагрузки? Для большого числа сайтов критически важна надежность доступа пользователей к сайтам проекта с одной стороны, и возможность масштабирования ресурсов - с другой. Будет рассказано о тех проблемах, которые могут возникнуть при таких решениях - доступ к общим данным как single point of failure, балансировка, масштабирование, проблемы распространения кода и обновления конфигурации.
"Облака" - не панацея.
Перевод сайта в "облака" приносит комплекс новых задач и проблем, которые надо решать. Скорость доступа к данным, расположенным на хранилище, не постоянна и различается между минимумом и максимумом в сотни раз. Производительность инстансов может падать, а сами инстансы чаще всего падают не по одиночке, а комплексом, расположенном на физическом сервере. Пиковая нагрузка часто возникает моментально, а внедрение новых инстансов занимает какое-то время. Эта часть - о том как решались и продолжают решаться такие проблемы.
Что дальше?
Какие новые решения возникают, к каким мы приглядываемся что еще можно улучшить, что еще можно использовать и т.д.
Другие доклады секции РИТ++ 2010
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 8 стран. Ежедневно покупателям отправляется свыше 20 млн товаров, а сеть пунктов выдачи заказов превышает 55 000 точек.
Бюро Розетка — это команда экспертов в образовании: мы выстраиваем корпоративное обучение, проводим конференции, организуем стажировки и формируем профессиональные сообщества с вниманием к людям и результату
Разработка картографической платформы в Яндекс.Картах.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
quantified motion
MTС Web Services (MWS) — облачные сервисы для решения задач бизнеса. Компания предоставляет сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Также MWS строит новую публичную облачную платформу собственной разработки, которая станет доступна в 2025 году.
Разработка картографической платформы в Яндекс.Картах
Туту — сервис путешествий, где можно найти всё для предстоящей поездки 20 лет мы помогаем людям покупать билеты быстрее и комфортнее, рассказываем, как лучше добираться до места назначения, и отвечаем на любые вопросы про путешествия. Каждый день в путь отправляются несколько десятков самолётов и поездов только с нашими пользователями.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
YADRO cоздает и производит линейки серверов, систем хранения данных и коммутаторы для ЦОДов ИТ-компаний, банков, ретейлеров, предприятий сферы образования, энергетики, транспорта. Мы активно работаем над созданием базовых станций и современных микропроцессоров на базе RISC-V. У нас несколько тысяч сотрудников, среди которых много разработчиков на Go, пишут софт для управления железом и внутренние инструменты.
OTUS https://otus.ru/ - крупная и продуктивная онлайн-школа для IT-специалистов. ЛАФ (Летний аналитический фестиваль) - конференция, где системные и бизнес-аналитики повышают свои компетенции уже более 10 лет. WAW (Зимние аналитические выходные) - конференция для системных аналитиков уровня middle+ и выше.
Айри.рф
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 7 стран. Ежедневно покупателям отправляется свыше 12 млн товаров, а сеть пунктов выдачи заказов превышает 46 000 точек.
X5 Group (ранее — X5 Retail Group) — российская продуктовая розничная торговая компания, управляющая торговыми сетями «Пятёрочка», «Перекрёсток», «Чижик», «Около», «Виктория», «Красный яр» и «Слата». Компания развивает цифровые бизнесы Vprok.ru, 5Post, экспресс-доставку, «Много лосося», а также медиаплатформу Food.ru. Доля по выручке на российском рынке продуктовой розницы — 14,6 % (2023), X5 — 2-я по выручке российская частная компания (после «Лукойла» и перед «Магнитом», 2021) и 6-я по выручке в списке всех российских компаний (2021). X5 активно инвестирует в технологии и данные, превращая их в основу принятия решений на всех уровнях бизнеса — от логистики и ассортимента до клиентских сервисов. Внутри компании работает одна из крупнейших в стране дата-платформ, обрабатывающая десятки терабайт информации ежедневно.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Мы — ecom.tech, продуктово-технологическая команда. Чем занимаемся: делаем ИТ для ритейла реального времени. Чтобы все нужные товары и продукты могли попадать к людям мгновенно, насколько это возможно в физическом мире – c помощью технологий. Сейчас нашими технологиями пользуются Самокат и Мегамаркет, на наших решениях работают логистические системы. Раньше мы назывались Samokat.tech – но наше видение всегда было шире одного пользовательского сервиса. Мы хотим фундаментально изменить модель потребления, чтобы люди по-другому относились к покупкам.
Umisoft (ООО "Юмисофт")
Компания Xologie занимается управлением эксплуатацией сложных географически распределенных систем. В текущий момент акцент стоит на дорожно-транспортной тематике. Мы занимаемся контролем, инвентаризацией,
Защита веб-приложений.
Совмещаю работу в найме и консалтинг. Как scrum-мастер работаю в Магните — это сеть из почти 29 тысяч розничных магазинов по всей России и за рубежом. Чтобы товары вовремя попадали на полки, а магазины без сбоев обслуживали миллионы покупателей, нужна сложная IT‑система, которую развивает Magnit Tech. Как консультант работаю в бюро TalentCraft, где помогаю компаниям привлекать и удерживать таланты для сохранения стабильности и роста бизнеса, реализуя яркие HR- и DevRel-проекты.
Команда Т-банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
MTС Web Services (MWS) — облачные сервисы для решения задач бизнеса. Компания предоставляет сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Также MWS строит новую публичную облачную платформу собственной разработки, которая станет доступна в 2025 году.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Звук — это аудиостриминг c музыкой в HiFi-качестве, подкастами, аудиокнигами, эксклюзивными плейлистами и разделом для детей. Это продуктово-инженерная компания из 700+ экспертов. Более 450 инженеров, разработчиков и продактов, 6 продуктовых стримов и 19 продуктовых команд каждый день делают стриминг надежнее и наполняют его полезными фичами.
VK Tech — команда из 1400 специалистов в России и Казахстане. Разрабатывают и продвигают облачные платформы и сервисы VK Cloud, in-memory СУБД Tarantool, коммуникационные решения — от почты VK WorkSpace до супераппа VK Teams и решения для автоматизации HR и финансов. Внутри: C++, Python, Go, Java, Javascript, Lua.
Сбер - это современный стек технологий, драйвовые проекты и команда единомышленников. У нас около 3 000 продуктовых команд и огромное профессиональное IT- сообщество. Мы работаем над созданием удобных онлайн-сервисов в самых разных сферах.
Веб-стандарты
Autotech — разработчик технологии автономного вождения, совместимой с различными видами транспорта: от легковых автомобилей до грузовиков. Ключевое направление работы — создание универсальной беспилотной технологии.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Разработка картографической платформы в Яндекс.Картах
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Циан — PropTech-компания, которая ежемесячно помогает 19 млн пользователей найти дом или офис мечты и делает этот процесс максимально прозрачным: чтобы для каждого пользователя поиск был удобным, информация — достоверной, оценка — точной, а издержки для всех сторон — минимальными.
Tranio.Ru — интернет-центр зарубежной недвижимости
Самый фиолетовый маркетплейс в этой галактике.
X5 Group (ранее — X5 Retail Group) — российская продуктовая розничная торговая компания, управляющая торговыми сетями «Пятёрочка», «Перекрёсток», «Чижик», «Около», «Виктория», «Красный яр» и «Слата». Компания развивает цифровые бизнесы Vprok.ru, 5Post, экспресс-доставку, «Много лосося», а также медиаплатформу Food.ru. Доля по выручке на российском рынке продуктовой розницы — 14,6 % (2023), X5 — 2-я по выручке российская частная компания (после «Лукойла» и перед «Магнитом», 2021) и 6-я по выручке в списке всех российских компаний (2021). X5 активно инвестирует в технологии и данные, превращая их в основу принятия решений на всех уровнях бизнеса — от логистики и ассортимента до клиентских сервисов. Внутри компании работает одна из крупнейших в стране дата-платформ, обрабатывающая десятки терабайт информации ежедневно.
Системный Подход
RoboGate — это разработчик и поставщик IT-решений в сфере FinTech. Компания сосредоточена на создании и развитии удобной и безопасной инфраструктуры для институциональных и частных участников финансовых рынков. Клиенты RoboGate получают доступ к профессиональным торговым платформам и инновационным разработкам компании.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Поисковый лидер в России.
В Evrone делают на заказ технически сложные проекты на Ruby, Python и Go. Любят Ruby и с 2009 года организуют конференцию Ruby Russia, на которую собирают сотни рубистов со всей России.
Быстринский ГОК — один из крупнейших в отрасли greenfield-проектов Норникеля. Производственная мощность 10 млн тонн руды в год(Au, Fe, Cu).
Мы IT дочка Дом.РФ и цифровизируем процесс строительства в РФ, пилим крутые и сложные информационные системки федерального уровня, ЕИСЖС - это мы)
Отличная компания с хорошей технической культурой и продуктовым подходом к разработке.
DDoS-Guard — cпециализированный провайдер защиты от DDoS-атак на базе собственных разработок. Команде экспертов доверяют тысячи клиентов по всему миру, среди которых ISPsystem, Selectel, Reg.ru, hh.ru и другие. За 2023 год система защиты DDoS-Guard отразила 2.2 млн атак.
АО НПП РЕЛЭКС изначально была организована как компания разработчик СУБД в 1990 году, продукт СУБД ЛИНТЕР. На данный момент в компании существуют несколько направлений заказной разработки. Клиенты из разных отраслей и стран.
