Модернизация высоконагруженного проекта на примере Рамблер ТОП100 Основная секция
Доклад принят в Программу конференции
Wildberries является крупнейшим интернет-магазином России по объему онлайн-продаж согласно данным аналитического агентства Data Insight. Wildberries входит в десятку крупнейших интернет-ресурсов России по посещаемости по данным SimilarWeb.
Тезисы
Highload2009 Top100 V3
View more presentations from HighLoad2009.
Тезисы:
Осень 2007 года. Проходит первый Highload, набирают обороты "Одноклассники", кругом говорят о Google и читают Roem.ru.
Рамблер ТОП100 перестает справляться с нагрузкой в 10000 хитов в секунду, и этого уже не скроешь.
При модернизации одного из старейших проектов Рамблера было необходимо минимизировать время простоя и сохранить все его основные свойства. Т.е. провести ее незаметно для пользователя.
Задачи, которые решались, не новы для высоконагруженных проектов. Однако из множества решений было необходимо выбирать наиболее подходящие в данной ситуации. Расположить задачи в логичной последовательности. Предусмотреть новые проблемы, которые могут возникнуть в процессе.
В докладе пойдет речь о том, что и почему изменилось в архитектуре Рамблер ТОП100 за последние два года. (А также о том, что было решено не изменять).
Другие доклады секции Основная секция
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.
beCloud является одним из ведущих поставщиков облачных решений, ИТ-инфраструктуры и хостинга в Беларуси. Провайдер оказывает услуги на базе опорной сети для Единой сети передачи данных и Республиканского центра обработки данных, основываясь на лучших мировых практиках и инновационном опыте лидеров. Компания, основанная 19 декабря 2012 года, стала первым инфраструктурным оператором страны.
Университет, который занимается как образовательной деятельностью, так и научными разработками.
AG-legal - ведущая юридическая консалтинговая компания в области IT-права, предоставляет полное юридическое сопровождение для IT-компаний. Помимо участия в конференциях проводят вебинары, пишут экспертные статьи на vc.ru и активно участвуют в формировании судебной практики в спорах айти-компаний.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Yandex Cloud — публичная облачная платформа, которая предоставляет корпорациям, среднему бизнесу и частным разработчикам масштабируемую инфраструктуру, сервисы хранения данных, инструменты машинного обучения и средства разработки.
Мы международная IT-компания. Наши ключевые направления – разработка кроссплатформенных мобильных приложений на Flutter и высоконагруженных проектов любой сложности. Мы реализуем все этапы разработки: от прототипирования и дизайна до тестирования и поддержки. В портфолио Фрифлекс – более 80 разработанных мобильных приложений, установленных в смартфонах у миллионов пользователей.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Компания Dominion c 2001 года занимается разработкой веб-систем. Специализируются на eCommerce-проектах: розничные и оптовые интернет-магазины, маркетплейсы. С 2019 года развивают решение для оптовых продаж — B2B-платформа Formix. http://dominion.ru/ https://formix.ru/
Один из крупнейших в РФ онлайн-сервисов по заказу лекарств.
Грамант
Samokat.tech — продуктово-технологическая команда, которая делает IТ для ретейла реального времени. От доставки продуктов и товаров для дома за 15 минут до развития нового слоя городской инфраструктуры для мгновенной доставки любых товаров — с помощью технологий.
IT_One — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций. Наша команда реализует крупнейшие проекты цифровой трансформации страны.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Команда Тинькофф — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются более 38 миллионов клиентов. Тинькофф развивает IT-индустрию, поддерживает комьюнити и делится экспертизой.
Tempesta Technologies
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. С недавних пор компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
IT_One — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций. Наша команда реализует крупнейшие проекты цифровой трансформации страны.
Авито, Sphinx
Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.
VK — это более 200 технологичных проектов, свыше 11 000 сотрудников и более 20 лет опыта создания высоконагруженных интернет-сервисов. ВКонтакте, Одноклассники, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей по всей стране.
VK — это более 200 технологичных проектов, свыше 11 000 сотрудников и более 20 лет опыта создания высоконагруженных интернет-сервисов. ВКонтакте, Одноклассники, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей по всей стране.
AG-legal - ведущая юридическая консалтинговая компания в области IT-права, предоставляет полное юридическое сопровождение для IT-компаний. Помимо участия в конференциях проводят вебинары, пишут экспертные статьи на vc.ru и активно участвуют в формировании судебной практики в спорах айти-компаний.
VK — это более 200 технологичных проектов, свыше 11 000 сотрудников и более 20 лет опыта создания высоконагруженных интернет-сервисов. ВКонтакте, Одноклассники, VK Cloud, Дзен, Маруся, VK Play — это лишь часть продуктов VK, которыми ежедневно пользуются миллионы людей по всей стране.
AG-legal - ведущая юридическая консалтинговая компания в области IT-права, предоставляет полное юридическое сопровождение для IT-компаний. Помимо участия в конференциях проводят вебинары, пишут экспертные статьи на vc.ru и активно участвуют в формировании судебной практики в спорах айти-компаний.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
IT_One — компания по разработке программного обеспечения для крупных игроков российского бизнеса и созданию собственных технологических решений и инноваций. Наша команда реализует крупнейшие проекты цифровой трансформации страны.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Samokat.tech — продуктово-технологическая команда, которая делает ИТ для ритейла реального времени. От доставки продуктов и товаров для дома за 15 минут до развития нового слоя городской инфраструктуры для мгновенной доставки любых товаров – с помощью технологий.
Компромиссная производительность (или какой логикой руководствуются владельцы коммерческих ресурсов)
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Мы ставим перед собой масштабные вызовы и делаем технологии доступными для каждого пользователя. ВКонтакте помогает решать любые повседневные задачи — и даже больше!
Дзен — контентная платформа, которой каждый месяц пользуются 32,5 миллиона человек. Рекомендательные алгоритмы отбирают контент для персональных лент пользователей от 100 тысяч авторов из почти 5 миллионов возможных вариантов.
В ScrumTrek мы уже 17 лет помогаем компаниям внедрять инновации и продуктовый подход, проводить трансформацию, обучать людей и повышать эффективность бизнеса при помощи гибких практик управления. Также мы организуем крупные конференции: AgileDays и ArchDays, которые собирают сотни людей с новыми идеями и занимательными кейсами.
Yandex Cloud — публичная облачная платформа, которая предоставляет корпорациям, среднему бизнесу и частным разработчикам масштабируемую инфраструктуру, сервисы хранения данных, инструменты машинного обучения и средства разработки.
Vi.Tech — это дочерняя компания ВсеИнструменты.ру, в которой делают IT-продукты для одного из крупнейших игроков на рынке e-commerce.
Evrone — это более 15 лет опыта в разработке высоконагруженных и ресурсоемких проектов со сложной бизнес-логикой, в продуктовой разработке для стартапов, аудите и консалтинге. Команда обладает экспертизой в Ruby, Go, Python, Rust, Elixir, React.js, Vue.js и приветствует Open Source-инициативы.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Kinescope — видеоинфраструктура для интернета. Помогают бизнесу раскрыть потенциал профессиональных видеорешений для своих задач. Объединяют все необходимое для хранения, обработки, CDN-доставки и защиты видео в одном месте. Продукты Kinescope подходят как для стартапов, так и для компаний из списка РБК500 и государственных предприятий с высокими нагрузками и сложной логикой.
ITECH — веб-интегратор, который более 20 лет занимается автоматизацией бизнес-процессов в крупных компаниях. ITECH внедряет решения по цифровизации HR, продаж, маркетинга и работы с поставщиками. Замещает западные enterprise-решения на российское ПО. Разрабатывает корпоративные WEB-проекты. Среди постоянных клиентов: Северсталь, Евраз, МТС Касса, РМК, Ключавто, ЕМС.
Дзен — контентная платформа, которой каждый месяц пользуются 32,5 миллиона человек. Рекомендательные алгоритмы отбирают контент для персональных лент пользователей от 100 тысяч авторов из почти 5 миллионов возможных вариантов.
Райффайзен Банк — часть австрийской банковской группы Raiffeisen Bank International. Работают в России с 1996 года и входят в тройку самых надежных российских банков по версии Forbes. В команде Райфа более 1500 IT-специалистов, которые работают над продуктами будущего и развивают финтех в России. И не любят легаси.
Selectel — ведущий провайдер облачной инфраструктуры и услуг дата-центров. Компания занимает лидирующие позиции на рынке выделенных серверов и приватных облаков и входит в топ-3 крупнейших операторов дата-центров в России. Selectel работает на рынке с 2008, на сегодняшний день у компании более 23 000 клиентов.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
AG-legal - ведущая юридическая консалтинговая компания в области IT-права, предоставляет полное юридическое сопровождение для IT-компаний. Помимо участия в конференциях проводят вебинары, пишут экспертные статьи на vc.ru и активно участвуют в формировании судебной практики в спорах айти-компаний.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
ITECH — веб-интегратор, который более 20 лет занимается автоматизацией бизнес-процессов в крупных компаниях. ITECH внедряет решения по цифровизации HR, продаж, маркетинга и работы с поставщиками. Замещает западные enterprise-решения на российское ПО. Разрабатывает корпоративные WEB-проекты. Среди постоянных клиентов: Северсталь, Евраз, МТС Касса, РМК, Ключавто, ЕМС.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Компания Last.Backend занимается созданием DevOps технологий и продуктов. Имеет собственную систему оркестровки контейнеров аналога kubernetes. Так же занимается DevOps акселерацией компаний, помогая в кратчайшие сроки получить качественную автоматизированную инфраструктуру под проект с дальнейшим 24/7 мониторингом.
Дзен — это контентная платформа, ленту рекомендаций которой ежедневно используют более 20 млн пользователей. Отталкиваясь от интересов каждого пользователя, Дзен собирает ленту из статей, видео, коротких видео и постов.
NGENIX
Kinescope — видеоинфраструктура для интернета. Помогают бизнесу раскрыть потенциал профессиональных видеорешений для своих задач. Объединяют все необходимое для хранения, обработки, CDN-доставки и защиты видео в одном месте. Продукты Kinescope подходят как для стартапов, так и для компаний из списка РБК500 и государственных предприятий с высокими нагрузками и сложной логикой.
«Газпромбанк» (Акционерное общество) — один из крупнейших универсальных финансовых институтов России, предоставляющий широкий спектр продуктов и услуг корпоративным и частным клиентам, финансовым институтам, институциональным и частным инвесторам.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Дзен — это контентная платформа, ленту рекомендаций которой ежедневно используют более 20 млн пользователей. Отталкиваясь от интересов каждого пользователя, Дзен собирает ленту из статей, видео, коротких видео и постов.
Яндекс Go — это суперапп, предоставляющий сервисы, связанные с передвижением по городу. Он объединяет водителей и курьеров в сервисах для заказа такси, доставки и транспортировки грузов.
Data Egret
Vi.Tech — это дочерняя компания ВсеИнструменты.ру, в которой мы делаем IT-продукты для одного из крупнейших игроков на рынке e-commerce.
Sidero Labs: we deliver better ways to run Kubernetes. Облегчаем жизнь обладателям больших и маленьких кластеров Kubernetes с помощью Talos Linux и Sidero Omni.
