Разработка проектов с высокой посещаемостью (Принципы построения масштабируемых высоконагруженных веб-проектов) Основная секция
Доклад принят в Программу конференции
Тезисы
Rybak Big Projects New
View SlideShare presentation or Upload your own.
Разработка проектов с высокой посещаемостью / Алексей Рыбак
Тезисы
Большинство крупных проектов состоят из внушительного количества разнообразных программных компонент и живет на большом количестве физических серверов. Поэтому важней?шей задачей технической команды проекта является выбор такой архитектуры, чтобы были обеспечены: оптимальная стоимость владения и масштабируемость проекта. Подавляющее большинство молодых проектов переживает как минимум один существенный кризис роста: как только проект приобретает популярность, вдруг оказывается, что дальше расти без серьезного «хирургического» вмешательства не получается и необходимо в кратчайшие сроки кардинально менять архитектуру. Чаще всего это оказывается крайне трудоемким и весьма нервным занятием, поэтому лучше большинство проблем постараться предусмотреть заранее.
В докладе, который носит учебный характер, мы коснемся ключевых проблем, которые должны быть решены практически в любом крупном проекте: масштабирование «в пространстве» (разделение по серверам или «физически» разным под-системам, компонентое/сервисное разделение) и «во времени» (очереди, асинхронная обработка). Основное внимание будет уделено трём темам: масштабирование веб/application серверов, масштабирование серве?ров баз данных и асинхронная обработка отложенных событий. Стек технологий: Linux/Unix, apache/nginx, PHP/Perl/Python, MySQL – однако рассматриваемые принципы применимы для гораздо более широкого спектра.
Целевая аудитория
В первую очередь мы ориентируемся на разработчиков, которые уже сделали первые шаги к настоящему Мастерству, но хотят существенно пополнить и систематизировать свои знания. Особенно доклад будет интересен разработчикам, которые либо уже сталкиваются с проблемами производительности, либо хотят быть во всеоружии перед ростом популярности и большими нагрузками на свои проекты. Многие вопросы, которых мы будем касаться, будут также интересны архитекторам и техническим руководителям.
О докладчике
Алексей Рыбак (badoo.com). Москва, 32 года. Окончил физический ф-т МГУ. Разработкой веб-проектов занимается с 1999 года. Основное направление работы в последние годы - массовые социальные сервисы, фото- и видео-хостинг, знакомства. Принимал участие в разработке проектов badoo.com, mamba.ru, ДИВ ВГТРК, Мемонет.
Контакты: alexey.rybak@gmail.com
Другие доклады секции Основная секция
Руковожу платформой, DWH и ML Ops
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Команда Яндекс 360 создает продукты, которые решают повседневные задачи миллионов пользователей: от хранения воспоминаний до деловой переписки. В Яндекс 360 входят Почта, Диск, Документы, Телемост, Календарь, Заметки и Мессенджер
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
ITentika (ранее российский центр разработки DataArt) - разработчик ПО с 25-летним опытом создания ИТ-решений для ведущих международных компаний и крупнейших экосистем РФ. Мы проектируем и разрабатываем технологически сложные решения на стыке информационных технологий и бизнес-консалтинга, позволяющие нашим клиентам кратно увеличить прибыль и стать лидером отрасли. ITentika входит в ТОП-20 крупнейших разработчиков ПО (Рейтинговое агентство RAEX).
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Wildberries — онлайн-платформа с 18-летней историей. География присутствия площадки охватывает 7 стран мира, в том числе Россию, Белоруссию, Казахстан, Армению, Киргизию. Ежедневно на площадке оформляется 8 млн заказов, а 90% её продавцов — представители малого бизнеса.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Data Egret
Развитие инженера
IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
SiteGround
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
DDoS-Guard — cпециализированный провайдер защиты от DDoS-атак на базе собственных разработок. Им доверяют тысячи клиентов по всему миру, среди которых ISPsystem, Selectel, Reg.ru, hh.ru и другие. За 2023 год система защиты DDoS-Guard отразила 1.4 млн атак.
Звук — это аудиостриминг c музыкой в HiFi-качестве, подкастами, аудиокнигами, эксклюзивными плейлистами и разделом для детей. Это продуктово-инженерная компания из 700+ экспертов. Более 450 инженеров, разработчиков и продактов, 6 продуктовых стримов и 19 продуктовых команд каждый день делают стриминг надежнее и наполняют его полезными фичами.
Одно из ключевых подразделений Сбера, занимающееся искусственным интеллектом.
Яндекс Еда – это про скорость, про быструю доставку из кафе, ресторанов и любых магазинов.
Дзен — контентная платформа, которой каждый месяц пользуются 32,5 миллиона человек. Рекомендательные алгоритмы отбирают контент для персональных лент пользователей от 100 тысяч авторов из почти 5 миллионов возможных вариантов.
С 2023 года я самостоятельный бизнес-тренер. Работаю с физическими лицами и корпоративными клиентами. Мои корповые клиенты - это лидеры своих отраслей (банки из ТОП-3, ритейлеры из ТОП-5, ИТ-компании из ТОП-50 по мнению hh.ru). Cайт:
QIWI — международная группа компаний, которая предоставляющая платежные и финансовые сервисы в России и в других странах.
Технологический партнер с комплексной экспертизой в области построения и развития инфраструктуры, внедрения информационных систем, разработки программных решений и сервисной поддержки. КРОК реализует проекты, которые задают тон индустрии: от крупнейшего ЦОДа в стране до «умной» инфраструктуры спортивных объектов.
Samokat.tech создает IТ для ретейла реального времени. От доставки продуктов и товаров для дома за 15 минут, до развития нового слоя городской инфраструктуры для быстрой доставки любых товаров — с помощью технологий. Большая цель компании — сделать e-commerce-сервис №1 в России и собрать в одном месте всё лучшее, что может предложить онлайн-торговля.
Сибирские нейросети - молодая, но быстро развивающаяся компания, которая занимается продуктами в области обработки естественного языка и речевой аналитики.
Команда Тинькофф — это разработчики, продакт-менеджеры, дизайнеры, маркетологи, аналитики, тестировщики, SRE-инженеры и другие специалисты. Вместе они создают новые и развивают существующие финтех-продукты, которыми пользуются 25 миллионов клиентов и каждый из нас.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Центр удаленной разработки. Специализируемся на предоставлении программистов 1С, MS Dynamics 365, Python, Java на проекты заказчиков на full time. Наши разработчики дистанционно работают на проектах заказчиков. 200+ сотрудников,
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Российский исследовательский институт Huawei обеспечивает цифровыми технологиями каждого человека, каждый дом и каждую компанию, чтобы создать объединенный мир высоких технологий, в том числе с использованием технологий искусственного интеллекта. Для этого мы изучаем интеллектуальное будущее вместе с ведущими партнерами с целью обеспечить, чтобы продукты, решения и сервисы полного цикла Huawei были конкурентоспособны и отвечали современным требованиям безопасности.
Hilbert Team — системный IТ‑интегратор. Отраслевой эксперт в области DevOps, DataOps, DevSecOps и FinOps.
«Перкона» (Percona)
Orion soft – российская ИТ-компания, разработчик реестровых инфраструктурных ИТ-решений. В экосистему продуктов Orion soft входят защищенная среда виртуализации zVirt, платформа контейнеризации Nova Container Platform, CMP-платформа Cloudlink, СУБД на базе PostgreSQL Proxima DB, а также платформа терминального доступа Termit. Все продукты экосистемы Orion soft совместимы между собой и включены в Реестр российского ПО.
Авито, Sphinx
Звук — это музыка в HiFi-качестве, а также подкасты, аудиокниги, эксклюзивные плейлисты и раздел для детей. Звук можно послушать в приложении, доступном во всех популярных сторах, на сайте zvuk.com, а также в автомобилях с поддержкой CarPlay и AndroidAuto.
Газпромбанк — один из крупнейших банков России. Они не просто банкиры: создают искусственный интеллект, придумывают новые цифровые продукты и поддерживают профессиональное комьюнити. Планируют стать самым дата-центричным и диджитализированным банком страны.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Крупнейшая российская IT компания с самой большой долей поиска в РФ.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Грамант
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
SberDevices — IT-компания полного цикла в экосистеме Сбера, R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства — от лампочек до телевизоров. В портфолио SberDevices — ruGPT-3, ruDall-E, RuSBERT и другие масштабные ML-проекты, высоконагруженные системы и технологии обработки Big Data.
IT Test — команда по разработке, тестированию и дизайну сложных отраслевых IT-решений. Делаем компании более эффективными за счет цифровизации процессов. 8+ лет на рынке digital-услуг, 200+ реализованных проектов, 70+ проверенных партнеров, 85+ наград в ключевых рейтингах digital-агентств. Занимаемся не только заказной разработкой, но и создаем собственные продукты: наша TMS DoQA увеличивает эффективность процессов тестирования, усиливает аналитику и стандартизирует документацию.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
«Перкона» (Percona)
Топ-3 производителей пива России
Компания «ЭвоКарго» разрабатывает автономные логистические решения. «ЭвоКарго» предлагает принципиально новую экономически эффективную логистическую услугу по сервисной модели с применением автономного транспорта собственного производства на складских и производственных площадках. За три года компания стала одной из первых в мире, успешно запустивших полностью автономный логистический сервис грузоперевозок. Сервис позволяет снизить расходы на содержание флота до 30%.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч rps к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
На Авито каждый может найти что-то свое среди миллионов частных объявлений и предложений компаний по всей России: от квартиры и автомобиля до работы и кандидатов на вакансии. Сервис делают более 1300 инженеров. В Авито небольшой монолит на PHP, несколько сотен микросервисов на Go и Python, фронтенд на JavaScript, базы данных PostgreSQL, MongoDB и Redis, автоматические тесты, обученная на данных система модерации и поисковый движок Sphinx. Продуктом каждый месяц пользуется треть населения России.
Последние несколько месяцев я "счастливый безработный". Занимаюсь своим open source проектом, сообществом (https://vk.cc/cvAlE8) и выступаю с докладами
«Платформа Сфера» — универсальная экосистема продуктов для производства технологических решений, которая включает в себя более 40 инструментов для управления разработкой, тестированием, эксплуатацией программного обеспечения, а также инженерных инструментов для работы с исходным кодом и инструментами мониторинга рабочих станций и анализа бизнес-процессов.
