Web, кэширование и memcached Основная секция
Доклад принят в Программу конференции
Talos
Руководитель разработки, разработчик, фанат Go, Python, DevOps и больших нагрузок. Руководил разработкой backend-сервисов в стартапе Qik, после его покупки продолжил работать в компаниях Skype и Microsoft. До этого участвовал в разработке и руководил созданием таких проектов, как damochka.ru, delit.net, smotri.com. Андрей - автор opensource-проектов aptly (https://github.com/smira/aptly), Redis Resharding Proxy (https://github.com/smira/redis-resharding-proxy) и txZMQ (https://github.com/smira/txZMQ). Автор мастер-класса "Разработка надёжных высоконагруженных систем" (http://smira.highload.ru/).
Тезисы
Smirnov Memcached High Load 2008
View SlideShare presentation or Upload your own.
Web, кэширование и memcached / Андрей Смирнов
Тезисы
Цель доклада – рассказать о проблемах кэширования в распределенных высоконагруженных проектах и о возможных путях решения этой проблемы. Предполагаемый уровень подготовки аудитории - начинающий++.
Современный высоконагруженный проект может использовать десятки гигабайт распределенной памяти, используемой под кэш, организованной в виде кластера memcached-серверов. Зачем нужен memcached? Как работать с таким хранилищем, как распределить ключи по элементам кластера? Как назвать ключ, соответствующий кэшу? Как обеспечить атомарность операций, “блокировки”?
Как эффективно использовать такое хранилище? Как исключить возможность одновременного построения “тяжелых” кэшей разными мордами? Как сбросить одновременно группу кэшей? Как отлаживать (собирать статистику) о кэшировании? Как работает slab-аллокатор? Для чего еще может быть полезен memcached в веб-проекте?
О докладчике
Андрей Смирнов, технический директор компании NetStream. Обладает опытом создания архитектуры и реализации высоконагруженных веб- и других сетевых проектов. Дополнительная информация: http://netstream.ru/ru/about/techdir/
Контакты: smira@netstream.ru, ICQ: 135225957
Другие доклады секции Основная секция
Авито, Sphinx
Островок! — travel-tech компания, создающая платформы онлайн-бронирования отелей, авиабилетов и других услуг как для индивидуальных путешественников, так и для корпоративных клиентов и тревел-агентств. Наши бренды: Островок!, B2B.Ostrovok.ru, Островок! Командировки. Мы развиваем проекты как в России, так и за рубежом.
Грамант
CloudReports. Мы разрабатываем программные решения для работы с данными: Системы аналитики Службы интеграции данных Алгоритмы машинного обучения За 10 лет работы мы помогли многим компаниям построить надежные и эффективные процессы для работы с информацией.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это более 200 технологичных проектов, больше 15 000 сотрудников и миллион возможностей проявить себя. Делают современные и быстрые интернет-сервисы, доступные каждому.
Спортмастер - цифровая спортивная платформа
В конце 2021 года запустил многопрофильное маркетинговое агентство uForce. Реализовали 1000+ крупных проектов. Делаем разное: запускаем ORM компании в комментариях на YouTube с оплатой по CPM, работаем с микроблогерами, настраиваем перфоманс под ключ, работаем с репутацией, привлекаем через мессенджеры клиентов для сложных продуктов и услуг, проводим исследования нестандартными методами.
SiteGround
ндекс — международная ІT-компания с собственной поисковой системой и множеством сервисов. Среди них Еда, Такси, Путешествия, Музыка, Кинопоиск, Реклама и другие. Мы создаём уникальные технологии, контрибьютим в опенсорс, улучшаем IT-образование и запускаем продукты и сервисы, которые помогают людям решать задачи и достигать своих целей в жизни.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
В Nexign пишут на Java, Gо, C# и С++, создают микросервисы и используют собственную СУБД. В команде 2000 экспертов, которые всегда знают, как сделать лучше. Они доказывают это в каждом проекте, будь то внедрение биллинговой платформы крупнейшим телеком-операторам или создание кастомизируемой HRM-системы.
GMCS – российская аккредитованная ИТ-компания, один из лидеров по внедрению бизнес-решений и разработке ПО. Мы помогаем заказчикам осуществить цифровую трансформацию бизнеса с помощью решений ведущих мировых и российских поставщиков, а также продуктов собственной разработки.
«Татнефть Цифровые Технологии» — дочерняя IT-компания ПАО «Татнефть», центр внутренней продуктовой разработки и технического сопровождения. Команда работает над автоматизацией деятельности группы компаний и разработкой пользовательских сервисов.
В компании 900+ человек, 4 города присутствия: Ижевск, Москва, Уфа, Тюмень. Мы разрабатываем программные продукты и сервисы для управления цифровыми процессами и документами. Оказываем полный спектр услуг по выстраиванию цифрового взаимодействия: анализируем бизнес-процессы, создаем, внедряем и сопровождаем ИТ-решения для организаций различных масштабов и отраслей.
devhands.io
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Группа компаний VK это крупнейшая ИТ компания, которая объединяет в себе социальные платформы, почту, облако, образовательные и технологические сервисы для пользователей и компаний.
«Перкона» (Percona)
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 7 стран. Ежедневно покупателям отправляется свыше 12 млн товаров, а сеть пунктов выдачи заказов превышает 46 000 точек.
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
Компания занимается разработкой ПО на заказ
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Index — специализированное IT-рекрутинговое агентство, работающее на рынке России и Европы.
ЕВРАЗ — это горно-металлургическая компания с предприятиями по всей России: от Тулы до Новокузнецка. ООО «ЕвразТехника ИС» выполняет работы (оказывает услуги) по разработке, адаптации, модификации, а также услуги по установке, тестированию и сопровождению программного обеспечения и цифровых решений в группе ЕВРАЗ.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Альфа-Банк - крупная финансовая группа, которая решает ключевые задачи клиентов любого масштаба и предлагает более 100 сервисов. В нашей команде свыше 9 500 IT- и Digital-специалистов, включая разработчиков, тестировщиков, дата-сайентистов, экспертов по кибербезопасности и AI. По версии HeadHunter и Habr Career, занимает первое место среди крупнейших IT-работодателей России
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает Ит-индустрию, поддерживает комьюнити и делится экспертизой.
Купер (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда Купера создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Gravity Field — это B2B-SaaS-платформа для персонализации пользовательского опыта на основе больших данных и продвинутого набора инструментов сегментирования пользователей, алгоритмов товарных рекомендаций, А/В-тестирования, триггерных коммуникаций, продвинутой аналитики и оптимизации кампаний.
Райффайзен Банк — часть австрийской банковской группы Raiffeisen Bank International; работает в России с 1996 года и входит в тройку самых надежных российских банков по версии Forbes. В команде банка более 3000 IT-специалистов, которые работают над продуктами будущего и развивают финтех в России. И не любят легаси.
Билайн - один из ведущих поставщиков телекоммуникационных услуг в России
Компания на рынке уже более 7 лет, занимается сложными трансформациями крупных компаний из финтеха, ритейла и классифайд на рынках РФ и Казахстана.
SberDevices — российская IT-компания полного цикла. R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства, разрабатывает высокотехнологичные сервисы для бизнеса, делает масштабные ML-проекты, LLM, высоконагруженные системы и технологии обработки Big Data. В портфолио SberDevices — SberBox, SberJazz, GigaChat, Kandinsky и другие легенды.
ООО Группа Лоджик Старс является ведущим игроком на рынке IT и уже более 20 лет разрабатывает высококачественное программное обеспечение в сфере автобизнеса. Специализируются на создании инновационных решений, которые помогают ихклиентам оптимизировать бизнес-процессы, повышать эффективность и достигать высоких результатов.
Purrweb компания которая специализируется на разработке MVP приложений и стартапов, за последнее время компания выросла до 200 человек и продолжает развиваться.
«Перкона» (Percona)
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает Ит-индустрию, поддерживает комьюнити и делится экспертизой.
Лемана Тех — ИТ-компания, которая строит технологическую платформу для бренда Лемана ПРО и создает ИТ-инфраструктуру, которая улучшает клиентский опыт и делает его бесшовным. Сейчас в около 140 продуктовых командах компании работает около 1200 ИТ-специалистов.
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
Ростелеком — крупнейший в России интегрированный провайдер digital-решений и услуг для населения, бизнеса и государства. Миссия компании — дать людям качественные и удобные цифровые сервисы для комфортной жизни и эффективного бизнеса.
Магнит OMNI — это более 400 инженеров, объединенные в 40+ продуктовых и платформенных команд. Основные направления продуктовой разработки — программа лояльности «Магнит Плюс» с десятками миллионов пользователей, «Фудтех» — доставка из магазинов Магнит, маркетплейс «Магнит Маркет» и приложение «Магнит: акции и доставка».
Data Egret
AG-LEGAL — юридический консалтинг, сопровождающий IT-компании, а также крупные федеральные компании по вопросам интеллектуальной собственности, категорирования КИИ, персональных данных, включением в Реестр отечественного ПО. Телеграм-канал (3к подписчиков) https://t. me/aglegal. Проводят вебинары, выступали на других конференциях и проводили корпоративное обучение для других компаний.
ООО «Вымпелком-Информационные технологии» ведет аккредитованную деятельность в сфере информационных технологий с 2021 года. Сотрудники компании обеспечивают разработку и поддержку программного обеспечения по самым высоким стандартам. Компания сотрудничает с крупными компаниями, реализует сложные и нетривиальные решения, благодаря чему оттачивается и углубляется высокотехнологичный опыт. https://vcomit.ru/
Домклик – дочка Сбера, через нас выдаётся больше половины ипотеки в нашей стране. Наши IT решения и архитектура позволяют нам первыми на рынке запускать крупные продукты и решать любые вопросы с недвижимостью.
