Масштабированное кэширование для защиты кластера от перегрузок (Создание системы кэширования для сложных вычислительных систем) Основная секция
Доклад принят в Программу конференции
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Тезисы
!!8 Flyonts Serp Cache Hl++2008 (Office97)
View SlideShare presentation or Upload your own.
Масштабированное кэширование для защиты кластера от перегрузок / Владимир Фльонц
Тезисы
Опыт создания и использования собственной системы кэширования SERP
Некоторые запросы к поисковым машинам достаточно популярны и имеют свойство повторяться, вычислять их каждый раз заново было бы неразумной тратой времени.
Сложные условия попадания результата запроса в кэш, равно как и их оперативное удаление, а также большое количество кэшируемых данных лишают возможности использовать стандартные решения.
В реализации собственных решений, кроме прочего, важную роль играет скорость, масштабируемость и отказоустойчивость будущей системы.
План:- Общая структура поисковой машины МЕТА
- Схема обработки отдельно взятого поискового запроса, необходимость кэширования
- Первый опыт: небольшой кэш в памяти
- Необходимость расширения системы, возможные варианты
- Гарантированный результат за фиксированное время (время отклика)
- Второй опыт: всё в BTree
- Следующий опыт: смешанный кэш
- Скорость, масштабируемость, надёжность
- Возможные пути дальнейшего развития системы кэширования
О докладчике
Владимир Фльонц, разработчик ядра поисковой машины МЕТА.
Контакты: flyonts@meta.uaДругие доклады секции Основная секция
Сибур — крупный нефтегазохимический холдинг.
Navio занимается разработкой технологии автономного вождения, совместимую с различными видами транспорта.
Я не хочу делать этот доклад от конкретной компании.
В «Магните» занимается управлением портфелем IT-проектов, трансформацией IT-вертикали, а также контролирует эффективность производственного цикла. Одна из задач — повышение эффективности управления изменениями для бизнес-заказчиков.
"Открытая мобильная платформа" разрабатывает продукты в области системного и инфрастурного ПО для обеспечечния компаний надёжными отечественными решениями построения безопасной и устойчивой мобильной инфраструктуры. Флагманский продукт компании ОС Аврора расширяет свое применение на автомобильную промышленность и финтех.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Tilda Publishing — платформа для создания сайтов, интернет-магазинов и посадочных страниц. Тильда позволяет создавать проекты профессионального уровня для бизнеса и медиа без знания кода.
В конце 2021 года запустил многопрофильное маркетинговое агентство uForce. Реализовали 1000+ крупных проектов. Делаем разное: запускаем ORM компании в комментариях на YouTube с оплатой по CPM, работаем с микроблогерами, настраиваем перфоманс под ключ, работаем с репутацией, привлекаем через мессенджеры клиентов для сложных продуктов и услуг, проводим исследования нестандартными методами.
Компания MixBytes входит в мировой топ по аудитам безопасности смарт-контрактов, занимается разработкой и исследованиями в блокчейн-отрасли.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Разработка цифровых решений на базе ИИ для группы компаний Северсталь.
KION - онлайн кинотеатр, который раздает десятки гигабит видео в секунду и делает жизнь чуть интереснее
Авито, Sphinx
НЛМК ИТ — команда, которая делает IT-системы для металлургии и генерит существенную часть успеха Группы НЛМК, лидера среди российских производителей стали. В нашей готовой продукции нет ни единой строчки кода, но в ее производстве участвует большая IT-команда. Поэтому мы немножечко IT-металлурги. Делаем цифру реальностью!
«Яндекс» — ведущая российская технологическая компания, развивающая экосистему цифровых сервисов: от поиска и карт до транспорта, медиа и ИИ‑технологий. А Городские сервисы Яндекса делают повседневную жизнь в мегаполисе удобнее: такси и каршеринг в «Яндекс Go», быстрая доставка еды и продуктов, навигация и актуальные пробки в «Яндекс Картах».
AG-LEGAL — юридический консалтинг, сопровождающий IT-компании, а также крупные федеральные компании по вопросам интеллектуальной собственности, категорирования КИИ, персональных данных, включением в Реестр отечественного ПО. Телеграм-канал (3к подписчиков) https://t. me/aglegal. Проводят вебинары, выступали на других конференциях и проводили корпоративное обучение для других компаний.
RUTUBE - пожалуй лучший видеохостинг страны.
devhands.io
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Сбер — крупнейший банк России, третий по величине эквайер в мире
Новосибирский государственный университет (НГУ) входит в топ-10 лучших российских университетов согласно QS World University Rankings. Механико-математический факультет, где Иван занимается исследованиями по основному месту работы, является крупнейшим центром исследовательской и преподавательской деятельности по искусственному интеллекту в НГУ. Так, на факультете существует Инженерная школа для бакалавров, магистратура по прикладному машинному обучению и большим данным (совместно с Яндекс-ШАД), лаборатории факультета выполняют проекты по ИИ для индустриальных партнёров НГУ (например, https://nauka.tass.ru/nauka/18507183).
Лемана Тех (Леруа Мерлен) — лидер рынка DIY в России. Переосмысливают DIY-ретейл так же, как другие технологические лидеры до этого меняли банкинг и IТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Сибур — крупный нефтегазохимический холдинг.
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.
АО «Гринатом» — это отраслевой общий центр обслуживания (ОЦО) и ИТ-интегратор госкорпорации «Росатом». Компания была создана 18 декабря 2009 года для централизации и автоматизации обеспечивающих функций предприятий атомной отрасли.
АО «Альфа-Банк» — крупнейший универсальный частный банк в России. На протяжении более 30 лет занимает ведущие позиции во всех сегментах банковского бизнеса. По итогам 9 месяцев 2024 года согласно бухгалтерской (финансовой) отчетности по РСБУ чистая прибыль Альфа-Банка составила 190 млрд руб. Клиентская база составляет более 1,9 млн корпоративных клиентов и 38,7 млн физических лиц. Альфа-Банк развивается по модели Phygital, сочетая цифровые инновации с эффективной сетью физического присутствия, которая насчитывает более 700 офисов и более 27 000 населённых пунктов с доставкой. Лучший мобильный банк по версии Markswebb Alfa Digital — это сообщество внутри Альфа-Банка, объединяющее более 12 000 IT и Digital сотрудников Наша команда делится на центры компетенций: JavaScript, Java, мобильная разработка, QA, аналитика, продуктовый дизайн, UX, Agile и др Для нас важно ощущать полную свободу, возможность экспериментировать и создавать новое. Для этого мы даём все необходимые ресурсы и инструменты.
СберТех — российский разработчик программного обеспечения. Флагманское решение компании — цифровая облачная платформа Platform V для создания бизнес-решений и промышленных приложений любого масштаба и сложности. Она включает более 80 продуктов, которые закрывают потребности разработки на всех уровнях архитектуры предприятия.
Домклик – дочка Сбера, через нас выдаётся больше половины ипотеки в нашей стране. Наши IT решения и архитектура позволяют нам первыми на рынке запускать крупные продукты и решать любые вопросы с недвижимостью.
MTS Web Services (MWS) — облачные сервисы для решения задач вашего бизнеса. Мы предоставляем сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Мы также строим публичную облачную платформу собственной разработки с нуля. Она станет доступна в 2025 году.
Мы строим публичную облачную платформу Yandex Cloud, чтобы дать компаниям доступ к технологиям и сервисам, которые проверены нагрузками Яндекса. Наши продукты — это масштабируемая инфраструктура, сервисы хранения данных, инструменты машинного обучения и средства разработки, которые используют более 47 тысяч клиентов. Более 100 крупнейших компаний России рейтинга РБК-500 создают и совершенствуют свои цифровые сервисы с помощью уникальных технологий Yandex Cloud.
Т-Банк Умная поддержка - это Бот Обслуживания банка и семейство инструментов вокруг него. У Т-Банка нет своих офисов, поэтому качество и скорость решения проблем в чате поддержки - критически важные метрики компании. На текущий момент ведем большой проект по переводу Бота со сценариев на ризонинг
"Открытая Мобильная Платформа" обеспечивает компании надёжными отечественными решениями для построения доверенной безопасной мобильной инфраструктуры.
«Перкона» (Percona)
Яндекс Плюс AdTech - это рекламное направление от Яндекса, которое позволяет бизнесу продвигать товары и услуги, обращаясь к многомиллионной аудитории подписчиков Яндекс Плюса. Проще говоря, это набор инструментов, который даёт рекламодателям возможность запускать единую кампанию сразу в нескольких сервисах экосистемы Яндекса: Кинопоиск, Яндекс Музыка, Яндекс Пэй, Яндекс Книги, Яндекс Афиша и сам сервис «Плюс»
Cloud.ru — российский провайдер облачных услуг и IT-инфраструктуры, специализирующийся на предоставлении высокопроизводительных вычислительных ресурсов, хранилищ данных и инструментов для эффективного развертывания и управления приложениями. Компания активно развивает собственные технологические решения, направленные на повышение надежности, безопасности и производительности облачной платформы. Среди ключевых направлений деятельности — поддержка и развитие инфраструктуры для задач машинного обучения, аналитики больших данных и высоконагруженных приложений.
«Перкона» (Percona)
билайн – технологичная компания, предоставляющая клиентам услуги в области Big Data, IT, безопасности, облачных технологий, интернета вещей и рекламных инструментов. В штате работают более 3000 IT-специалистов, они помогают более 80 000 клиентам из разных отраслей бизнеса быть более эффективными.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Purrweb компания которая специализируется на разработке MVP приложений и стартапов, за последнее время компания выросла до 200 человек и продолжает развиваться.
SiteGround
Контур — экосистема для бизнеса. 70+ сервисов помогают 3,1 млн компаний России вести бухгалтерию и ЭДО, сдавать отчетность и автоматизировать другие рабочие процессы. 120+ команд улучшают продукты-гиганты, запускают стартапы, развивают инфраструктуру.
Мир Plat.Form — это технологический бренд Национальной системы платежных карт (НСПК). Самые известные разработки — платежная система «Мир» и Система быстрых платежей (СБП), а также Мир Plat.Form обрабатывает все внутрироссийские межбанковские операции по всем картам всех платежных систем.
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.
Data Egret
Они — Скала! Облегчают Заказчикам вход в дивный мир российских продуктов, хотят доказать всем, что импортозамещение — это не больно. Продукты Скала^р являются серийно выпускаемыми преднастроенными комплексами и позволяют осуществлять быстрое развёртывание и ввод в эксплуатацию.
YADRO — российская технологическая компания, объединяющая направления разработки и производства вычислительных платформ, систем обработки и хранения данных, телекоммуникационного и сетевого оборудования, персональных и «умных» устройств, микропроцессорных ядер и fabless-разработку микропроцессоров. R&D-центры расположены в Москве, Санкт-Петербурге, Екатеринбурге, Нижнем Новгороде и Минске.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Яндекс Еда - лидер своего сегмента e-com. За 7 лет стала социально-значимым сервисом, кормящим миллионы пользователей. Часть Городских Сервисов Яндекса, меняющих ландшафт мегаполисов и делающих вашу жизнь комфортней.
Psychometrica – проект в области цифровой психометрии. Платформа для психологического тестирования, структурированной оценки состояния и интерпретации результатов с использованием валидированных методик и ИИ под экспертным контролем.
