Нереляционные системы хранения данных (HCS: хранение и обработка сверхбольших объемов иерархических данных) Основная секция
Доклад принят в Программу конференции
Тезисы
Hcs3
View SlideShare presentation or Upload your own.
Нереляционные системы хранения данных / Павел Уваров
Тезисы
Цель доклада – познакомить слушателей с концепцией потоковых баз данных, их достоинствами, недостатками и областью применимости.
Когда данных становится так много, что уместить их в обычную реляционную БД, такую как MySQL, становится проблематичным, приходится думать, как удобно организовать их хранение и обработку без лишних накладных расходов. Использование специально заточенных форматов негибко и трудоемко, поэтому нужно искать золотую середину между гибкостью универсальной БД и оптимальностью специальных форматов.
Так как данных очень много, то и обрабатывать их приходится большими пачками, поэтому мы неизбежно приходим к тому, чтобы ограничиться последовательной обработкой. Так возникает термин «потоковая база данных», т. е. БД, основанная на последовательной (пото- ковой) обработке.
Рассматривается пример реализации этой БД в Рамблере под названием HCS (Hierarchically Compressed Stream).
Помимо последовательного доступа, БД имеет возможность ограниченного случайного доступа, что делает ее привлекательным средством для построения поисковых индексов.
Целевая аудитория
Аудитория доклада – специалисты среднего и высокого уровня, участвующие в проектах (например, поисковик) по хранению, обработке и использованию сверхбольших объемов данных, иерархических по природе.О докладчике
Павел Уваров, руководитель отдела поисковых технологий в Рамблере.
Контакты: puvar@rambler-co.ruДругие доклады секции Основная секция
ИИ-стартап ОринаТех
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
red_mad_robot Создаём прорывные цифровые продукты и сервисы с нуля и развиваем существующие Помогаем запускать и развивать бизнес в цифровой среде и закладывать основу для роста на рынке Запускаем стартапы и поддерживаем предпринимателей, которые создают будущее Развиваем центр исследований и разработки AI‑решений
VK — крупнейшая технологическая компания по числу пользователей в Рунете. Цифровые продукты VK предоставляют десяткам миллионов людей возможность решать повседневные задачи онлайн: общаться, учиться, развлекаться и самореализовываться. Для предпринимателей VK разрабатывает инструменты развития и продвижения бизнеса в социальных сетях и на контентных платформах. Для бизнес-клиентов VK развивает продукты и услуги по цифровизации. VK — это команда профессионалов, которая создает комфортную и безопасную цифровую среду для миллионов людей и тысяч бизнес-клиентов. Компания привлекает лучшие таланты и предоставляет им возможность раскрыть свой потенциал в дружелюбной и безопасной среде, в командной работе над популярными цифровыми продуктами и сервисами.
«Перкона» (Percona)
Авито, Sphinx
SiteGround
Яндекс – технологическая компания, которая создает инновационные продукты и сервисы на основе машинного обучения и нейронных сетей. Компания объединяет более 85 пользовательских сервисов. Основные бизнес-направления компании – поиск и портальные сервисы, электронная коммерция, сервисы объявлений, фантех, сервисы онлайн-заказа такси и заказа еды, автономный транспорт. Яндекс также предлагает продукты для рекламодателей и владельцев бизнеса.
МТС Веб Сервисы (MWS) — IT-холдинг МТС, созданный в конце 2024 года: он объединил МТС Digital, облачное направление, Big Data, MTS AI и VisionLabs в одну компанию. Сегодня это более 100 сервисов для бизнеса — облачная инфраструктура и платформы, искусственный интеллект, работа с данными, кибербезопасность, DevOps и no-code-инструменты. Во II квартале 2026 года выручка составила 15 млрд рублей, внешняя выручка выросла на 18%, а направление ИИ — на 71%. Амбиция компании — войти в тройку крупнейших бигтехов России.
Т‑Банк — онлайн-экосистема, основанная на финансовых и лайфстайл-услугах. Клиентами Т‑Банка стали 55 млн человек по всей России. Т‑Банк — второй крупнейший банк страны по количеству активных клиентов
PROZY.TECH - компания в области высоконагруженных и распределённых систем. Мы помогаем проектировать, масштабировать и сопровождать финтех- и data-intensive решения, повышать их отказоустойчивость, производительность и наблюдаемость.
Битрикс24 — одна из крупнейших IT-компаний России. Уже более 25 лет создают продукты, которые помогают работать бизнесу во всем мире. В их онлайн-сервисе собраны все нужные инструменты для работы компании и управления бизнесом. Среди них: сервис для создания, поддержки и развития веб-проектов, готовый набор инструментов для совместной работы компании и CRM-система.
ТризТех - продуктовая компания в группе компаний Позитив, которая за 2 года выросла из небольшого стартапа в отдельное сетевое направление и создала продукт PT NGFW (Next Generation Firewall). PT NGFW - первый российский межсетевой экран нового поколения, предназначенный для защиты высоконагруженных сетей и корпоративных систем от разнообразных киберугроз.
Cian.ru – крупнейший интернет-сервис для покупателей и арендаторов жилья, самая большая и актуальная база объявлений, регулярно обновляемая за счет запуска новых сервисов и расширения географии представленных объектов.
Альфа банк - это крупнейший частный универсальный банк в России. По объему активов он стабильно занимает четвертое место в банковской системе страны и входит в перечень системно значимых кредитных организаций. Банк активно занимается технологическим развитием, в том числе внедряет технологии искусственного интеллекта в различные бизнес-процессы
Главный научный инновационный внедренческий центр» (ГНИВЦ) — современная IT-компания и ведущий технологический партнёр государственных структур и лидеров российского бизнеса в области комплексной автоматизации сложных бизнес-процессов. Компания оказывает полный спектр услуг и решает сложные задачи в сфере стратегического развития IT-ресурсов организации и повышения эффективности процессов, а также оказывает услуги в области создания и внедрения систем управления, проектирования и построения IT-инфраструктуры, управления данными и аналитики, системной интеграции, разработки программного обеспечения и уникальных решений информационной безопасности. АО «ГНИВЦ» строит долгосрочные партнерские отношения со своими клиентами, такими как ФНС России, Минфин России, Банк России, Минобороны России, ОАО «РЖД», Банк ВТБ, Аэрофлот — российские авиалинии, СОГАЗ, Вымпелком (Билайн), Газпромбанк и многими другими, основываясь на инновациях, выдающемся опыте, репутации и глубокой отраслевой экспертизе.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
«Перкона» (Percona)
red_mad_robot Создаём прорывные цифровые продукты и сервисы с нуля и развиваем существующие Помогаем запускать и развивать бизнес в цифровой среде и закладывать основу для роста на рынке Запускаем стартапы и поддерживаем предпринимателей, которые создают будущее Развиваем центр исследований и разработки AI‑решений
PROZY.TECH - компания в области высоконагруженных и распределённых систем. Мы помогаем проектировать, масштабировать и сопровождать финтех- и data-intensive решения, повышать их отказоустойчивость, производительность и наблюдаемость.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
КуБорд - разработчик комплексных программных решений для распределенных квантово-классических архитектур: консультационно-образовательные, научно-исследовательские и интеграционные проекты. Направления решаемых задач: Оптимизация Моделирование физических и химических процессов Гибридный квантово-классический ИИ
Positive Technologies - лидер рынка РФ по обеспечению ИБ на рынке большого бизнесе. В числе наших клиентов - ГазПромНефть, Лукойл, СургутНефтьГаз, ПочтаРФ и многие другие. Флагманскими продуктами компании являются продукты: MPX, NGFW, MP8, MP360 и многие другие софтовые решения по созданию результативной кибербезопасности
АНО ДПО «Техническая академия Росатома» — одна из двух компаний, которые в ГК Росатом отвечают за обучение, при этом обучают больше технических специалистов, нежели пользователей.
Грамант
Крупнейший классифайд на РФ рынке.
Data Egret
Cloud.ru — российский провайдер облачных услуг и IT-инфраструктуры, специализирующийся на предоставлении высокопроизводительных вычислительных ресурсов, хранилищ данных и инструментов для эффективного развертывания и управления приложениями. Компания активно развивает собственные технологические решения, направленные на повышение надежности, безопасности и производительности облачной платформы. Среди ключевых направлений деятельности — поддержка и развитие инфраструктуры для задач машинного обучения, аналитики больших данных и высоконагруженных приложений.
devhands.io
Т‑Банк — онлайн-экосистема, основанная на финансовых и лайфстайл-услугах. Клиентами Т‑Банка стали 55 млн человек по всей России. Т‑Банк — второй крупнейший банк страны по количеству активных клиентов
YADRO — российская технологическая компания, основанная в 2014 году. Мы создаем, производим и поддерживаем линейки серверов, систем хранения данных и коммутаторы для дата-центров различных IT-компаний, банков, ритейлеров, предприятий сферы образования, энергетики и транспорта. Кроме того, мы разрабатываем микропроцессоры на базе открытой архитектуры RISC‑V, внедряем технологии на базе искусственного интеллекта в продукты YADRO и создаем операционную систему для персональных устройств KVADRA. Также мы в YADRO c нуля разрабатываем телекоммуникационные решения для беспроводных мобильных сетей и сопутствующих услуг. Например, первые российские базовые станции стандартов 2G и 4G, а также системы управления и мониторинга для них. Стремимся создать высококачественный продукт для телеком-индустрии, который станет лучшим на отечественном рынке. Сегодня команда насчитывает 8500+ сотрудников, большая часть из которых — инженеры. Нас объединяет стремление создавать лучшие технические решения и оставить свой след в истории.
Яндекс – технологическая компания, которая создает инновационные продукты и сервисы на основе машинного обучения и нейронных сетей. Компания объединяет более 85 пользовательских сервисов. Основные бизнес-направления компании – поиск и портальные сервисы, электронная коммерция, сервисы объявлений, фантех, сервисы онлайн-заказа такси и заказа еды, автономный транспорт. Яндекс также предлагает продукты для рекламодателей и владельцев бизнеса.
STM Labs — российский разработчик программного обеспечения. Умеют все: от проектирования и создания высоконагруженных систем до приложений и интеграции. Более 10 лет компания STM Labs реализует проекты и создает IT-решения различной сложности для бизнеса, в том числе применяя собственную платформу flexiflow.
«Инфосистемы Джет» входит в десятку крупнейших ИТ-компаний России и в ТОП-5 поставщиков ИТ-услуг.
Главный научный инновационный внедренческий центр» (ГНИВЦ) — современная IT-компания и ведущий технологический партнёр государственных структур и лидеров российского бизнеса в области комплексной автоматизации сложных бизнес-процессов. Компания оказывает полный спектр услуг и решает сложные задачи в сфере стратегического развития IT-ресурсов организации и повышения эффективности процессов, а также оказывает услуги в области создания и внедрения систем управления, проектирования и построения IT-инфраструктуры, управления данными и аналитики, системной интеграции, разработки программного обеспечения и уникальных решений информационной безопасности. АО «ГНИВЦ» строит долгосрочные партнерские отношения со своими клиентами, такими как ФНС России, Минфин России, Банк России, Минобороны России, ОАО «РЖД», Банк ВТБ, Аэрофлот — российские авиалинии, СОГАЗ, Вымпелком (Билайн), Газпромбанк и многими другими, основываясь на инновациях, выдающемся опыте, репутации и глубокой отраслевой экспертизе.
MTS Web Services (MWS) — облачные сервисы для решения задач вашего бизнеса. Мы предоставляем сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Мы также строим публичную облачную платформу собственной разработки с нуля. Она станет доступна в 2025 году.
Яндекс – технологическая компания, которая создает инновационные продукты и сервисы на основе машинного обучения и нейронных сетей. Компания объединяет более 85 пользовательских сервисов. Основные бизнес-направления компании – поиск и портальные сервисы, электронная коммерция, сервисы объявлений, фантех, сервисы онлайн-заказа такси и заказа еды, автономный транспорт. Яндекс также предлагает продукты для рекламодателей и владельцев бизнеса.
Разработка цифровых решений на базе ИИ для группы компаний Северсталь.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
КуБорд - разработчик комплексных программных решений для распределенных квантово-классических архитектур: консультационно-образовательные, научно-исследовательские и интеграционные проекты. Направления решаемых задач: Оптимизация Моделирование физических и химических процессов Гибридный квантово-классический ИИ
МТС Веб Сервисы (MWS) — IT-холдинг МТС, созданный в конце 2024 года: он объединил МТС Digital, облачное направление, Big Data, MTS AI и VisionLabs в одну компанию. Сегодня это более 100 сервисов для бизнеса — облачная инфраструктура и платформы, искусственный интеллект, работа с данными, кибербезопасность, DevOps и no-code-инструменты. Во II квартале 2026 года выручка составила 15 млрд рублей, внешняя выручка выросла на 18%, а направление ИИ — на 71%. Амбиция компании — войти в тройку крупнейших бигтехов России.
АО «Гринатом» — это отраслевой общий центр обслуживания (ОЦО) и ИТ-интегратор госкорпорации «Росатом». Компания была создана 18 декабря 2009 года для централизации и автоматизации обеспечивающих функций предприятий атомной отрасли.
КуБорд - разработчик комплексных программных решений для распределенных квантово-классических архитектур: консультационно-образовательные, научно-исследовательские и интеграционные проекты. Направления решаемых задач: Оптимизация Моделирование физических и химических процессов Гибридный квантово-классический ИИ
КуБорд - разработчик комплексных программных решений для распределенных квантово-классических архитектур: консультационно-образовательные, научно-исследовательские и интеграционные проекты. Направления решаемых задач: Оптимизация Моделирование физических и химических процессов Гибридный квантово-классический ИИ
