Проблемы работы с большими объемами реляционно слабосвязанных данных в высоконагруженных веб-проектах Основная секция
Доклад принят в Программу конференции
Data Egret
CEO и консультант в компании Data Egret, специалист по базам данных PostgreSQL, Oracle, DB2.
Тезисы
Проблемы работы с большими объемами реляционно слабосвязанных данных в высоконагруженных веб-проектах / Илья Космодемьянский
Тезисы
Высоконагруженные проекты оперируют большим количеством данных. Часто случается, что эти данные не вписываются в привычную структуру реляционной СУБД, что резко снижает эффективность ее использования и является критичным для работы под большой нагрузкой. Ситуация может возникать по разным причинам, как объективным – природа самих данных, так и субъективным – используемые для реализации бизнес-логики подходы к разработке и технологии.
В данном сообщении будет рассказано о ряде задач, в которых приходится сталкиваться с большими объемами реляционно не связанных данных. Будут рассмотрены основные пути решения этих проблем – готовые решения, подходы к разработке собственных, решения на базе основных современных реляционных СУБД, традиционно применяемых в веб- разработке. Особое внимание планируется уделить сравнительной оценке плюсов и минусов каждого решения в контексте эффективности, надежности, простоты в разработке и поддержке.
Предлагаемые нами подходы основываются как на изучении общедоступного опыта по рассматриваемому вопросу, так и на обширном опыте, накопленном в компании «СУП фабрик».
О докладчике
Илья Космодемьянский, ведущий разработчик отдела технологий баз данных компании "Суп Фабрик".
Контакты: ilya.kosmodemiansky@sup.comДругие доклады секции Основная секция
Я не хочу делать этот доклад от конкретной компании.
RUTUBE - пожалуй лучший видеохостинг страны.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Они — Скала! Облегчают Заказчикам вход в дивный мир российских продуктов, хотят доказать всем, что импортозамещение — это не больно. Продукты Скала^р являются серийно выпускаемыми преднастроенными комплексами и позволяют осуществлять быстрое развёртывание и ввод в эксплуатацию.
Лемана Тех — ИТ-компания, которая строит технологическую платформу для бренда Лемана ПРО и создает ИТ-инфраструктуру, которая улучшает клиентский опыт и делает его бесшовным. Сейчас в около 140 продуктовых командах компании работает около 1200 ИТ-специалистов.
Авито, Sphinx
Лемана Тех (Леруа Мерлен) — лидер рынка DIY в России. Переосмысливают DIY-ретейл так же, как другие технологические лидеры до этого меняли банкинг и IТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
X5 Group — ведущая продуктовая розничная компания России. Была создана в мае 2006 года после слияния сетей «Перекресток» и «Пятерочка». В рамках Компании есть разные Бизнес Единицы, одна из которых — это БЕ Tech, где Александр и работает.
ООО «Вымпелком-Информационные технологии» ведет аккредитованную деятельность в сфере информационных технологий с 2021 года. Сотрудники компании обеспечивают разработку и поддержку программного обеспечения по самым высоким стандартам. Компания сотрудничает с крупными компаниями, реализует сложные и нетривиальные решения, благодаря чему оттачивается и углубляется высокотехнологичный опыт. https://vcomit.ru/
SiteGround
"Открытая мобильная платформа" разрабатывает продукты в области системного и инфрастурного ПО для обеспечечния компаний надёжными отечественными решениями построения безопасной и устойчивой мобильной инфраструктуры. Флагманский продукт компании ОС Аврора расширяет свое применение на автомобильную промышленность и финтех.
Домклик – дочка Сбера, через нас выдаётся больше половины ипотеки в нашей стране. Наши IT решения и архитектура позволяют нам первыми на рынке запускать крупные продукты и решать любые вопросы с недвижимостью.
Билайн - один из ведущих поставщиков телекоммуникационных услуг в России
Purrweb компания которая специализируется на разработке MVP приложений и стартапов, за последнее время компания выросла до 200 человек и продолжает развиваться.
Группа компаний VK это крупнейшая ИТ компания, которая объединяет в себе социальные платформы, почту, облако, образовательные и технологические сервисы для пользователей и компаний.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
Navio занимается разработкой технологии автономного вождения, совместимую с различными видами транспорта.
Сибур — крупный нефтегазохимический холдинг.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
билайн – технологичная компания, предоставляющая клиентам услуги в области Big Data, IT, безопасности, облачных технологий, интернета вещей и рекламных инструментов. В штате работают более 3000 IT-специалистов, они помогают более 80 000 клиентам из разных отраслей бизнеса быть более эффективными.
Разработка цифровых решений на базе ИИ для группы компаний Северсталь.
"Открытая Мобильная Платформа" обеспечивает компании надёжными отечественными решениями для построения доверенной безопасной мобильной инфраструктуры.
ООО Группа Лоджик Старс является ведущим игроком на рынке IT и уже более 20 лет разрабатывает высококачественное программное обеспечение в сфере автобизнеса. Специализируются на создании инновационных решений, которые помогают ихклиентам оптимизировать бизнес-процессы, повышать эффективность и достигать высоких результатов.
KION - онлайн кинотеатр, который раздает десятки гигабит видео в секунду и делает жизнь чуть интереснее
AG-LEGAL — юридический консалтинг, сопровождающий IT-компании, а также крупные федеральные компании по вопросам интеллектуальной собственности, категорирования КИИ, персональных данных, включением в Реестр отечественного ПО. Телеграм-канал (3к подписчиков) https://t. me/aglegal. Проводят вебинары, выступали на других конференциях и проводили корпоративное обучение для других компаний.
«Перкона» (Percona)
Яндекс Еда - лидер своего сегмента e-com. За 7 лет стала социально-значимым сервисом, кормящим миллионы пользователей. Часть Городских Сервисов Яндекса, меняющих ландшафт мегаполисов и делающих вашу жизнь комфортней.
Компания MixBytes входит в мировой топ по аудитам безопасности смарт-контрактов, занимается разработкой и исследованиями в блокчейн-отрасли.
НЛМК ИТ — команда, которая делает IT-системы для металлургии и генерит существенную часть успеха Группы НЛМК, лидера среди российских производителей стали. В нашей готовой продукции нет ни единой строчки кода, но в ее производстве участвует большая IT-команда. Поэтому мы немножечко IT-металлурги. Делаем цифру реальностью!
Грамант
Navio — разработчик универсальной технологии автономного вождения на базе ИИ, включающей Software и Hardware компоненты, R&D, уникальный процесс тестирования и экосистему сервисов для обработки данных и управления флотом автономного транспорта.
All about user support.
Магнит OMNI — это более 400 инженеров, объединенные в 40+ продуктовых и платформенных команд. Основные направления продуктовой разработки — программа лояльности «Магнит Плюс» с десятками миллионов пользователей, «Фудтех» — доставка из магазинов Магнит, маркетплейс «Магнит Маркет» и приложение «Магнит: акции и доставка».
devhands.io
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
MTS Web Services (MWS) — облачные сервисы для решения задач вашего бизнеса. Мы предоставляем сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Мы также строим публичную облачную платформу собственной разработки с нуля. Она станет доступна в 2025 году.
Сибур — крупный нефтегазохимический холдинг.
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.
Gravity Field — это B2B-SaaS-платформа для персонализации пользовательского опыта на основе больших данных и продвинутого набора инструментов сегментирования пользователей, алгоритмов товарных рекомендаций, А/В-тестирования, триггерных коммуникаций, продвинутой аналитики и оптимизации кампаний.
В конце 2021 года запустил многопрофильное маркетинговое агентство uForce. Реализовали 1000+ крупных проектов. Делаем разное: запускаем ORM компании в комментариях на YouTube с оплатой по CPM, работаем с микроблогерами, настраиваем перфоманс под ключ, работаем с репутацией, привлекаем через мессенджеры клиентов для сложных продуктов и услуг, проводим исследования нестандартными методами.
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
СберТех — российский разработчик программного обеспечения. Флагманское решение компании — цифровая облачная платформа Platform V для создания бизнес-решений и промышленных приложений любого масштаба и сложности. Она включает более 80 продуктов, которые закрывают потребности разработки на всех уровнях архитектуры предприятия.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Мир Plat.Form — это технологический бренд Национальной системы платежных карт (НСПК). Самые известные разработки — платежная система «Мир» и Система быстрых платежей (СБП), а также Мир Plat.Form обрабатывает все внутрироссийские межбанковские операции по всем картам всех платежных систем.
Сбер — крупнейший банк России, третий по величине эквайер в мире
В «Магните» занимается управлением портфелем IT-проектов, трансформацией IT-вертикали, а также контролирует эффективность производственного цикла. Одна из задач — повышение эффективности управления изменениями для бизнес-заказчиков.
«Перкона» (Percona)
