Зачем знать алгоритмы Основная секция
Доклад принят в Программу конференции
Авито, Sphinx
Пишет код на всём подряд, показывает другим как. В удачные дни код удается сносить, это обязательно показывает другим и заставляет "точно так же" втройне сильнее. Всю сознательную жизнь из этого выходят разные движки, прямо проклятие какое-то.
Тезисы
Why02
View more presentations from HighLoad2009.
Синопсис
Исходник можешь ты не знать, но алгоритмы знать обязан. Это потому, что даже минимальные познания о том, как что устроено внутри разных серверных программных систем позволяют ловко оптимизировать всякое, проводить правильные бенчмарки, принимать осознанные решения о разработке или неразработке своего велосипеда, и т.д. и т.п.
Тезисы:
1. О чем вообще доклад: как довольно-таки базовые знания всякого помогают понять происходящее в чужих (!) системах, с которыми приходится работать, типа СУБД.
2. Пронзаем мозгом базу данных.
2.1. Теория. Потроха любой SQL базы на пальцах за 10 минут: хранение rows (тупое и кластерное); индексы (вечный Btree и как он устроен); covering индексы; вычисление запросов с точки зрения банальной эрудиции (row lookup, WHERE, ORDER, GROUP); зачем и как бывают буфера.
2.2. Практика. Как внутри работает выборка по PK, по индексу, по covering индексу, как примерно может работать JOIN. Как идеал, бывает, расходится с реальностью на примере MySQL (LIMIT, выбор индекса, subselect). Отчего иногда случается fullscan и отчего иногда это хорошо. Полубоевые примеры "как по книжке" про разгон запросов при помощи covering index, форсирования fullscan, итд.
3. Пронзаем мозгом полнотекстовый поиск.
3.1. Теория. Потроха любого поиска на пальцах за 10 минут: что такое инвертированный индекс; как, в принципе, могут храниться атрибуты; вычисление запросов с точки зрения банальной эрудиции (пересечение списков, прыжки по чекпойнтам, row lookup).
3.2. Практика. Отчего и почему FT индекс нельзя хранить в базе, как и почему для него НЕ работает Btree. Отчего, почему, и как в Sphinx работают ловкие трюки про замену ключевых слов фильтрами и наоборот. Отчего не обязаны хорошо работать где-то еще. Почему нужны стоп-слова. Откуда взялся max_matches и почему оно влияет на скорость поиска.
4. Бонус-трек: пронзаем мозгом компилятор. "Зачем ассемблеру второй проход", чего нельзя ожидать от скриптовой среды типа PHP, почему в идеальном мире победит Java, а в реальном C++.
5. Выводы. Зачем же таки знать алгоритмы. Какие конкретно, те, что остались за бортом доклада. На какой позиции или в какой стране можно не знать.
Другие доклады секции Основная секция
NGENIX
Команда Яндекс 360 создает продукты, которые решают повседневные задачи миллионов пользователей: от хранения воспоминаний до деловой переписки. В Яндекс 360 входят Почта, Диск, Документы, Телемост, Календарь, Заметки и Мессенджер
Tempesta Technologies
НОТА — мультипродуктовый вендор отечественного ПО, входит в Холдинг Т1. Создан в 2023 году на основе обширной экспертизы команд холдинга. Компания занимается развитием собственных программных продуктов и формированием внешней партнерской сети для дистрибуции и интеграции решений, востребованных в условиях технологического суверенитета.
Технологический партнер с комплексной экспертизой в области построения и развития инфраструктуры, внедрения информационных систем, разработки программных решений и сервисной поддержки. КРОК реализует проекты, которые задают тон индустрии: от крупнейшего ЦОДа в стране до «умной» инфраструктуры спортивных объектов.
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Ozon — лидирующая платформа e-commerce в России. В команде Ozon Tech 3 800 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.
Kinescope — видеоинфраструктура для интернета. Помогают бизнесу раскрыть потенциал профессиональных видеорешений для своих задач. Объединяют все необходимое для хранения, обработки, CDN-доставки и защиты видео в одном месте. Продукты Kinescope подходят как для стартапов, так и для компаний из списка РБК500 и государственных предприятий с высокими нагрузками и сложной логикой.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это больше 200 технопроектов. Свыше 10 000 человек создают и развивают одни из самых популярных и высоконагруженных интернет-сервисов в стране. Делают комфортнее, легче и интереснее жизнь сотне миллионов людей.
BIOCAD — одна из крупнейших биотехнологических инновационных компаний в России, объединившая научно-исследовательские центры мирового уровня, современное фармацевтическое и биотехнологическое производство, доклинические и клинические исследования, соответствующие международным стандартам. BIOCAD — компания полного цикла создания лекарственных препаратов от поиска молекулы до массового производства и маркетинговой поддержки. Препараты предназначены для лечения онкологических, аутоиммунных и других социально значимых заболеваний. Продуктовый портфель компании состоит из 67 лекарственных препаратов, из которых 12 — оригинальные, а 24 продукта — биологические. В настоящее время порядка 40 продуктов находятся на разных стадиях разработки. В штате компании работает более 3000 человек, треть из которых ученые и исследователи.
Ozon — ведущий e-com России. В их IT-команде уже 5 000 специалистов, которые создают продукты для миллионов людей по всей стране и за рубежом. Ozon Tech разрабатывает собственные решения, контрибьютит в Open Source и использует современный стек: Go, C#, Kotlin, Swift TypeScript, Vue.js, Kubernetes и Kafka. Продолжают расти, чтобы повышать доступность сервисов и быть ещё ближе к пользователям.
Маркет позволяет покупателям заказывать товары прямо из дома и получать заказы по всей стране, а партнёрам — развивать свой бизнес, повышая продажи и привлекая новых клиентов. Для этого команда Маркета строит архитектуру так, чтобы можно было быстро делать новые фичи и не ломать важные сценарии, учится выдерживать многократный рост нагрузки и не перерасходовать ресурсы, следит, чтобы сайт Маркета работал как надо. У них есть целый арсенал технологий: микросервисы и микрофронты, тыквы и gracefull degradation, отложенная обработка запросов и автоматические системы нагрузочного тестирования. Изменяют архитектуру всех сервисов Маркета и помогают продуктовым командам быстро и безопасно развиваться.
Строят публичную облачную платформу Yandex Cloud, чтобы дать компаниям доступ к технологиям и сервисам, которые проверены нагрузками Яндекса. Продукты Yandex Cloud — это масштабируемая инфраструктура, сервисы хранения данных, инструменты машинного обучения и средства разработки.
Postgres Professional — разработчик российской системы управления базами данных Postgres Pro. СУБД входит в Единый реестр российского программного обеспечения и выпускается в редакциях: Postgres Pro Enterprise, Postgres Pro Standard, Postgres Pro Shardman, их сертифицированные ФСТЭК версии. Специалисты компании оказывают поддержку полного цикла: аудит, помощь в миграции, техподдержку 24х7 и SLA, обучение, заказные разработки, сертификацию специалистов. По данным исследования ЦСР за 2022 год, компания возглавляет рейтинг российских разработчиков СУБД. Команда Postgres Professional также активно развивает свободно распространяемую СУБД PostgreSQL. Занимает 1 место в России и 2 — в мире по вкладу в открытый код PostgreSQL.
Компромиссная производительность (или какой логикой руководствуются владельцы коммерческих ресурсов)
Positive Technologies — ведущий разработчик продуктов, решений и сервисов для результативной кибербезопасности, позволяющих выявлять и предотвращать атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Технологический портфель компании охватывает большинство категорий средств защиты информации и продолжает расширяться. Мы создаем метапродукты — новое поколение инструментов для достижения результативной кибербезопасности с минимальным участием человека. Кроме того, Positive Technologies — первая и единственная компания из сферы кибербеза на Московской бирже.
Яндекс 360 — это виртуальное пространство, в котором собраны сервисы для работы и повседневных задач: Почта, Диск для хранения файлов, Телемост с видеозвонками, Документы, Мессенджер, Рассылки, Заметки и Календарь. Яндекс 360 помогает организовать работу как одному человеку, так и целой команде организации в рамках продуктов Яндекс 360 для бизнеса.
Предоставляют полный цикл DevOps-услуг и сопутствующие программные продукты.
Аспро — разработчик программного обеспечения. С 2010 года разрабатываем облачные системы, платформы и готовые решения для бизнеса.
Строят публичную облачную платформу Yandex Cloud, чтобы дать компаниям доступ к технологиям и сервисам, которые проверены нагрузками Яндекса. Продукты Yandex Cloud — это масштабируемая инфраструктура, сервисы хранения данных, инструменты машинного обучения и средства разработки.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
«Группа Астра» – производитель инфраструктурного ПО. По данным рейтинга TAdviser, компания входит в топ-5 самых быстрорастущих компаний России. По мнению Forbes, «Группа Астра» входит в топ-15 самых дорогих компаний Рунета. В экосистеме группы – 22 продукта, которые комплексно закрывают потребности заказчиков в стеке инфраструктурного программного обеспечения: сертифицированная операционная система Astra Linux, служба каталогов ALD Pro, ПО для создания инфраструктур виртуальных рабочих мест Termidesk, СУБД Tantor средства резервного копирования RuBackup и др. По оценкам независимых аналитиков Strategy Partners, флагманский продукт – ОС Astra Linux – занимает более 76% рынка российских операционных систем, а доля компании на рынке инфраструктурного ПО российских разработчиков оценивается в 20%.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Garage Eight — международная продуктовая IT-компания. Создаем экосистему финансовых продуктов и сервисов на зарубежных рынках. К 2024 году у наших продуктов сотни тысяч активных пользователей в 183 странах.
Noones - это криптовалютный P2P Marketplace
SberDevices — российская IT-компания полного цикла. R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства, разрабатывает высокотехнологичные сервисы для бизнеса, делает масштабные ML-проекты, LLM, высоконагруженные системы и технологии обработки Big Data. В портфолио SberDevices — SberBox, SberJazz, GigaChat, Kandinsky и другие легенды.
Ozon — лидирующая платформа e-commerce в России. В команде Ozon Tech 3 800 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.
Лидер трайба Цифровых Ассистентов в B2C
«Флант» — лидер российского рынка DevOps и Kubernetes. №1 контрибьютор Kubernetes из России и единственный в России сертифицированный CNCF-поставщик услуг по Kubernetes (KCSP). С 2008 года занимается созданием и обслуживанием ИТ-инфраструктуры для критичных бизнес-приложений, с 2021 года предлагает продукты собственной разработки — экосистему решений Deckhouse для надежной enterprise-инфраструктуры. В 2023 году объединились с «Экспресс 42», и сегодня компания является вендором ПО и сервисной компанией по построению DevOps-решений под ключ.
Яндекс Go — это суперапп, предоставляющий сервисы, связанные с передвижением по городу. Он объединяет водителей и курьеров в сервисах для заказа такси, доставки и транспортировки грузов.
Ozon - один из крупейших маркетплейсов не только в РФ но и в мире. Тут приходиться решать необычные технические задачи, готового решения для которых может и не существовать. Очень интересно
Ozon — ведущий e-com России. В их IT-команде уже 5 000 специалистов, которые создают продукты для миллионов людей по всей стране и за рубежом. Ozon Tech разрабатывает собственные решения, контрибьютит в Open Source и использует современный стек: Go, C#, Kotlin, Swift TypeScript, Vue.js, Kubernetes и Kafka. Продолжают расти, чтобы повышать доступность сервисов и быть ещё ближе к пользователям.
Команда Яндекс 360 создает продукты, которые решают повседневные задачи миллионов пользователей: от хранения воспоминаний до деловой переписки. В Яндекс 360 входят Почта, Диск, Документы, Телемост, Календарь, Заметки и Мессенджер.
Postgres Professional — разработчик российской системы управления базами данных Postgres Pro. СУБД входит в Единый реестр российского программного обеспечения и выпускается в редакциях: Postgres Pro Enterprise, Postgres Pro Standard, Postgres Pro Shardman, их сертифицированные ФСТЭК версии. Специалисты компании оказывают поддержку полного цикла: аудит, помощь в миграции, техподдержку 24х7 и SLA, обучение, заказные разработки, сертификацию специалистов. По данным исследования ЦСР за 2022 год, компания возглавляет рейтинг российских разработчиков СУБД. Команда Postgres Professional также активно развивает свободно распространяемую СУБД PostgreSQL. Занимает 1 место в России и 2 — в мире по вкладу в открытый код PostgreSQL.
Домклик - продуктовая технологическая компания, которая создает высоконагруженные проекты в сфере недвижимости, обеспечивая полный цикл от выбора квартиры, получения ипотеки, взаиморасчетов с продавцом до постпродажного сопровождения.
Positive Technologies — лидер в области результативной кибербезопасности. Компания является ведущим разработчиком продуктов, решений и сервисов, позволяющих выявлять и предотвращать кибератаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Наши технологии используют около 4000 организаций по всему миру. Positive Technologies — первая и единственная компания из сферы кибербезопасности на Московской бирже (MOEX: POSI), у нее более 205 тысяч акционеров.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
На текущий момент у меня собственная команда опытных методологов и разработчик курсов, с которыми мы успешно реализуем проекты и создаем обучения "под ключ" в разных форматах. Наша задача - это разработка понятных и эффективных обучающих курсов для сотрудников.
Positive Technologies — лидер в области результативной кибербезопасности. Компания является ведущим разработчиком продуктов, решений и сервисов, позволяющих выявлять и предотвращать кибератаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Наши технологии используют около 4000 организаций по всему миру. Positive Technologies — первая и единственная компания из сферы кибербезопасности на Московской бирже (MOEX: POSI), у нее более 205 тысяч акционеров.
Грамант
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
СИБУР Цифровой — это IT-кластер СИБУРа, ведущей нефтехимической компании на рынке РФ. Решаем креативные задачи по цифровизации нефтехимического производства и бизнеса. Это задачи, связанные с Data Science, цифровой разработкой, промышленным интернетом вещей (IIoT), дополненной и виртуальной реальностью (AR и VR), управлением данными и BI-инструментами. В Цифровом СИБУРе 200+ проектов с ИТ-составляющей, более 200 ИТ-систем и 100+ ИТ-компетенций! А главное — с нами работает более 2000 сотрудников, благодаря которым мы строим цифровые заводы будущего уже сегодня. Своим примером мы показываем, что именно в промышленности происходят цифровые прорывы и возникают самые интересные задачи, связанные с искусственным интеллектом, большими данными, цифровой разработкой, IIoT, XR, BI-инструментами!
Samokat.tech — продуктово-технологическая команда, которая делает ИТ для ритейла реального времени. От доставки продуктов и товаров для дома за 15 минут до развития нового слоя городской инфраструктуры для мгновенной доставки любых товаров – с помощью технологий.
Группа «Иннотех» — это современная высокотехнологичная быстроразвивающаяся ИТ-компания, входит в Холдинг Т1. С 2020 года мы разрабатываем инновационные решения для цифровизации бизнеса. Группа «Иннотех» выстраивает партнерские отношения с ведущими компаниями финансового сектора, предлагая им комплексные решения для фронт- и бэк-офисов, современные финтех-продукты, системы работы с большими данными. Кроме того, группа «Иннотех» выполняет на заказ технологические проекты любой сложности, помогая своим клиентам на пути цифровой трансформации.
Kinescope — видеоинфраструктура для интернета. Помогают бизнесу раскрыть потенциал профессиональных видеорешений для своих задач. Объединяют все необходимое для хранения, обработки, CDN-доставки и защиты видео в одном месте. Продукты Kinescope подходят как для стартапов, так и для компаний из списка РБК500 и государственных предприятий с высокими нагрузками и сложной логикой.
СберМаркет (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Технологический партнер с комплексной экспертизой в области построения и развития инфраструктуры, внедрения информационных систем, разработки программных решений и сервисной поддержки. КРОК реализует проекты, которые задают тон индустрии: от крупнейшего ЦОДа в стране до «умной» инфраструктуры спортивных объектов.
Команда Тинькофф — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются более 38 миллионов клиентов. Тинькофф развивает IT-индустрию, поддерживает комьюнити и делится экспертизой.
Строят публичную облачную платформу Yandex Cloud, чтобы дать компаниям доступ к технологиям и сервисам, которые проверены нагрузками Яндекса. Продукты Yandex Cloud — это масштабируемая инфраструктура, сервисы хранения данных, инструменты машинного обучения и средства разработки.
Cloud.ru облачный провайдер, предоставляющий облачные решения и экспертную поддержку для бизнес-задач. Атмосфера стартапа, создание инноваций, клиентоцентричный подход –– это все мы, люди Cloud.
Разрабатываем GigaChat и крутые устройства
Компания занимается разработкой бизнес-решений для игровых разработчиков и издателей.
Data Egret
Luntry — комплексная защита контейнеров и Kubernetes на всех стадиях жизненного цикла приложения. Решение обеспечивает высокий уровень безопасности процессов, помогает создать инфраструктуру без слепых зон и наладить бесшовную коммуникацию между командами даже в самых крупных проектах.
Postgres Professional — разработчик российской системы управления базами данных Postgres Pro. СУБД входит в Единый реестр российского программного обеспечения и выпускается в редакциях: Postgres Pro Enterprise, Postgres Pro Standard, Postgres Pro Shardman, их сертифицированные ФСТЭК версии. Специалисты компании оказывают поддержку полного цикла: аудит, помощь в миграции, техподдержку 24х7 и SLA, обучение, заказные разработки, сертификацию специалистов. По данным исследования ЦСР за 2022 год, компания возглавляет рейтинг российских разработчиков СУБД. Команда Postgres Professional также активно развивает свободно распространяемую СУБД PostgreSQL. Занимает 1 место в России и 2 — в мире по вкладу в открытый код PostgreSQL.
