Зачем знать алгоритмы Основная секция
Доклад принят в Программу конференции
Авито, Sphinx
Пишет код на всём подряд, показывает другим как. В удачные дни код удается сносить, это обязательно показывает другим и заставляет "точно так же" втройне сильнее. Всю сознательную жизнь из этого выходят разные движки, прямо проклятие какое-то.
Тезисы
Why02
View more presentations from HighLoad2009.
Синопсис
Исходник можешь ты не знать, но алгоритмы знать обязан. Это потому, что даже минимальные познания о том, как что устроено внутри разных серверных программных систем позволяют ловко оптимизировать всякое, проводить правильные бенчмарки, принимать осознанные решения о разработке или неразработке своего велосипеда, и т.д. и т.п.
Тезисы:
1. О чем вообще доклад: как довольно-таки базовые знания всякого помогают понять происходящее в чужих (!) системах, с которыми приходится работать, типа СУБД.
2. Пронзаем мозгом базу данных.
2.1. Теория. Потроха любой SQL базы на пальцах за 10 минут: хранение rows (тупое и кластерное); индексы (вечный Btree и как он устроен); covering индексы; вычисление запросов с точки зрения банальной эрудиции (row lookup, WHERE, ORDER, GROUP); зачем и как бывают буфера.
2.2. Практика. Как внутри работает выборка по PK, по индексу, по covering индексу, как примерно может работать JOIN. Как идеал, бывает, расходится с реальностью на примере MySQL (LIMIT, выбор индекса, subselect). Отчего иногда случается fullscan и отчего иногда это хорошо. Полубоевые примеры "как по книжке" про разгон запросов при помощи covering index, форсирования fullscan, итд.
3. Пронзаем мозгом полнотекстовый поиск.
3.1. Теория. Потроха любого поиска на пальцах за 10 минут: что такое инвертированный индекс; как, в принципе, могут храниться атрибуты; вычисление запросов с точки зрения банальной эрудиции (пересечение списков, прыжки по чекпойнтам, row lookup).
3.2. Практика. Отчего и почему FT индекс нельзя хранить в базе, как и почему для него НЕ работает Btree. Отчего, почему, и как в Sphinx работают ловкие трюки про замену ключевых слов фильтрами и наоборот. Отчего не обязаны хорошо работать где-то еще. Почему нужны стоп-слова. Откуда взялся max_matches и почему оно влияет на скорость поиска.
4. Бонус-трек: пронзаем мозгом компилятор. "Зачем ассемблеру второй проход", чего нельзя ожидать от скриптовой среды типа PHP, почему в идеальном мире победит Java, а в реальном C++.
5. Выводы. Зачем же таки знать алгоритмы. Какие конкретно, те, что остались за бортом доклада. На какой позиции или в какой стране можно не знать.
Другие доклады секции Основная секция
Tempesta Technologies
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Positive Technologies — лидер в области результативной кибербезопасности. Компания является ведущим разработчиком продуктов, решений и сервисов, позволяющих выявлять и предотвращать кибератаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Наши технологии используют около 4000 организаций по всему миру. Positive Technologies — первая и единственная компания из сферы кибербезопасности на Московской бирже (MOEX: POSI), у нее более 205 тысяч акционеров.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Tarantool — платформа in-memory-вычислений с гибкой схемой данных для эффективного создания высоконагруженных приложений. VK — это больше 200 технопроектов. Свыше 10 000 человек создают и развивают одни из самых популярных и высоконагруженных интернет-сервисов в стране. Делают комфортнее, легче и интереснее жизнь сотне миллионов людей.
Мы делаем ИТ для ритейла реального времени. Чтобы все нужные товары и продукты могли попадать домой к людям мгновенно, насколько это возможно в физическом мире – с помощью технологий. На наших решениях работают Самокат, Мегамаркет, логистические системы. Компания выросла из команды Samokat.tech — наше видение всегда было шире одного пользовательского сервиса. Мы хотим изменить саму модель потребления, чтобы люди по-другому относились к покупкам и своему времени. В команде больше 5000 человек — мы большие и разные, стремимся к балансу между технической выверенностью и фокусом на бизнес-ценность, уважаем процессы и избегаем закостенелости. Делаем продукты, которыми пользуемся сами.
Работает с проектами и школами в части создания и сопровождения образовательных продуктов, а также найма и обучения продуктовых команд.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Лидер трайба Цифровых Ассистентов в B2C
EdgeЦентр — центр облачных и edge-решений. Помогают онлайн-бизнесу быстрее выпускать продукты и масштабировать ресурсы в несколько кликов. Предоставляют IT-решения в сфере вычислений, доставки, хранения и защиты контента.
Servicepipe Компания-разработчик продуктов для высокоточной защиты от кибератак, активно развивающая технологии анализа трафика и защиты от автоматизированных угроз на L3–L7. На базе собственных технологий Servicepipe реализует сервисы по защите от продвинутых ботов, DDoS- и целевых атак.
Разработка картографической платформы в Яндекс.Картах
Positive Technologies — лидер в области результативной кибербезопасности. Компания является ведущим разработчиком продуктов, решений и сервисов, позволяющих выявлять и предотвращать кибератаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Наши технологии используют около 4000 организаций по всему миру. Positive Technologies — первая и единственная компания из сферы кибербезопасности на Московской бирже (MOEX: POSI), у нее более 205 тысяч акционеров.
НОТА — мультипродуктовый вендор отечественного ПО, входит в Холдинг Т1. Создан в 2023 году на основе обширной экспертизы команд холдинга. Компания занимается развитием собственных программных продуктов и формированием внешней партнерской сети для дистрибуции и интеграции решений, востребованных в условиях технологического суверенитета.
Компромиссная производительность (или какой логикой руководствуются владельцы коммерческих ресурсов)
Positive Technologies — ведущий разработчик продуктов, решений и сервисов для результативной кибербезопасности, позволяющих выявлять и предотвращать атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Технологический портфель компании охватывает большинство категорий средств защиты информации и продолжает расширяться. Мы создаем метапродукты — новое поколение инструментов для достижения результативной кибербезопасности с минимальным участием человека. Кроме того, Positive Technologies — первая и единственная компания из сферы кибербеза на Московской бирже.
Ozon — ведущий e-com России. В их IT-команде уже 5 000 специалистов, которые создают продукты для миллионов людей по всей стране и за рубежом. Ozon Tech разрабатывает собственные решения, контрибьютит в Open Source и использует современный стек: Go, C#, Kotlin, Swift TypeScript, Vue.js, Kubernetes и Kafka. Продолжают расти, чтобы повышать доступность сервисов и быть ещё ближе к пользователям.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Luntry — комплексная защита контейнеров и Kubernetes на всех стадиях жизненного цикла приложения. Решение обеспечивает высокий уровень безопасности процессов, помогает создать инфраструктуру без слепых зон и наладить бесшовную коммуникацию между командами даже в самых крупных проектах.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Райффайзен Банк — часть австрийской банковской группы Raiffeisen Bank International; работает в России с 1996 года и входит в тройку самых надежных российских банков по версии Forbes. В команде банка более 3000 IT-специалистов, которые работают над продуктами будущего и развивают финтех в России. И не любят легаси.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Ozon - один из крупейших маркетплейсов не только в РФ но и в мире. Тут приходиться решать необычные технические задачи, готового решения для которых может и не существовать. Очень интересно
Домклик - продуктовая технологическая компания, которая создает высоконагруженные проекты в сфере недвижимости, обеспечивая полный цикл от выбора квартиры, получения ипотеки, взаиморасчетов с продавцом до постпродажного сопровождения.
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 7 стран. Ежедневно покупателям отправляется свыше 12 млн товаров, а сеть пунктов выдачи заказов превышает 46 000 точек.
Грамант
Kinescope — видеоинфраструктура для интернета. Помогают бизнесу раскрыть потенциал профессиональных видеорешений для своих задач. Объединяют все необходимое для хранения, обработки, CDN-доставки и защиты видео в одном месте. Продукты Kinescope подходят как для стартапов, так и для компаний из списка РБК500 и государственных предприятий с высокими нагрузками и сложной логикой.
НЛМК ИТ — команда, которая делает IT-системы для металлургии и генерит существенную часть успеха Группы НЛМК, лидера среди российских производителей стали. В их готовой продукции нет ни единой строчки кода, но в ее производстве участвует большая IT-команда. Поэтому они немножечко IT-металлурги. Делают цифру реальностью!
Ozon — ведущая платформа e-commerce в России. В команде Ozon Tech почти 4 000 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.
CINIMEX — IT-компания с 27-летней историей. Сфера деятельности — заказная разработка ПО. Сотрудники компании обладают глубокой экспертизой в разработке и внедрении решений на основе ML и DS, разработке enterprise-решений на микросервисной платформе, а также в интеграции и автоматизации бизнес-процессов. Среди клиентов «Синимекс» крупнейшие банки, известные ритейлеры и заказчики из производственной отрасли.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это больше 200 технопроектов. Свыше 10 000 человек создают и развивают одни из самых популярных и высоконагруженных интернет-сервисов в стране. Делают комфортнее, легче и интереснее жизнь сотне миллионов людей.
EdgeЦентр — центр облачных и edge-решений. Помогают онлайн-бизнесу быстрее выпускать продукты и масштабировать ресурсы в несколько кликов. Предоставляют IT-решения в сфере вычислений, доставки, хранения и защиты контента.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает IT-индустрию, поддерживает комьюнити и делится экспертизой.
CINIMEX — IT-компания с 27-летней историей. Сфера деятельности — заказная разработка ПО. Сотрудники компании обладают глубокой экспертизой в разработке и внедрении решений на основе ML и DS, разработке enterprise-решений на микросервисной платформе, а также в интеграции и автоматизации бизнес-процессов. Среди клиентов «Синимекс» крупнейшие банки, известные ритейлеры и заказчики из производственной отрасли.
На текущий момент у меня собственная команда опытных методологов и разработчик курсов, с которыми мы успешно реализуем проекты и создаем обучения "под ключ" в разных форматах. Наша задача - это разработка понятных и эффективных обучающих курсов для сотрудников.
Deckhouse — российский вендор, разработчик продуктов для построения надежной enterprise-инфраструктуры. Лидер рынка DevOps и №1 контрибьютор Kubernetes в России, 7 лет в эксплуатации, более 170 внедрений и референсные клиенты из самых разных отраслей.
EdgeЦентр — центр облачных и edge-решений. Помогают онлайн-бизнесу быстрее выпускать продукты и масштабировать ресурсы в несколько кликов. Предоставляют IT-решения в сфере вычислений, доставки, хранения и защиты контента.
Флант — специалисты по DevOps и Kubernetes. С 2008 года компания занимается созданием и обслуживанием инфраструктуры любого масштаба. С 2017 года развивает продукты Deckhouse, которые упрощают разработку, доставку и эксплуатацию приложений. А ещё консультирует по DevOps-практикам и технологиям.
Пишут системы автоматизации бизнеса, стартапы, ботов, системы аналитики, личные кабинеты торговых систем и др. Если вы хотите сделать IT-продукт от простого бота до бэкофиса торговых систем, но не знаете, как и с чего начать, то проконсультируют вас и, при необходимости, сделают продукт под заказ или вместе с вами.
СИБУР Цифровой — это IT-кластер СИБУРа, ведущей нефтехимической компании на рынке РФ. Решаем креативные задачи по цифровизации нефтехимического производства и бизнеса. Это задачи, связанные с Data Science, цифровой разработкой, промышленным интернетом вещей (IIoT), дополненной и виртуальной реальностью (AR и VR), управлением данными и BI-инструментами. В Цифровом СИБУРе 200+ проектов с ИТ-составляющей, более 200 ИТ-систем и 100+ ИТ-компетенций! А главное — с нами работает более 2000 сотрудников, благодаря которым мы строим цифровые заводы будущего уже сегодня. Своим примером мы показываем, что именно в промышленности происходят цифровые прорывы и возникают самые интересные задачи, связанные с искусственным интеллектом, большими данными, цифровой разработкой, IIoT, XR, BI-инструментами!
Kinescope — видеоинфраструктура для интернета. Помогают бизнесу раскрыть потенциал профессиональных видеорешений для своих задач. Объединяют все необходимое для хранения, обработки, CDN-доставки и защиты видео в одном месте. Продукты Kinescope подходят как для стартапов, так и для компаний из списка РБК500 и государственных предприятий с высокими нагрузками и сложной логикой.
Компания занимается разработкой бизнес-решений для игровых разработчиков и издателей.
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
NGENIX
Райффайзен Банк — часть австрийской банковской группы Raiffeisen Bank International; работает в России с 1996 года и входит в тройку самых надежных российских банков по версии Forbes. В команде банка более 3000 IT-специалистов, которые работают над продуктами будущего и развивают финтех в России. И не любят легаси.
CINIMEX — IT-компания с 27-летней историей. Сфера деятельности — заказная разработка ПО. Сотрудники компании обладают глубокой экспертизой в разработке и внедрении решений на основе ML и DS, разработке enterprise-решений на микросервисной платформе, а также в интеграции и автоматизации бизнес-процессов. Среди клиентов «Синимекс» крупнейшие банки, известные ритейлеры и заказчики из производственной отрасли.
Data Egret
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает IT-индустрию, поддерживает комьюнити и делится экспертизой.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Команда Яндекс 360 создает продукты, которые решают повседневные задачи миллионов пользователей: от хранения воспоминаний до деловой переписки. В Яндекс 360 входят Почта, Диск, Документы, Телемост, Календарь, Заметки и Мессенджер.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Sendsay — это CDP для автоматизации общения с клиентами через email, ВКонтакте, Telegram, Web Push, Mobile Push и SMS.
GitLife - это локализация китайской платформы Gitee у нас. Это миллионы опенсорса как проектов, так и AI моделей. Last.Backend занимается созданием DevOps-технологий и продуктов. Имеет собственную систему оркестровки контейнеров аналога Kubernetes. Также занимается DevOps-акселерацией компаний, помогая в кратчайшие сроки получить качественную автоматизированную инфраструктуру под проект с дальнейшим 24/7-мониторингом.
Servicepipe Компания-разработчик продуктов для высокоточной защиты от кибератак, активно развивающая технологии анализа трафика и защиты от автоматизированных угроз на L3–L7. На базе собственных технологий Servicepipe реализует сервисы по защите от продвинутых ботов, DDoS- и целевых атак.
«Группа Астра» – производитель инфраструктурного ПО. По данным рейтинга TAdviser, компания входит в топ-5 самых быстрорастущих компаний России. По мнению Forbes, «Группа Астра» входит в топ-15 самых дорогих компаний Рунета. В экосистеме группы – 22 продукта, которые комплексно закрывают потребности заказчиков в стеке инфраструктурного программного обеспечения: сертифицированная операционная система Astra Linux, служба каталогов ALD Pro, ПО для создания инфраструктур виртуальных рабочих мест Termidesk, СУБД Tantor средства резервного копирования RuBackup и др. По оценкам независимых аналитиков Strategy Partners, флагманский продукт – ОС Astra Linux – занимает более 76% рынка российских операционных систем, а доля компании на рынке инфраструктурного ПО российских разработчиков оценивается в 20%.
Cloud․ru — провайдер облачных сервисов и AI-технологий, который делает доступ к облакам и искусственному интеллекту простым и удобным. В Cloud․ru есть 100+ IaaS- и PaaS-сервисов, ML-платформа на базе суперкомпьютеров и публичное облако Cloud․ru Evolution на основе собственных разработок и open source. В команде провайдера более 1 500 специалистов в области IT, кибербезопасности и AI. Cloud․ru входит в число крупнейших IT-компаний России.
СберМаркет — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce проектов в России и делает это с любовью."
Российская ИТ-компания Axenix предоставляет услуги в областях стратегии и бизнес-консалтинга, цифровых сервисов, облачных технологий и решений для цифровой трансформации бизнеса. Эксперты Axenix помогают реализовывать полномасштабные end-to-end проекты, от создания бизнес- и ИТ-стратегий до их полноценного внедрения, включая разработку технологических решений и программного обеспечения. Компания является одним из технологических лидеров и регулярно выводит на российский рынок инновационные импортозамещающие решения и продукты, многие из которых отмечены престижными отраслевыми премиями
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
