Зачем знать алгоритмы Основная секция
Доклад принят в Программу конференции
Авито, Sphinx
Пишет код на всём подряд, показывает другим как. В удачные дни код удается сносить, это обязательно показывает другим и заставляет "точно так же" втройне сильнее. Всю сознательную жизнь из этого выходят разные движки, прямо проклятие какое-то.
Тезисы
Why02
View more presentations from HighLoad2009.
Синопсис
Исходник можешь ты не знать, но алгоритмы знать обязан. Это потому, что даже минимальные познания о том, как что устроено внутри разных серверных программных систем позволяют ловко оптимизировать всякое, проводить правильные бенчмарки, принимать осознанные решения о разработке или неразработке своего велосипеда, и т.д. и т.п.
Тезисы:
1. О чем вообще доклад: как довольно-таки базовые знания всякого помогают понять происходящее в чужих (!) системах, с которыми приходится работать, типа СУБД.
2. Пронзаем мозгом базу данных.
2.1. Теория. Потроха любой SQL базы на пальцах за 10 минут: хранение rows (тупое и кластерное); индексы (вечный Btree и как он устроен); covering индексы; вычисление запросов с точки зрения банальной эрудиции (row lookup, WHERE, ORDER, GROUP); зачем и как бывают буфера.
2.2. Практика. Как внутри работает выборка по PK, по индексу, по covering индексу, как примерно может работать JOIN. Как идеал, бывает, расходится с реальностью на примере MySQL (LIMIT, выбор индекса, subselect). Отчего иногда случается fullscan и отчего иногда это хорошо. Полубоевые примеры "как по книжке" про разгон запросов при помощи covering index, форсирования fullscan, итд.
3. Пронзаем мозгом полнотекстовый поиск.
3.1. Теория. Потроха любого поиска на пальцах за 10 минут: что такое инвертированный индекс; как, в принципе, могут храниться атрибуты; вычисление запросов с точки зрения банальной эрудиции (пересечение списков, прыжки по чекпойнтам, row lookup).
3.2. Практика. Отчего и почему FT индекс нельзя хранить в базе, как и почему для него НЕ работает Btree. Отчего, почему, и как в Sphinx работают ловкие трюки про замену ключевых слов фильтрами и наоборот. Отчего не обязаны хорошо работать где-то еще. Почему нужны стоп-слова. Откуда взялся max_matches и почему оно влияет на скорость поиска.
4. Бонус-трек: пронзаем мозгом компилятор. "Зачем ассемблеру второй проход", чего нельзя ожидать от скриптовой среды типа PHP, почему в идеальном мире победит Java, а в реальном C++.
5. Выводы. Зачем же таки знать алгоритмы. Какие конкретно, те, что остались за бортом доклада. На какой позиции или в какой стране можно не знать.
Другие доклады секции Основная секция
CINIMEX — IT-компания с 27-летней историей. Сфера деятельности — заказная разработка ПО. Сотрудники компании обладают глубокой экспертизой в разработке и внедрении решений на основе ML и DS, разработке enterprise-решений на микросервисной платформе, а также в интеграции и автоматизации бизнес-процессов. Среди клиентов «Синимекс» крупнейшие банки, известные ритейлеры и заказчики из производственной отрасли.
На текущий момент у меня собственная команда опытных методологов и разработчик курсов, с которыми мы успешно реализуем проекты и создаем обучения "под ключ" в разных форматах. Наша задача - это разработка понятных и эффективных обучающих курсов для сотрудников.
Positive Technologies — лидер в области результативной кибербезопасности. Компания является ведущим разработчиком продуктов, решений и сервисов, позволяющих выявлять и предотвращать кибератаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Наши технологии используют около 4000 организаций по всему миру. Positive Technologies — первая и единственная компания из сферы кибербезопасности на Московской бирже (MOEX: POSI), у нее более 205 тысяч акционеров.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Райффайзен Банк — часть австрийской банковской группы Raiffeisen Bank International; работает в России с 1996 года и входит в тройку самых надежных российских банков по версии Forbes. В команде банка более 3000 IT-специалистов, которые работают над продуктами будущего и развивают финтех в России. И не любят легаси.
EdgeЦентр — центр облачных и edge-решений. Помогают онлайн-бизнесу быстрее выпускать продукты и масштабировать ресурсы в несколько кликов. Предоставляют IT-решения в сфере вычислений, доставки, хранения и защиты контента.
CINIMEX — IT-компания с 27-летней историей. Сфера деятельности — заказная разработка ПО. Сотрудники компании обладают глубокой экспертизой в разработке и внедрении решений на основе ML и DS, разработке enterprise-решений на микросервисной платформе, а также в интеграции и автоматизации бизнес-процессов. Среди клиентов «Синимекс» крупнейшие банки, известные ритейлеры и заказчики из производственной отрасли.
Positive Technologies — лидер в области результативной кибербезопасности. Компания является ведущим разработчиком продуктов, решений и сервисов, позволяющих выявлять и предотвращать кибератаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Наши технологии используют около 4000 организаций по всему миру. Positive Technologies — первая и единственная компания из сферы кибербезопасности на Московской бирже (MOEX: POSI), у нее более 205 тысяч акционеров.
CINIMEX — IT-компания с 27-летней историей. Сфера деятельности — заказная разработка ПО. Сотрудники компании обладают глубокой экспертизой в разработке и внедрении решений на основе ML и DS, разработке enterprise-решений на микросервисной платформе, а также в интеграции и автоматизации бизнес-процессов. Среди клиентов «Синимекс» крупнейшие банки, известные ритейлеры и заказчики из производственной отрасли.
«Группа Астра» – производитель инфраструктурного ПО. По данным рейтинга TAdviser, компания входит в топ-5 самых быстрорастущих компаний России. По мнению Forbes, «Группа Астра» входит в топ-15 самых дорогих компаний Рунета. В экосистеме группы – 22 продукта, которые комплексно закрывают потребности заказчиков в стеке инфраструктурного программного обеспечения: сертифицированная операционная система Astra Linux, служба каталогов ALD Pro, ПО для создания инфраструктур виртуальных рабочих мест Termidesk, СУБД Tantor средства резервного копирования RuBackup и др. По оценкам независимых аналитиков Strategy Partners, флагманский продукт – ОС Astra Linux – занимает более 76% рынка российских операционных систем, а доля компании на рынке инфраструктурного ПО российских разработчиков оценивается в 20%.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Data Egret
СИБУР Цифровой — это IT-кластер СИБУРа, ведущей нефтехимической компании на рынке РФ. Решаем креативные задачи по цифровизации нефтехимического производства и бизнеса. Это задачи, связанные с Data Science, цифровой разработкой, промышленным интернетом вещей (IIoT), дополненной и виртуальной реальностью (AR и VR), управлением данными и BI-инструментами. В Цифровом СИБУРе 200+ проектов с ИТ-составляющей, более 200 ИТ-систем и 100+ ИТ-компетенций! А главное — с нами работает более 2000 сотрудников, благодаря которым мы строим цифровые заводы будущего уже сегодня. Своим примером мы показываем, что именно в промышленности происходят цифровые прорывы и возникают самые интересные задачи, связанные с искусственным интеллектом, большими данными, цифровой разработкой, IIoT, XR, BI-инструментами!
Лидер трайба Цифровых Ассистентов в B2C
СберМаркет — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда СберМаркета создает один из самых сложных высоконагруженных e-commerce проектов в России и делает это с любовью."
Компромиссная производительность (или какой логикой руководствуются владельцы коммерческих ресурсов)
Positive Technologies — ведущий разработчик продуктов, решений и сервисов для результативной кибербезопасности, позволяющих выявлять и предотвращать атаки до того, как они причинят неприемлемый ущерб бизнесу и целым отраслям экономики. Технологический портфель компании охватывает большинство категорий средств защиты информации и продолжает расширяться. Мы создаем метапродукты — новое поколение инструментов для достижения результативной кибербезопасности с минимальным участием человека. Кроме того, Positive Technologies — первая и единственная компания из сферы кибербеза на Московской бирже.
Tarantool — платформа in-memory-вычислений с гибкой схемой данных для эффективного создания высоконагруженных приложений. VK — это больше 200 технопроектов. Свыше 10 000 человек создают и развивают одни из самых популярных и высоконагруженных интернет-сервисов в стране. Делают комфортнее, легче и интереснее жизнь сотне миллионов людей.
GitLife - это локализация китайской платформы Gitee у нас. Это миллионы опенсорса как проектов, так и AI моделей. Last.Backend занимается созданием DevOps-технологий и продуктов. Имеет собственную систему оркестровки контейнеров аналога Kubernetes. Также занимается DevOps-акселерацией компаний, помогая в кратчайшие сроки получить качественную автоматизированную инфраструктуру под проект с дальнейшим 24/7-мониторингом.
Tempesta Technologies
Luntry — комплексная защита контейнеров и Kubernetes на всех стадиях жизненного цикла приложения. Решение обеспечивает высокий уровень безопасности процессов, помогает создать инфраструктуру без слепых зон и наладить бесшовную коммуникацию между командами даже в самых крупных проектах.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Ozon — ведущий e-com России. В их IT-команде уже 5 000 специалистов, которые создают продукты для миллионов людей по всей стране и за рубежом. Ozon Tech разрабатывает собственные решения, контрибьютит в Open Source и использует современный стек: Go, C#, Kotlin, Swift TypeScript, Vue.js, Kubernetes и Kafka. Продолжают расти, чтобы повышать доступность сервисов и быть ещё ближе к пользователям.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 7 стран. Ежедневно покупателям отправляется свыше 12 млн товаров, а сеть пунктов выдачи заказов превышает 46 000 точек.
Компания занимается разработкой бизнес-решений для игровых разработчиков и издателей.
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
Kinescope — видеоинфраструктура для интернета. Помогают бизнесу раскрыть потенциал профессиональных видеорешений для своих задач. Объединяют все необходимое для хранения, обработки, CDN-доставки и защиты видео в одном месте. Продукты Kinescope подходят как для стартапов, так и для компаний из списка РБК500 и государственных предприятий с высокими нагрузками и сложной логикой.
НОТА — мультипродуктовый вендор отечественного ПО, входит в Холдинг Т1. Создан в 2023 году на основе обширной экспертизы команд холдинга. Компания занимается развитием собственных программных продуктов и формированием внешней партнерской сети для дистрибуции и интеграции решений, востребованных в условиях технологического суверенитета.
Kinescope — видеоинфраструктура для интернета. Помогают бизнесу раскрыть потенциал профессиональных видеорешений для своих задач. Объединяют все необходимое для хранения, обработки, CDN-доставки и защиты видео в одном месте. Продукты Kinescope подходят как для стартапов, так и для компаний из списка РБК500 и государственных предприятий с высокими нагрузками и сложной логикой.
Пишут системы автоматизации бизнеса, стартапы, ботов, системы аналитики, личные кабинеты торговых систем и др. Если вы хотите сделать IT-продукт от простого бота до бэкофиса торговых систем, но не знаете, как и с чего начать, то проконсультируют вас и, при необходимости, сделают продукт под заказ или вместе с вами.
АО НПП РЕЛЭКС изначально была организована как компания разработчик СУБД в 1990 году, продукт СУБД ЛИНТЕР. На данный момент в компании существуют несколько направлений заказной разработки. Клиенты из разных отраслей и стран.
NGENIX
НЛМК ИТ — команда, которая делает IT-системы для металлургии и генерит существенную часть успеха Группы НЛМК, лидера среди российских производителей стали. В их готовой продукции нет ни единой строчки кода, но в ее производстве участвует большая IT-команда. Поэтому они немножечко IT-металлурги. Делают цифру реальностью!
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает IT-индустрию, поддерживает комьюнити и делится экспертизой.
Домклик - продуктовая технологическая компания, которая создает высоконагруженные проекты в сфере недвижимости, обеспечивая полный цикл от выбора квартиры, получения ипотеки, взаиморасчетов с продавцом до постпродажного сопровождения.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это больше 200 технопроектов. Свыше 10 000 человек создают и развивают одни из самых популярных и высоконагруженных интернет-сервисов в стране. Делают комфортнее, легче и интереснее жизнь сотне миллионов людей.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Servicepipe Компания-разработчик продуктов для высокоточной защиты от кибератак, активно развивающая технологии анализа трафика и защиты от автоматизированных угроз на L3–L7. На базе собственных технологий Servicepipe реализует сервисы по защите от продвинутых ботов, DDoS- и целевых атак.
Разработка картографической платформы в Яндекс.Картах
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Флант — специалисты по DevOps и Kubernetes. С 2008 года компания занимается созданием и обслуживанием инфраструктуры любого масштаба. С 2017 года развивает продукты Deckhouse, которые упрощают разработку, доставку и эксплуатацию приложений. А ещё консультирует по DevOps-практикам и технологиям.
Ozon - один из крупейших маркетплейсов не только в РФ но и в мире. Тут приходиться решать необычные технические задачи, готового решения для которых может и не существовать. Очень интересно
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
Ozon — ведущая платформа e-commerce в России. В команде Ozon Tech почти 4 000 инженеров — и она продолжает расти. Десятки миллионов людей пользуются сервисами Ozon, их IT-инфраструктура управляет миллионами процессов каждый час. Микросервисы на Go и C#, в стеке технологий есть Vue.js, Swift и Kotlin, Kubernetes, Kafka, Hadoop и ClickHouse.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Deckhouse — российский вендор, разработчик продуктов для построения надежной enterprise-инфраструктуры. Лидер рынка DevOps и №1 контрибьютор Kubernetes в России, 7 лет в эксплуатации, более 170 внедрений и референсные клиенты из самых разных отраслей.
EdgeЦентр — центр облачных и edge-решений. Помогают онлайн-бизнесу быстрее выпускать продукты и масштабировать ресурсы в несколько кликов. Предоставляют IT-решения в сфере вычислений, доставки, хранения и защиты контента.
Cloud․ru — провайдер облачных сервисов и AI-технологий, который делает доступ к облакам и искусственному интеллекту простым и удобным. В Cloud․ru есть 100+ IaaS- и PaaS-сервисов, ML-платформа на базе суперкомпьютеров и публичное облако Cloud․ru Evolution на основе собственных разработок и open source. В команде провайдера более 1 500 специалистов в области IT, кибербезопасности и AI. Cloud․ru входит в число крупнейших IT-компаний России.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Грамант
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает IT-индустрию, поддерживает комьюнити и делится экспертизой.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Лидирующий сервис аналитики маркетплейсов; экосистема обучения, консалтинга и аналитических отчетов для селлеров и компаний, продающих товар на маркетплейсах
Servicepipe Компания-разработчик продуктов для высокоточной защиты от кибератак, активно развивающая технологии анализа трафика и защиты от автоматизированных угроз на L3–L7. На базе собственных технологий Servicepipe реализует сервисы по защите от продвинутых ботов, DDoS- и целевых атак.
Sendsay — это CDP для автоматизации общения с клиентами через email, ВКонтакте, Telegram, Web Push, Mobile Push и SMS.
EdgeЦентр — центр облачных и edge-решений. Помогают онлайн-бизнесу быстрее выпускать продукты и масштабировать ресурсы в несколько кликов. Предоставляют IT-решения в сфере вычислений, доставки, хранения и защиты контента.
К2 Cloud — это профессиональная команда IТ-специалистов, product- и sales-менеджеров. Вместе они развивают уникальную IaaS-платформу собственной разработки, которая предоставляет крупным корпоративным клиентам высокое качество сервисов по модели laaS, PaaS, DRaaS и квалифицированную проактивную поддержку в режиме 24×7.
Райффайзен Банк — часть австрийской банковской группы Raiffeisen Bank International; работает в России с 1996 года и входит в тройку самых надежных российских банков по версии Forbes. В команде банка более 3000 IT-специалистов, которые работают над продуктами будущего и развивают финтех в России. И не любят легаси.
Российская ИТ-компания Axenix предоставляет услуги в областях стратегии и бизнес-консалтинга, цифровых сервисов, облачных технологий и решений для цифровой трансформации бизнеса. Эксперты Axenix помогают реализовывать полномасштабные end-to-end проекты, от создания бизнес- и ИТ-стратегий до их полноценного внедрения, включая разработку технологических решений и программного обеспечения. Компания является одним из технологических лидеров и регулярно выводит на российский рынок инновационные импортозамещающие решения и продукты, многие из которых отмечены престижными отраслевыми премиями
Команда Яндекс 360 создает продукты, которые решают повседневные задачи миллионов пользователей: от хранения воспоминаний до деловой переписки. В Яндекс 360 входят Почта, Диск, Документы, Телемост, Календарь, Заметки и Мессенджер.
