Зачем знать алгоритмы Основная секция
Доклад принят в Программу конференции
Авито, Sphinx
Пишет код на всём подряд, показывает другим как. В удачные дни код удается сносить, это обязательно показывает другим и заставляет "точно так же" втройне сильнее. Всю сознательную жизнь из этого выходят разные движки, прямо проклятие какое-то.
Тезисы
Why02
View more presentations from HighLoad2009.
Синопсис
Исходник можешь ты не знать, но алгоритмы знать обязан. Это потому, что даже минимальные познания о том, как что устроено внутри разных серверных программных систем позволяют ловко оптимизировать всякое, проводить правильные бенчмарки, принимать осознанные решения о разработке или неразработке своего велосипеда, и т.д. и т.п.
Тезисы:
1. О чем вообще доклад: как довольно-таки базовые знания всякого помогают понять происходящее в чужих (!) системах, с которыми приходится работать, типа СУБД.
2. Пронзаем мозгом базу данных.
2.1. Теория. Потроха любой SQL базы на пальцах за 10 минут: хранение rows (тупое и кластерное); индексы (вечный Btree и как он устроен); covering индексы; вычисление запросов с точки зрения банальной эрудиции (row lookup, WHERE, ORDER, GROUP); зачем и как бывают буфера.
2.2. Практика. Как внутри работает выборка по PK, по индексу, по covering индексу, как примерно может работать JOIN. Как идеал, бывает, расходится с реальностью на примере MySQL (LIMIT, выбор индекса, subselect). Отчего иногда случается fullscan и отчего иногда это хорошо. Полубоевые примеры "как по книжке" про разгон запросов при помощи covering index, форсирования fullscan, итд.
3. Пронзаем мозгом полнотекстовый поиск.
3.1. Теория. Потроха любого поиска на пальцах за 10 минут: что такое инвертированный индекс; как, в принципе, могут храниться атрибуты; вычисление запросов с точки зрения банальной эрудиции (пересечение списков, прыжки по чекпойнтам, row lookup).
3.2. Практика. Отчего и почему FT индекс нельзя хранить в базе, как и почему для него НЕ работает Btree. Отчего, почему, и как в Sphinx работают ловкие трюки про замену ключевых слов фильтрами и наоборот. Отчего не обязаны хорошо работать где-то еще. Почему нужны стоп-слова. Откуда взялся max_matches и почему оно влияет на скорость поиска.
4. Бонус-трек: пронзаем мозгом компилятор. "Зачем ассемблеру второй проход", чего нельзя ожидать от скриптовой среды типа PHP, почему в идеальном мире победит Java, а в реальном C++.
5. Выводы. Зачем же таки знать алгоритмы. Какие конкретно, те, что остались за бортом доклада. На какой позиции или в какой стране можно не знать.
Другие доклады секции Основная секция
BI.ZONE — компания по управлению цифровыми рисками. Мы создаем IT-продукты для обеспечения кибербезопасности: от мобильных приложений до сложных платформ, в основе которых лежат методы машинного обучения.
ROGII — международная компания, разрабатывающая продукты для геонавигации.
СберЗдоровье — российская медицинская компания, специализирующаяся на телемедицинских услугах и цифровых решениях в области здравоохранения.
Авто.ру — это проект Яндекса, который помогает людям купить или продать машину
Компания Биокад — биотехнологическая компания полного цикла, то есть занимается как разработкой, так и производством лекарственных препаратов. В компании более 3000 сотрудников. Треть из них с научными степенями. IТ-департамент — более 250 человек.
Мы делаем ИТ для ритейла реального времени. Чтобы все нужные товары и продукты могли попадать домой к людям мгновенно, насколько это возможно в физическом мире – с помощью технологий. На наших решениях работают Самокат, Мегамаркет, логистические системы. Компания выросла из команды Samokat.tech — наше видение всегда было шире одного пользовательского сервиса. Мы хотим изменить саму модель потребления, чтобы люди по-другому относились к покупкам и своему времени. В команде больше 5000 человек — мы большие и разные, стремимся к балансу между технической выверенностью и фокусом на бизнес-ценность, уважаем процессы и избегаем закостенелости. Делаем продукты, которыми пользуемся сами.
MAGNIT TECH — IT-компания, которая трансформирует один из крупнейших ритейлеров страны. Это более 5000 сотрудников, 800+ систем, 260+ проектов и одна цель: изменить ритейл в такт передовым технологиям. Мы не просто обслуживаем процессы, мы проектируем инновации с нуля, запускаем флагманские продукты и перестраиваем логику ритейла – от логистики и аналитики до клиентских платформ и AI-решений.
Пишут системы автоматизации бизнеса, стартапы, ботов, системы аналитики, личные кабинеты торговых систем и др. Если вы хотите сделать IT-продукт от простого бота до бэкофиса торговых систем, но не знаете, как и с чего начать, то проконсультируют вас и, при необходимости, сделают продукт под заказ или вместе с вами.
Билайн — один из ведущих поставщиков телекоммуникационных услуг в России.
Грамант
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Data Egret
Servicepipe Компания-разработчик продуктов для высокоточной защиты от кибератак, активно развивающая технологии анализа трафика и защиты от автоматизированных угроз на L3–L7. На базе собственных технологий Servicepipe реализует сервисы по защите от продвинутых ботов, DDoS- и целевых атак.
В «Магните» занимается управлением портфелем IT-проектов, трансформацией IT-вертикали, а также контролирует эффективность производственного цикла. Одна из задач — повышение эффективности управления изменениями для бизнес-заказчиков.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Объединенная компания Wildberries & Russ — международная IT-компания, лидер рынков e-commerce и наружной рекламы в России. Образована в результате слияния крупнейшего маркетплейса СНГ Wildberries и оператора наружной рекламы Russ. Бизнес-модель Wildberries & Russ построена на использовании технологий. Компания активно развивает собственную IT-инфраструктуру, а также продукты для покупателей, продавцов, рекламодателей и других категорий пользователей.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 50 миллионов клиентов. Т-Банк развивает IТ-индустрию, активно внедряет современные технологии и делится экспертизой.
MTS Digital, KION - онлайн кинотеатр, который раздает десятки гигабит видео в секунду и делает жизнь чуть интереснее
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Компромиссная производительность (или какой логикой руководствуются владельцы коммерческих ресурсов)
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Билайн — один из ведущих поставщиков телекоммуникационных услуг в России.
IT-компания и основной цифровой партнер торговых сетей и бизнесов X5 Group. Команда из более 3500 специалистов разрабатывает решения, которые помогают 325 тысячам сотрудников группы работать с максимальным технологическим комфортом, а миллионам покупателей быстро и удобно покупать свежие продукты.
Компания Maxim Technology занимается разработкой ПО и баз данных. Наши приложения используют Сервисы такси, миллионы пользователей ежедневно заказывают автомобиль через наше ПО. Наши сервисы успешно обрабатывают сотни тысяч запросов в минуту, миллионы заказов в день, благодаря распределенной инфраструктуре, собственным дата-центрам, инновационным решениям и разработкам.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Компания Maxim Technology занимается разработкой ПО и баз данных. Наши приложения используют Сервисы такси, миллионы пользователей ежедневно заказывают автомобиль через наше ПО. Наши сервисы успешно обрабатывают сотни тысяч запросов в минуту, миллионы заказов в день, благодаря распределенной инфраструктуре, собственным дата-центрам, инновационным решениям и разработкам.
AgentArea — безопасная платформа для управления ИИ-агентами. Молодая команда уже стала финалистом AI Championship в кибербезопасности.
Tempesta Technologies
ООО Группа Лоджик Старс является ведущим игроком на рынке IT и уже более 20 лет разрабатывает высококачественное программное обеспечение в сфере автобизнеса. Специализируются на создании инновационных решений, которые помогают ихклиентам оптимизировать бизнес-процессы, повышать эффективность и достигать высоких результатов.
VK Tech занимается облачными решениями и не только.
Разрабатывают софт для СберТех. Отдел занимается развитием Open Source-продуктов: Apache Ignite, Apache Kafka, Postgresql.
НЛМК ИТ — команда, которая делает IT-системы для металлургии и генерит существенную часть успеха Группы НЛМК, лидера среди российских производителей стали. В их готовой продукции нет ни единой строчки кода, но в ее производстве участвует большая IT-команда. Поэтому они немножечко IT-металлурги. Делают цифру реальностью!
Один из лидеров фарм рынка.
Разработка офисных продуктов.
МФТИ / Физтех — ведущий российский исследовательский университет. Насчитывает 10 Нобелевских лауреатов. В топ‑100 глобального рейтинга Times Higher Education. Десятки научных школ, международные лаборатории, одни из сильнейших программ.
Ви.Tech – Это компания занимающаяся разработкой для крупнейшего в россии DIY магазина
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
SberDevices — это компания полного цикла. Мы создаём идеи, самостоятельно разрабатываем продукты, занимаемся прототипированием, конструированием, придумываем дизайн, программные решения, контролируем качество на фабриках и создаём инструменты для аппаратного тестирования.
МТС — одна из ведущих экосистемных компаний России. Предоставляет услуги мобильной и фиксированной связи, решения в области объединенных коммуникаций, интернета вещей, обработки данных, облачных вычислений и кибербезопасности. Штат IT-специалистов компании превышает 8 000 человек.
Миссия компании — обучить хотя бы 15% руководителей современным методикам управления и сделать Россию лидером в области корпоративного менеджмента.
VK Tech занимается облачными решениями и не только.
Servicepipe Компания-разработчик продуктов для высокоточной защиты от кибератак, активно развивающая технологии анализа трафика и защиты от автоматизированных угроз на L3–L7. На базе собственных технологий Servicepipe реализует сервисы по защите от продвинутых ботов, DDoS- и целевых атак.
AG-LEGAL — юридический консалтинг, сопровождающий IT-компании, а также крупные федеральные компании по вопросам интеллектуальной собственности, категорирования КИИ, персональных данных, включением в реестр отечественного ПО.
Российская ИТ-компания Axenix предоставляет услуги в областях стратегии и бизнес-консалтинга, цифровых сервисов, облачных технологий и решений для цифровой трансформации бизнеса. Эксперты Axenix помогают реализовывать полномасштабные end-to-end проекты, от создания бизнес- и ИТ-стратегий до их полноценного внедрения, включая разработку технологических решений и программного обеспечения. Компания является одним из технологических лидеров и регулярно выводит на российский рынок инновационные импортозамещающие решения и продукты, многие из которых отмечены престижными отраслевыми премиями
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Переосмысливают DIY-ретейл так же, как другие технологические лидеры до этого меняли банкинг и IТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
VK Tech занимается облачными решениями и не только.
АО ИНЛАЙН ГРУП - российская компания с 25 летней историей, классический ИТ системный интегратор. Продукт ИКСАР выведен на рынок в 2018 году и на данный момент занимает лидирующие позиции на рынке AR для Промышленности. Сайт продукта: https://iksar.pro/ ТГ канал продукта: https://t.me/iksarpro
Яндекс Go — продуктовая компания с устойчивой Data Driven-культурой, где все решения анализируются и проверяются с оглядкой на данные, а скрипт на Python или SQL может написать любой.
NGENIX
Разработка офисных продуктов.
AgentArea - безопасная платформа для управления ИИ-агентами. Молодая команда уже стала финалистом AI Championship в кибербезопасности.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
MWS (МТС Web Services) - облачный сервис для внутреннего и внешнего пользователя
Помощь в повышении квалификации для работающих разработчиков и open source-разработка.
Инфраструктурная платформа Genesis Core максимально упрощает «пользовательский путь» разработчика, от первой строчки и до деплоя на прод через локальные стенды.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Разработка офисных продуктов.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У них десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Группа компаний VK это крупнейшая ИТ компания, которая объединяет в себе социальные платформы, почту, облако, образовательные и технологические сервисы для пользователей и компаний.
