Управление кластером Unix/FreeBSD без cfengine и puppet РИТ++ 2010
Доклад принят в Программу конференции
quantified motion
В 2010–2012 построил Dream Industries в качестве первого CTO. Последние годы работает с ранними стартапами в России и за рубежом над продуктом и стратегией роста.
Тезисы
Тезисы:
В жизни каждого успешного системного инженера наступает момент, когда стандартные инструменты Unix уже не позволяют эффективно управлять серверной инфраструктурой. Часто на помощь приходят проприетарные продукты от поставщика конкретной платформы, будь то RedHat, IBM или Sun. Иногда получается обойтись открытыми решениями типа cfengine и puppet. У комплексных решений есть проблемы: монолитность, сложность, недостаток документации о внутренних процессах, невозможность эффективной диагностики.
Данный мастер-класс рассматривает реальный опыт построения и поддержки HPC-кластера на базе FreeBSD, а также рассматривает фундаментальные проблемы Unix как платформы для больших, сложных инсталляций, и пути их решения.
- обзор решений на Linux: ROCKS, xCAT
- FreeBSD для кластеров: за и против, истории успеха
- инфраструктурные задачи: AAA, хранилище, управление
- AAA: LDAP, OpenLDAP, nss_ldap, pam_ldap, nscd
- проблемы Kerberos для auth и NFS
- работа машин в режиме stateless: PXE, NFS root
- использование локальных дисков и NFS-разделов
- управление: модели pull/push, pssh, rc.conf.d
- out-of-band: IPMI, пример box-reset, IP-KVM
- аудит для контроля доступа и диагностики
- мониторинг: ganglia (multicast) и др.
- обновления firmware
- неполадки hardware
- проблемы: неполадки, совместимость, vendor support
Аудитория:
администраторы более одной машины Unix/FreeBSD
Другие доклады секции РИТ++ 2010
Мы — ecom.tech, продуктово-технологическая команда. Чем занимаемся: делаем ИТ для ритейла реального времени. Чтобы все нужные товары и продукты могли попадать к людям мгновенно, насколько это возможно в физическом мире – c помощью технологий. Сейчас нашими технологиями пользуются Самокат и Мегамаркет, на наших решениях работают логистические системы. Раньше мы назывались Samokat.tech – но наше видение всегда было шире одного пользовательского сервиса. Мы хотим фундаментально изменить модель потребления, чтобы люди по-другому относились к покупкам.
MTС Web Services (MWS) — облачные сервисы для решения задач бизнеса. Компания предоставляет сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Также MWS строит новую публичную облачную платформу собственной разработки, которая станет доступна в 2025 году.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Айри.рф
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
DDoS-Guard — cпециализированный провайдер защиты от DDoS-атак на базе собственных разработок. Команде экспертов доверяют тысячи клиентов по всему миру, среди которых ISPsystem, Selectel, Reg.ru, hh.ru и другие. За 2023 год система защиты DDoS-Guard отразила 2.2 млн атак.
Сбер - это современный стек технологий, драйвовые проекты и команда единомышленников. У нас около 3 000 продуктовых команд и огромное профессиональное IT- сообщество. Мы работаем над созданием удобных онлайн-сервисов в самых разных сферах.
Tranio.Ru — интернет-центр зарубежной недвижимости
Туту — сервис путешествий, где можно найти всё для предстоящей поездки 20 лет мы помогаем людям покупать билеты быстрее и комфортнее, рассказываем, как лучше добираться до места назначения, и отвечаем на любые вопросы про путешествия. Каждый день в путь отправляются несколько десятков самолётов и поездов только с нашими пользователями.
Autotech — разработчик технологии автономного вождения, совместимой с различными видами транспорта: от легковых автомобилей до грузовиков. Ключевое направление работы — создание универсальной беспилотной технологии.
MTС Web Services (MWS) — облачные сервисы для решения задач бизнеса. Компания предоставляет сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Также MWS строит новую публичную облачную платформу собственной разработки, которая станет доступна в 2025 году.
В Evrone делают на заказ технически сложные проекты на Ruby, Python и Go. Любят Ruby и с 2009 года организуют конференцию Ruby Russia, на которую собирают сотни рубистов со всей России.
Веб-стандарты
YADRO cоздает и производит линейки серверов, систем хранения данных и коммутаторы для ЦОДов ИТ-компаний, банков, ретейлеров, предприятий сферы образования, энергетики, транспорта. Мы активно работаем над созданием базовых станций и современных микропроцессоров на базе RISC-V. У нас несколько тысяч сотрудников, среди которых много разработчиков на Go, пишут софт для управления железом и внутренние инструменты.
РТЛабс — разработчик Госуслуг. Развивают цифровую экосистему портала gosuslugi.ru и работают над тем, чтобы изменить представление о государственных сервисах. Команда РТЛабс работает по agile, и ихглавная метрика — довольный пользователь. Среди проектов компании: цифровые сервисы Госуслуг, мобильное приложение «Госуслуги», цифровой ассистент робот Макс, Единая система идентификации и аутентификации (ЕСИА), Система межведомственного электронного взаимодействия (СМЭВ) и другие.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Umisoft (ООО "Юмисофт")
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 8 стран. Ежедневно покупателям отправляется свыше 20 млн товаров, а сеть пунктов выдачи заказов превышает 55 000 точек.
Самый фиолетовый маркетплейс в этой галактике.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
YDB — это распределенная отказоустойчивая Distributed SQL-база данных с открытым исходным кодом, которая сочетает в себе высокую доступность и масштабируемость со строгой согласованностью и транзакциями ACID. Она поддерживает одновременное выполнение транзакционных (OLTP), аналитических (OLAP) и потоковых нагрузок.
Системный Подход
YDB — это распределенная отказоустойчивая Distributed SQL база данных с открытым исходным кодом, которая сочетает в себе высокую доступность и масштабируемость со строгой согласованностью и транзакциями ACID. Она поддерживает одновременное выполнение транзакционных (OLTP), аналитических (OLAP) и потоковых нагрузок.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Мы IT дочка Дом.РФ и цифровизируем процесс строительства в РФ, пилим крутые и сложные информационные системки федерального уровня, ЕИСЖС - это мы)
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Т-Банк — цифровая экосистема, в основе которой один из самых технологичных банков в мире и второй банк в России по числу розничных клиентов. Сервисами Т-Банка ежедневно пользуются миллионы людей и компаний, решая повседневные задачи онлайн: переводят и инвестируют деньги, получают кешбэк, пользуются мобильной связью, бронируют билеты, гостиницы и рестораны, совершают покупки, участвуют в благотворительности и многое другое. С момента основания в 2006 году Т-Банк последовательно инвестирует в передовые технологии, в том числе в сфере искусственного интеллекта, формируя будущее банковской индустрии на глобальном уровне.
Звук — это аудиостриминг c музыкой в HiFi-качестве, подкастами, аудиокнигами, эксклюзивными плейлистами и разделом для детей. Это продуктово-инженерная компания из 700+ экспертов. Более 450 инженеров, разработчиков и продактов, 6 продуктовых стримов и 19 продуктовых команд каждый день делают стриминг надежнее и наполняют его полезными фичами.
Быстринский ГОК — один из крупнейших в отрасли greenfield-проектов Норникеля. Производственная мощность 10 млн тонн руды в год(Au, Fe, Cu).
Совмещаю работу в найме и консалтинг. Как scrum-мастер работаю в Магните — это сеть из почти 29 тысяч розничных магазинов по всей России и за рубежом. Чтобы товары вовремя попадали на полки, а магазины без сбоев обслуживали миллионы покупателей, нужна сложная IT‑система, которую развивает Magnit Tech. Как консультант работаю в бюро TalentCraft, где помогаю компаниям привлекать и удерживать таланты для сохранения стабильности и роста бизнеса, реализуя яркие HR- и DevRel-проекты.
Поисковый лидер в России.
Бюро Розетка — это команда экспертов в образовании: мы выстраиваем корпоративное обучение, проводим конференции, организуем стажировки и формируем профессиональные сообщества с вниманием к людям и результату
Отличная компания с хорошей технической культурой и продуктовым подходом к разработке.
RoboGate — это разработчик и поставщик IT-решений в сфере FinTech. Компания сосредоточена на создании и развитии удобной и безопасной инфраструктуры для институциональных и частных участников финансовых рынков. Клиенты RoboGate получают доступ к профессиональным торговым платформам и инновационным разработкам компании.
Циан — PropTech-компания, которая ежемесячно помогает 19 млн пользователей найти дом или офис мечты и делает этот процесс максимально прозрачным: чтобы для каждого пользователя поиск был удобным, информация — достоверной, оценка — точной, а издержки для всех сторон — минимальными.
Команда Т-банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
OTUS https://otus.ru/ - крупная и продуктивная онлайн-школа для IT-специалистов. ЛАФ (Летний аналитический фестиваль) - конференция, где системные и бизнес-аналитики повышают свои компетенции уже более 10 лет. WAW (Зимние аналитические выходные) - конференция для системных аналитиков уровня middle+ и выше.
Компания Xologie занимается управлением эксплуатацией сложных географически распределенных систем. В текущий момент акцент стоит на дорожно-транспортной тематике. Мы занимаемся контролем, инвентаризацией,
VK Tech — команда из 1400 специалистов в России и Казахстане. Разрабатывают и продвигают облачные платформы и сервисы VK Cloud, in-memory СУБД Tarantool, коммуникационные решения — от почты VK WorkSpace до супераппа VK Teams и решения для автоматизации HR и финансов. Внутри: C++, Python, Go, Java, Javascript, Lua.
Защита веб-приложений.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 7 стран. Ежедневно покупателям отправляется свыше 12 млн товаров, а сеть пунктов выдачи заказов превышает 46 000 точек.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
