Управление кластером Unix/FreeBSD без cfengine и puppet РИТ++ 2010
Доклад принят в Программу конференции
quantified motion
В 2010–2012 построил Dream Industries в качестве первого CTO. Последние годы работает с ранними стартапами в России и за рубежом над продуктом и стратегией роста.
Тезисы
Тезисы:
В жизни каждого успешного системного инженера наступает момент, когда стандартные инструменты Unix уже не позволяют эффективно управлять серверной инфраструктурой. Часто на помощь приходят проприетарные продукты от поставщика конкретной платформы, будь то RedHat, IBM или Sun. Иногда получается обойтись открытыми решениями типа cfengine и puppet. У комплексных решений есть проблемы: монолитность, сложность, недостаток документации о внутренних процессах, невозможность эффективной диагностики.
Данный мастер-класс рассматривает реальный опыт построения и поддержки HPC-кластера на базе FreeBSD, а также рассматривает фундаментальные проблемы Unix как платформы для больших, сложных инсталляций, и пути их решения.
- обзор решений на Linux: ROCKS, xCAT
- FreeBSD для кластеров: за и против, истории успеха
- инфраструктурные задачи: AAA, хранилище, управление
- AAA: LDAP, OpenLDAP, nss_ldap, pam_ldap, nscd
- проблемы Kerberos для auth и NFS
- работа машин в режиме stateless: PXE, NFS root
- использование локальных дисков и NFS-разделов
- управление: модели pull/push, pssh, rc.conf.d
- out-of-band: IPMI, пример box-reset, IP-KVM
- аудит для контроля доступа и диагностики
- мониторинг: ganglia (multicast) и др.
- обновления firmware
- неполадки hardware
- проблемы: неполадки, совместимость, vendor support
Аудитория:
администраторы более одной машины Unix/FreeBSD
Другие доклады секции РИТ++ 2010
Битрикс24 — одна из крупнейших IT-компаний России. Уже более 25 лет мы создаем продукты, которые помогают работать бизнесу во всём мире. В нашем онлайн-сервисе собраны все нужные инструменты для работы компании и управления бизнесом. Среди них: сервис для создания, поддержки и развития веб-проектов, готовый набор инструментов для совместной работы компании и CRM-система.
«Международный деловой альянс» — одна из старейших ИТ-компаний в Беларуси. 30+ лет занимается созданием и внедрением решений для крупного бизнеса, построением импортонезависимой инфраструктуры.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Веб-стандарты
Команда Т-банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
VK Tech — команда из 1400 специалистов в России и Казахстане. Разрабатывают и продвигают облачные платформы и сервисы VK Cloud, in-memory СУБД Tarantool, коммуникационные решения — от почты VK WorkSpace до супераппа VK Teams и решения для автоматизации HR и финансов. Внутри: C++, Python, Go, Java, Javascript, Lua.
RoboGate — это разработчик и поставщик IT-решений в сфере FinTech. Компания сосредоточена на создании и развитии удобной и безопасной инфраструктуры для институциональных и частных участников финансовых рынков. Клиенты RoboGate получают доступ к профессиональным торговым платформам и инновационным разработкам компании.
МТС Web Services (MWS) — новая бигтех-компания экосистемы МТС, куда вошли все ключевые ИТ-активы группы: МТС Digital, МТС Cloud, Big Data МТС, MTS AI, Visionlabs. MWS предоставляет рынку широкий спектр ИТ-услуг: облачные сервисы, AI-решения и платформы под разные задачи бизнеса, начиная с бесшовной интеграции и заканчивая работой с данными. Команда MWS насчитывает более 10 тысяч ИТ-специалистов, которые в максимальной кооперации друг с другом обеспечивают высокое качество и надежность продуктов и сервисов.
YADRO cоздает и производит линейки серверов, систем хранения данных и коммутаторы для ЦОДов ИТ-компаний, банков, ретейлеров, предприятий сферы образования, энергетики, транспорта. Мы активно работаем над созданием базовых станций и современных микропроцессоров на базе RISC-V. У нас несколько тысяч сотрудников, среди которых много разработчиков на Go, пишут софт для управления железом и внутренние инструменты.
Tranio.Ru — интернет-центр зарубежной недвижимости
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Мы — ecom.tech, продуктово-технологическая команда. Чем занимаемся: делаем ИТ для ритейла реального времени. Чтобы все нужные товары и продукты могли попадать к людям мгновенно, насколько это возможно в физическом мире – c помощью технологий. Сейчас нашими технологиями пользуются Самокат и Мегамаркет, на наших решениях работают логистические системы. Раньше мы назывались Samokat.tech – но наше видение всегда было шире одного пользовательского сервиса. Мы хотим фундаментально изменить модель потребления, чтобы люди по-другому относились к покупкам.
Циан — PropTech-компания, которая ежемесячно помогает 19 млн пользователей найти дом или офис мечты и делает этот процесс максимально прозрачным: чтобы для каждого пользователя поиск был удобным, информация — достоверной, оценка — точной, а издержки для всех сторон — минимальными.
Autotech — разработчик технологии автономного вождения, совместимой с различными видами транспорта: от легковых автомобилей до грузовиков. Ключевое направление работы — создание универсальной беспилотной технологии.
В Evrone делают на заказ технически сложные проекты на Ruby, Python и Go. Любят Ruby и с 2009 года организуют конференцию Ruby Russia, на которую собирают сотни рубистов со всей России.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Системный Подход
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 7 стран. Ежедневно покупателям отправляется свыше 12 млн товаров, а сеть пунктов выдачи заказов превышает 46 000 точек.
Звук — это аудиостриминг c музыкой в HiFi-качестве, подкастами, аудиокнигами, эксклюзивными плейлистами и разделом для детей. Это продуктово-инженерная компания из 700+ экспертов. Более 450 инженеров, разработчиков и продактов, 6 продуктовых стримов и 19 продуктовых команд каждый день делают стриминг надежнее и наполняют его полезными фичами.
DDoS-Guard — cпециализированный провайдер защиты от DDoS-атак на базе собственных разработок. Команде экспертов доверяют тысячи клиентов по всему миру, среди которых ISPsystem, Selectel, Reg.ru, hh.ru и другие. За 2023 год система защиты DDoS-Guard отразила 2.2 млн атак.
Компания Xologie занимается управлением эксплуатацией сложных географически распределенных систем. В текущий момент акцент стоит на дорожно-транспортной тематике. Мы занимаемся контролем, инвентаризацией,
Сбер - это современный стек технологий, драйвовые проекты и команда единомышленников. У нас около 3 000 продуктовых команд и огромное профессиональное IT- сообщество. Мы работаем над созданием удобных онлайн-сервисов в самых разных сферах.
Совмещаю работу в найме и консалтинг. Как scrum-мастер работаю в Магните — это сеть из почти 29 тысяч розничных магазинов по всей России и за рубежом. Чтобы товары вовремя попадали на полки, а магазины без сбоев обслуживали миллионы покупателей, нужна сложная IT‑система, которую развивает Magnit Tech. Как консультант работаю в бюро TalentCraft, где помогаю компаниям привлекать и удерживать таланты для сохранения стабильности и роста бизнеса, реализуя яркие HR- и DevRel-проекты.
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 8 стран. Ежедневно покупателям отправляется свыше 20 млн товаров, а сеть пунктов выдачи заказов превышает 55 000 точек.
MTС Web Services (MWS) — облачные сервисы для решения задач бизнеса. Компания предоставляет сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Также MWS строит новую публичную облачную платформу собственной разработки, которая станет доступна в 2025 году.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Самый фиолетовый маркетплейс в этой галактике.
Айри.рф
Umisoft (ООО "Юмисофт")
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
OTUS https://otus.ru/ - крупная и продуктивная онлайн-школа для IT-специалистов. ЛАФ (Летний аналитический фестиваль) - конференция, где системные и бизнес-аналитики повышают свои компетенции уже более 10 лет. WAW (Зимние аналитические выходные) - конференция для системных аналитиков уровня middle+ и выше.
Бюро Розетка — это команда экспертов в образовании: мы выстраиваем корпоративное обучение, проводим конференции, организуем стажировки и формируем профессиональные сообщества с вниманием к людям и результату
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Киберия — веб-студия заказной разработки. Делаем интернет чуть лучше, проект за проектом. Специализируемся на автоматизации и архитектуре, AI-разработке, ERP/СRM, помогаем бизнесу запускать масштабируемые продукты быстрее и надёжнее. Наши подходы отмечены отраслевыми премиями: • 2024 – RUWARD AWARD — кейс года в разработке сайтов. • 2022 – «Золотой сайт» в номинации «Телеком» • 2024 – Лауреат премии FIRE CODE — самое перспективное агентство до 30 человек.
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Поисковый лидер в России.
Туту — сервис путешествий, где можно найти всё для предстоящей поездки 20 лет мы помогаем людям покупать билеты быстрее и комфортнее, рассказываем, как лучше добираться до места назначения, и отвечаем на любые вопросы про путешествия. Каждый день в путь отправляются несколько десятков самолётов и поездов только с нашими пользователями.
Быстринский ГОК — один из крупнейших в отрасли greenfield-проектов Норникеля. Производственная мощность 10 млн тонн руды в год(Au, Fe, Cu).
MTС Web Services (MWS) — облачные сервисы для решения задач бизнеса. Компания предоставляет сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Также MWS строит новую публичную облачную платформу собственной разработки, которая станет доступна в 2025 году.
Защита веб-приложений.
Bercut — поставщик решений в области IT, партнер для развития бизнеса операторов связи и сервис-провайдеров. https://bercut.com
Мы IT дочка Дом.РФ и цифровизируем процесс строительства в РФ, пилим крутые и сложные информационные системки федерального уровня, ЕИСЖС - это мы)
