HighLoad++ 2015 завершён! Ждём вас в 2016 году!

Профессиональная конференция разработчиков высоконагруженных систем

Видеозаписи
докладов 2015 года
2 и 3 ноября 2015 Крокус-Экспо МОСКВА
Профессиональная конференция разработчиков высоконагруженных систем

Главная → Основная секция

Извлечение структурированной информации из web-страниц
Основная секция

Доклад принят в Программу конференции
Марк Быстров
Циан — IT-компания, разрабатывающая сервисы для покупки, продажи, сдачи в аренду и оценки стоимости недвижимости, а также для расчета и подбора ипотеки.

Василий Копытов
В команде Авито уже 1800+ инженеров и мы продолжаем расти. У нас больше трёх тысяч микросервисов на Python и Go, фронтенд на JavaScript, базы данных PostgreSQL, MongoDB и Redis, автоматические тесты, обученная на данных система модерации и поисковый движок Sphinx. Ежедневно на Авито публикуется больше 20 миллионов объявлений и ведется 5 миллионов чатов с применением ML-моделей. А над развитием и поддержкой этой системы работает более 100 DS-инженеров.

Тезисы

Тезисы

Большинство сайтов содержит массив страниц, созданных лишь с помощью только одного шаблона. Поэтому при создании вертикального поиска приходится решать задачу выделения и обработки специализированной информации из структурированных страниц различных тематических сайтов.

  • Вертикальный поиск компании Рамблер.
  • Структура тематических сайтов, задача о выделении значимых данных на web-странице.
  • Обзор подходов извлечения структурированных данных. Алгоритмы построения шаблонов.
  • Реализованный подход: алгоритм принимает на вход массив web-страниц, вычисляет классы эквивалентности и автоматически строит регулярное выражение для автоматического извлечения значимых данных web-страницы.
  • Словари значимых данных.
  • Интеллектуальный маппинг областей значимых данных web-страницы.
  • Решение задачи перестройки регулярного выражения при изменении дизайна сайта.
  • Результаты.

О докладчике

Плошихин Виктор, отдел поиска и навигации, руководитель группы

Протасов Сергей, отдел поиска и навигации, ведущий программист

Контакты: v.ploshikhin@rambler-co.ru

Другие доклады секции
Основная секция

Масштабированное кэширование для защиты кластера от перегрузок (Создание системы кэширования для сложных вычислительных систем)
Анна Атрошкина
Index — специализированное IT-рекрутинговое агентство, работающее на рынке России и Европы.
Erlang - лекарство при высоких нагрузках
Алексеев Илья Игоревич
Ростелеком — крупнейший в России интегрированный провайдер digital-решений и услуг для населения, бизнеса и государства. Миссия компании — дать людям качественные и удобные цифровые сервисы для комфортной жизни и эффективного бизнеса.
MySQL Storage Engines: Innodb, Falcon, Maria, специальные движки
Петр Зайцев
«Перкона» (Percona)
Внутреннее устройство и тюнинг Sphinx, некоторые tips-n-tricks (Sphinx. Самоучитель игры на волшебной палочке)
Андрей Аксенов
Авито, Sphinx
Проблемы работы с большими объемами реляционно слабосвязанных данных в высоконагруженных веб-проектах
Илья Космодемьянский
Data Egret
Особенности обработки статистики высоконагруженной системы управления баннерной рекламой
Артем Вольфтруб
Грамант
Эволюция архитектуры портальных проектов
Максим Кокряшкин
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Масштабирование CIFS: взгляд за горизонт с CTDB
Эмиль Шарифуллин
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает Ит-индустрию, поддерживает комьюнити и делится экспертизой.
Масштабирование PostgreSQL: огонь и медные трубы
Андрей Пыжов
ITentika (ранее российский центр разработки DataArt) - разработчик ПО с 25-летним опытом создания ИТ-решений для ведущих международных компаний и крупнейших экосистем РФ. Мы проектируем и разрабатываем технологически сложные решения на стыке информационных технологий и бизнес-консалтинга, позволяющие нашим клиентам кратно увеличить прибыль и стать лидером отрасли. ITentika входит в ТОП-20 крупнейших разработчиков ПО (Рейтинговое агентство RAEX).
Использование SMS технологий в высоконагруженных веб-проектах. Проблемы и пути решения
Влад Васильев
Я работаю в компании Wildberries уже три года и в течение этого времени команда моего продукта изменялась и прошла путь от стартапа до большой продуктовой команды.
Хранение и обработка больших массивов данных в рекомендательном движке сайта Имхонет
Артем Каледин
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Производительность PostgreSQL
Дмитрий Григорьев
Звук — это музыка в HiFi-качестве, а также подкасты, аудиокниги, эксклюзивные плейлисты и раздел для детей. Звук можно послушать в приложении, доступном во всех популярных сторах, на сайте zvuk.com, а также в автомобилях с поддержкой CarPlay и AndroidAuto.
Крупный студенческий портал на примере сайта 5ballov.ru
Станислав Иванкевич
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
TimesTen – СУБД, которая работает в 10 раз быстрее классической СУБД
Алексей Поляков
Т-Банк
Особенности построения собственной полнофункциональной IM-сети проблемы и методы их решения
Гончаров Левон
Компания на рынке уже более 7 лет, занимается сложными трансформациями крупных компаний из финтеха, ритейла и классифайд на рынках РФ и Казахстана.
Масштабирование InnoDB. Плагины InnoDB
Петр Зайцев
«Перкона» (Percona)
Высокопроизводительные системы обмена сообщениями: Spread Toolkit
Даниил Кондаков
GMCS – российская аккредитованная ИТ-компания, один из лидеров по внедрению бизнес-решений и разработке ПО. Мы помогаем заказчикам осуществить цифровую трансформацию бизнеса с помощью решений ведущих мировых и российских поставщиков, а также продуктов собственной разработки.
RPC: протокол Thrift на примере проектов Рамблера
Басков Иван
SberDevices — российская IT-компания полного цикла. R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства, разрабатывает высокотехнологичные сервисы для бизнеса, делает масштабные ML-проекты, LLM, высоконагруженные системы и технологии обработки Big Data. В портфолио SberDevices — SberBox, SberJazz, GigaChat, Kandinsky и другие легенды.
Блиц-доклады
Елизавета Колесникова
ндекс — международная ІT-компания с собственной поисковой системой и множеством сервисов. Среди них Еда, Такси, Путешествия, Музыка, Кинопоиск, Реклама и другие. Мы создаём уникальные технологии, контрибьютим в опенсорс, улучшаем IT-образование и запускаем продукты и сервисы, которые помогают людям решать задачи и достигать своих целей в жизни.
Amazon Web Services: инструменты обеспечения масштабируемости и отказоустойчивости
Александр Кузин
IT Test — команда по разработке, тестированию и дизайну сложных отраслевых IT-решений. Делаем компании более эффективными за счет цифровизации процессов. 8+ лет на рынке digital-услуг, 200+ реализованных проектов, 70+ проверенных партнеров, 85+ наград в ключевых рейтингах digital-агентств. Занимаемся не только заказной разработкой, но и создаем собственные продукты: наша TMS DoQA увеличивает эффективность процессов тестирования, усиливает аналитику и стандартизирует документацию.
CORBA: Обеспечение обслуживания клиентов 24x7
Екатерина Фирсова
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Нагрузочное тестирование. Как организовать сервисную службу
Николай Поляков
Компания занимается разработкой ПО на заказ
Архитектура MySQL Cluster
Ольга Седова
ЕВРАЗ — это горно-металлургическая компания с предприятиями по всей России: от Тулы до Новокузнецка. ООО «ЕвразТехника ИС» выполняет работы (оказывает услуги) по разработке, адаптации, модификации, а также услуги по установке, тестированию и сопровождению программного обеспечения и цифровых решений в группе ЕВРАЗ.
Масштабирование СУБД MySQL на системах с многоядерной архитектурой
Константин Осипов
Picodata
Авто-развертывание веб-систем
Максим Кокряшкин
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Нагрузочное тестирование ядра высоконагруженной системы
Наиль Рамилевич Миннахметов
В МТС мы прямо сейчас создаем цифровую экосистему масштаба страны.
Файловая система ZFS – кто такие LogZilla и ReadZilla, или особенности внутреннего устройства
Роман Дерунец
Сибирские нейросети - молодая, но быстро развивающаяся компания, которая занимается продуктами в области обработки естественного языка и речевой аналитики.
Citrix NetScaler: разгрузка, балансировка и защита высоконагруженных веб-серверов
Наталия Смирнова-Узенцова
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
Оптимизация работы с MySQL (О некоторых возможностях уменьшения нагрузки на БД)
Елизавета Гаврилова
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Архитектурные особенности высоконагруженных систем в телекоме
Михаил Хрущев
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Нереляционные системы хранения данных (HCS: хранение и обработка сверхбольших объемов иерархических данных)
Егор Смирнов
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это более 200 технологичных проектов, больше 15 000 сотрудников и миллион возможностей проявить себя. Мы делаем современные и быстрые интернет-сервисы, доступные каждому.
Логирование и мониторинг нагрузки
Азат Разетдинов
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 7 стран. Ежедневно покупателям отправляется свыше 12 млн товаров, а сеть пунктов выдачи заказов превышает 46 000 точек.
Облака Амазона или хостинг для стартапов. Теория и практика использования Amazon Web Services в проектах с непредсказуемой нагрузкой.
Сергей Пономарев
Purrweb компания которая специализируется на разработке MVP приложений и стартапов, за последнее время компания выросла до 200 человек и продолжает развиваться.
Асинхронная обработка в высокопроизводительных системах
Ольга Глеклер
Сообщество, занимающееся разработкой и поддержкой WordPress и связанных проектов — 22 открытые для новичков команды и Core Security.
XenServer – платформа виртуализации
Рамис Закиев
«Татнефть Цифровые Технологии» — дочерняя IT-компания ПАО «Татнефть», центр внутренней продуктовой разработки и технического сопровождения. Команда работает над автоматизацией деятельности группы компаний и разработкой пользовательских сервисов.
Построение современного почтового узла
Любовь Кудренок
Звук — это аудиостриминг c музыкой в HiFi-качестве, подкастами, аудиокнигами, эксклюзивными плейлистами и разделом для детей. Это продуктово-инженерная компания из 700+ экспертов. Более 450 инженеров, разработчиков и продактов, 6 продуктовых стримов и 19 продуктовых команд каждый день делают стриминг надежнее и наполняют его полезными фичами.
Разработка проектов с высокой посещаемостью (Принципы построения масштабируемых высоконагруженных веб-проектов)
Алексей Рыбак
devhands.io
Разработка модулей для nginx
Анна Ширяева
Цифровой СИБУР является развивающимся IТ-кластером топового нефтегазохимического холдинга России.
Конвейерная разработка высокопроизводительных проектных платформ. Примеры и инвестиционный подход
Кобозева Ангелина Юрьевна
Мы специализируется на юридическом сопровождении IТ-компаний. С 2020 года работаем в сфере IT-права и интеллектуальной собственности. У нас: - 100% успешных регистраций в Реестре российского ПО; - Экспертные статьи на vc.ru, habr.ru; - Канал в Telegram на аудиторию более 3000 подписчиков; - 290 уверенных в своем бизнесе клиентов; - Проводим вебинары и корпоративное обучение.
Хранение и быстрая отдача миллионов уникальных объектов (на примере подбора объявлений на партнерских сайтах Бегуна)
Иванкевич Станислав Олегович
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
Оптимизация производительности операторских решений IPTV
Николай Комраков
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Building clusters with GlusterFS
Marian Marinov
SiteGround
Мифы о нагрузочном тестировании
Надежда Лебедева
Купер (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда Купера создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Архитектурные приемы: онлайн-игры
Никита Соловьев
Ecom.Tech - ИТ компания, разрабатывающая продукты для Самокат, Мегамаркет, Купер
Архитектура распределённой базы данных Skype
Елена Колесникова
В компании 900+ человек, 4 города присутствия: Ижевск, Москва, Уфа, Тюмень. Мы разрабатываем программные продукты и сервисы для управления цифровыми процессами и документами. Оказываем полный спектр услуг по выстраиванию цифрового взаимодействия: анализируем бизнес-процессы, создаем, внедряем и сопровождаем ИТ-решения для организаций различных масштабов и отраслей.
Web, кэширование и memcached
Андрей Смирнов
Talos
Нагрузочное тестирование сверхвысоконагруженных проектов
Евгений Коваленко
РТЛабс — разработчик Госуслуг. Мы развиваем цифровую экосистему портала gosuslugi.ru и работаем над тем, чтобы изменить представление о государственных сервисах. Команда РТЛабс работает по agile, и наша главная метрика — довольный пользователь. Среди проектов компании: цифровые сервисы Госуслуг, мобильное приложение «Госуслуги», цифровой ассистент робот Макс, Единая система идентификации и аутентификации (ЕСИА), Система межведомственного электронного взаимодействия (СМЭВ) и другие.
Архитектура Бегуна: Обеспечение High Load & High Availability
Никита Галушко
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это более 200 технологичных проектов, больше 15 000 сотрудников и миллион возможностей проявить себя. Делают современные и быстрые интернет-сервисы, доступные каждому.
RESTful архитектура для масштабируемых систем
Сикач Владислав
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Масштабируемые серверные платформы для высоконагруженных систем
Даниил Немировский
Райффайзен Банк — часть австрийской банковской группы Raiffeisen Bank International; работает в России с 1996 года и входит в тройку самых надежных российских банков по версии Forbes. В команде банка более 3000 IT-специалистов, которые работают над продуктами будущего и развивают финтех в России. И не любят легаси.
Архитектура рекламной системы Mail.RU
Эмиль Шарифуллин
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает Ит-индустрию, поддерживает комьюнити и делится экспертизой.
Балансировка нагрузки, кэширование и легковесная авторизация сервисов в веб-кластере
Иван Елфимов
Островок! — travel-tech компания, создающая платформы онлайн-бронирования отелей, авиабилетов и других услуг как для индивидуальных путешественников, так и для корпоративных клиентов и тревел-агентств. Наши бренды: Островок!, B2B.Ostrovok.ru, Островок! Командировки. Мы развиваем проекты как в России, так и за рубежом.
Citrix NetScaler — использование аппаратных решений для построения высоконагруженных систем
Наталия Смирнова-Узенцова
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
Хостинг Amazon EC2
Константин Лапин
В Nexign пишут на Java, Gо, C# и С++, создают микросервисы и используют собственную СУБД. В команде 2000 экспертов, которые всегда знают, как сделать лучше. Они доказывают это в каждом проекте, будь то внедрение биллинговой платформы крупнейшим телеком-операторам или создание кастомизируемой HRM-системы.
Стать докладчиком
Докладчикам
Участникам
Стать спонсором
Спонсорам
Фото прошлых конференций:
HighLoad++ 2015 (День 1, День 2), HighLoad++ 2014, HighLoad++ 2012
РИТ++ 2015 - день первый, РИТ++ 2015 - день второй, РИТ++ 2014, РИТ++ 2013

По любым вопросам обращайтесь:
Бухгалтерия и вопросы оплаты: support@ontico.ru +7(495) 646-07-68
Программный комитет: Олег Бунин oleg.bunin@ontico.ru, +7 (916) 635-95-84
Организационный комитет: oleg.bunin@ontico.ru

Почтовый адрес для отправки документов для «Онтико»:
119180, Москва, Бродников пер., д. 7 стр. 1, ООО «Онтико»

Почтовый адрес для отправки документов для «Конференции Олега Бунина»:
125040, г.Москва, ул.Нижняя, д.14, стр.7, под.1, эт.2, офис 08, ООО «Конференции Олега Бунина»

Адрес для отправки курьеров:
125040, Москва, Нижняя ул, д. 14, стр. 7, 1 подъезд, этаж 2, офис №2.
Rambler's Top100