Семантически близкие запросы в Вебе или Что такое похожие запросы, как их найти и использовать РИТ++ 2010
Доклад принят в Программу конференции
VK Tech — команда из 1400 специалистов в России и Казахстане. Разрабатывают и продвигают облачные платформы и сервисы VK Cloud, in-memory СУБД Tarantool, коммуникационные решения — от почты VK WorkSpace до супераппа VK Teams и решения для автоматизации HR и финансов. Внутри: C++, Python, Go, Java, Javascript, Lua.
Тезисы
View more presentations from rit2010.
Тезисы:
Многие поисковые сервисы наряду с результатами поиска предлагают пользователю набор связанных (близких, похожих) запросов, которые задают другие пользователи. Такая подсказка может помочь уточнить или расширить запрос, выбрать более удачную формулировку, сместить акцент поиска или выделить новый аспект искомой информации.
Нахождение таких групп связанных запросов - нетривиальная задача. В докладе будет сделан обзор методов и источников данных для выделения семантически близких запросов, рассмотрены технологические аспекты работы с большими объемами данных, приведены примеры реализации методов и различные сценарии использования результатов, сформулированы требования к качеству.
Другие доклады секции РИТ++ 2010
Айри.рф
Команда Т-банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает ИТ-индустрию, поддерживает комьюнити и делится экспертизой.
Autotech — разработчик технологии автономного вождения, совместимой с различными видами транспорта: от легковых автомобилей до грузовиков. Ключевое направление работы — создание универсальной беспилотной технологии.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Сбер — это современный стек технологий, драйвовые проекты и команда единомышленников. У них около 3 000 продуктовых команд и огромное профессиональное IT-сообщество. Работают над созданием удобных онлайн-сервисов в самых разных сферах.
Поисковый лидер в России.
Веб-стандарты
Umisoft (ООО "Юмисофт")
YDB — это распределенная отказоустойчивая Distributed SQL база данных с открытым исходным кодом, которая сочетает в себе высокую доступность и масштабируемость со строгой согласованностью и транзакциями ACID. Она поддерживает одновременное выполнение транзакционных (OLTP), аналитических (OLAP) и потоковых нагрузок.
Сбер - это современный стек технологий, драйвовые проекты и команда единомышленников. У нас около 3 000 продуктовых команд и огромное профессиональное IT- сообщество. Мы работаем над созданием удобных онлайн-сервисов в самых разных сферах.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
MTС Web Services (MWS) — облачные сервисы для решения задач бизнеса. Компания предоставляет сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Также MWS строит новую публичную облачную платформу собственной разработки, которая станет доступна в 2025 году.
DDoS-Guard — cпециализированный провайдер защиты от DDoS-атак на базе собственных разработок. Команде экспертов доверяют тысячи клиентов по всему миру, среди которых ISPsystem, Selectel, Reg.ru, hh.ru и другие. За 2023 год система защиты DDoS-Guard отразила 2.2 млн атак.
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 7 стран. Ежедневно покупателям отправляется свыше 12 млн товаров, а сеть пунктов выдачи заказов превышает 46 000 точек.
Компания Xologie занимается управлением эксплуатацией сложных географически распределенных систем. В текущий момент акцент стоит на дорожно-транспортной тематике. Мы занимаемся контролем, инвентаризацией,
Яндекс — технологическая компания, которая создает инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Мы IT дочка Дом.РФ и цифровизируем процесс строительства в РФ, пилим крутые и сложные информационные системки федерального уровня, ЕИСЖС - это мы)
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Отличная компания с хорошей технической культурой и продуктовым подходом к разработке.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
quantified motion
OTUS https://otus.ru/ - крупная и продуктивная онлайн-школа для IT-специалистов. ЛАФ (Летний аналитический фестиваль) - конференция, где системные и бизнес-аналитики повышают свои компетенции уже более 10 лет. WAW (Зимние аналитические выходные) - конференция для системных аналитиков уровня middle+ и выше.
YADRO cоздает и производит линейки серверов, систем хранения данных и коммутаторы для ЦОДов ИТ-компаний, банков, ретейлеров, предприятий сферы образования, энергетики, транспорта. Мы активно работаем над созданием базовых станций и современных микропроцессоров на базе RISC-V. У нас несколько тысяч сотрудников, среди которых много разработчиков на Go, пишут софт для управления железом и внутренние инструменты.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
РТЛабс — разработчик Госуслуг. Развивают цифровую экосистему портала gosuslugi.ru и работают над тем, чтобы изменить представление о государственных сервисах. Команда РТЛабс работает по agile, и ихглавная метрика — довольный пользователь. Среди проектов компании: цифровые сервисы Госуслуг, мобильное приложение «Госуслуги», цифровой ассистент робот Макс, Единая система идентификации и аутентификации (ЕСИА), Система межведомственного электронного взаимодействия (СМЭВ) и другие.
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 8 стран. Ежедневно покупателям отправляется свыше 20 млн товаров, а сеть пунктов выдачи заказов превышает 55 000 точек.
Tranio.Ru — интернет-центр зарубежной недвижимости
Быстринский ГОК — один из крупнейших в отрасли greenfield-проектов Норникеля. Производственная мощность 10 млн тонн руды в год(Au, Fe, Cu).
Циан — PropTech-компания, которая ежемесячно помогает 19 млн пользователей найти дом или офис мечты и делает этот процесс максимально прозрачным: чтобы для каждого пользователя поиск был удобным, информация — достоверной, оценка — точной, а издержки для всех сторон — минимальными.
MTС Web Services (MWS) — облачные сервисы для решения задач бизнеса. Компания предоставляет сетевые сервисы; продукты для вычисления, хранения и обработки данных; PaaS-решения; инструменты кибербезопасности; профессиональные сервисы и ИИ-решения. Также MWS строит новую публичную облачную платформу собственной разработки, которая станет доступна в 2025 году.
Совмещаю работу в найме и консалтинг. Как scrum-мастер работаю в Магните — это сеть из почти 29 тысяч розничных магазинов по всей России и за рубежом. Чтобы товары вовремя попадали на полки, а магазины без сбоев обслуживали миллионы покупателей, нужна сложная IT‑система, которую развивает Magnit Tech. Как консультант работаю в бюро TalentCraft, где помогаю компаниям привлекать и удерживать таланты для сохранения стабильности и роста бизнеса, реализуя яркие HR- и DevRel-проекты.
YDB — это распределенная отказоустойчивая Distributed SQL-база данных с открытым исходным кодом, которая сочетает в себе высокую доступность и масштабируемость со строгой согласованностью и транзакциями ACID. Она поддерживает одновременное выполнение транзакционных (OLTP), аналитических (OLAP) и потоковых нагрузок.
Туту — сервис путешествий, где можно найти всё для предстоящей поездки 20 лет мы помогаем людям покупать билеты быстрее и комфортнее, рассказываем, как лучше добираться до места назначения, и отвечаем на любые вопросы про путешествия. Каждый день в путь отправляются несколько десятков самолётов и поездов только с нашими пользователями.
Т-Банк — цифровая экосистема, в основе которой один из самых технологичных банков в мире и второй банк в России по числу розничных клиентов. Сервисами Т-Банка ежедневно пользуются миллионы людей и компаний, решая повседневные задачи онлайн: переводят и инвестируют деньги, получают кешбэк, пользуются мобильной связью, бронируют билеты, гостиницы и рестораны, совершают покупки, участвуют в благотворительности и многое другое. С момента основания в 2006 году Т-Банк последовательно инвестирует в передовые технологии, в том числе в сфере искусственного интеллекта, формируя будущее банковской индустрии на глобальном уровне.
Звук — это аудиостриминг c музыкой в HiFi-качестве, подкастами, аудиокнигами, эксклюзивными плейлистами и разделом для детей. Это продуктово-инженерная компания из 700+ экспертов. Более 450 инженеров, разработчиков и продактов, 6 продуктовых стримов и 19 продуктовых команд каждый день делают стриминг надежнее и наполняют его полезными фичами.
Бюро Розетка — это команда экспертов в образовании: мы выстраиваем корпоративное обучение, проводим конференции, организуем стажировки и формируем профессиональные сообщества с вниманием к людям и результату
Системный Подход
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Самый фиолетовый маркетплейс в этой галактике.
В Evrone делают на заказ технически сложные проекты на Ruby, Python и Go. Любят Ruby и с 2009 года организуют конференцию Ruby Russia, на которую собирают сотни рубистов со всей России.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
RoboGate — это разработчик и поставщик IT-решений в сфере FinTech. Компания сосредоточена на создании и развитии удобной и безопасной инфраструктуры для институциональных и частных участников финансовых рынков. Клиенты RoboGate получают доступ к профессиональным торговым платформам и инновационным разработкам компании.
Мы — ecom.tech, продуктово-технологическая команда. Чем занимаемся: делаем ИТ для ритейла реального времени. Чтобы все нужные товары и продукты могли попадать к людям мгновенно, насколько это возможно в физическом мире – c помощью технологий. Сейчас нашими технологиями пользуются Самокат и Мегамаркет, на наших решениях работают логистические системы. Раньше мы назывались Samokat.tech – но наше видение всегда было шире одного пользовательского сервиса. Мы хотим фундаментально изменить модель потребления, чтобы люди по-другому относились к покупкам.
Защита веб-приложений.
