Хранение и обработка больших массивов данных в рекомендательном движке сайта Имхонет Основная секция
Доклад принят в Программу конференции
МТС — мультисервисная цифровая экосистема и ведущий телеком-оператор в России. Компания развивает сервисы и продукты в сфере больших данных, искусственного интеллекта, облачного хранения, медиа и финансов, телекоммуникаций. Штат IT-специалистов превышает 9,5 тыс. человек.
Тезисы
хранение и обработка больших объемов данных в рекомендательном движке сайта Imhonet
View SlideShare presentation or Upload your own.
Хранение и обработка больших массивов данных в рекомендательном движке сайта Имхонет / Дмитрий Исайкин
Тезисы
Рекомендательный движок — аналитическая система, пытающаяся предсказать, какие произведения и в какой степени будут интересны пользователю. Рекомендательные системы являются удобной альтернативой поисковым алгоритмам, позволяя обнаружить объекты, которые не могут быть найдены последними. Необходимость таких систем с ростом количества товаров и услуг неуклонно растет — встает проблема выбора наиболее подходящего объекта в огромном множестве похожих предложений.
Для построения качественных рекомендаций необходимо учитывать всю предысторию пользовательского потребления товаров и услуг, которая выражается в виде оценок на уже знакомые пользователю объекты. Чем больше в системе пользовательских оценок, тем более точно можно построить прогноз. Поэтому перед рекомендательными системами встает проблема хранения и обработки больших объемов данных.
В докладе рассказывается об организации хранения пользовательских оценок, используемой в рекомендательном движке Imhonet.
Предложенная реализация позволяет движку хранить десятки миллионов оценок в гигабайте оперативной памяти, обслуживать тысячи запросов данных в секунду, является практически безблокировочным контейнером, что позволяет почти линейно масштабировать нагрузку на хранилище данных за счет увеличения количества потоков исполнения, обрабатывающих данные.
О докладчике
Дмитрий Исайкин, ведущий архитектор рекомендательного движка Imhonet
Контакты: disaykin@imhonet.ruДругие доклады секции Основная секция
РТЛабс — разработчик Госуслуг. Мы развиваем цифровую экосистему портала gosuslugi.ru и работаем над тем, чтобы изменить представление о государственных сервисах. Команда РТЛабс работает по agile, и наша главная метрика — довольный пользователь. Среди проектов компании: цифровые сервисы Госуслуг, мобильное приложение «Госуслуги», цифровой ассистент робот Макс, Единая система идентификации и аутентификации (ЕСИА), Система межведомственного электронного взаимодействия (СМЭВ) и другие.
Ростелеком — крупнейший в России интегрированный провайдер digital-решений и услуг для населения, бизнеса и государства. Миссия компании — дать людям качественные и удобные цифровые сервисы для комфортной жизни и эффективного бизнеса.
На Авито каждый может найти что-то своё среди миллионов частных объявлений и предложений компаний. У нас десятки тысяч RPS к бэкенду, терабайты картинок в хранилище и мощная система автоматизированной модерации на базе машинного обучения. Каждый месяц сервисом пользуется треть населения России.
Гринатом – ИТ-компания в структуре Росатом с фокусом на разработке инновационных решений для современных бизнес-процессов в атомной отрасли и за ее пределами. Мы развиваем цифровую экосистему Росатома, создаем свое ПО и обеспечиваем атомную отрасль современными ИТ-решениями, услугами и сервисами.
Компания на рынке уже более 7 лет, занимается сложными трансформациями крупных компаний из финтеха, ритейла и классифайд на рынках РФ и Казахстана.
«Перкона» (Percona)
В компании 900+ человек, 4 города присутствия: Ижевск, Москва, Уфа, Тюмень. Мы разрабатываем программные продукты и сервисы для управления цифровыми процессами и документами. Оказываем полный спектр услуг по выстраиванию цифрового взаимодействия: анализируем бизнес-процессы, создаем, внедряем и сопровождаем ИТ-решения для организаций различных масштабов и отраслей.
Я работаю в компании Wildberries уже три года и в течение этого времени команда моего продукта изменялась и прошла путь от стартапа до большой продуктовой команды.
Лемана ПРО (Леруа Мерлен) — лидер рынка DIY в России. Мы переосмысливаем DIY-ритейл так же, как другие технологические лидеры до этого меняли банкинг и ИТ-сервисы. В компании можно с нуля создавать диджитал-решения, примерять разные роли, использовать современные технологии, запускать новые продукты.
В Nexign пишут на Java, Gо, C# и С++, создают микросервисы и используют собственную СУБД. В команде 2000 экспертов, которые всегда знают, как сделать лучше. Они доказывают это в каждом проекте, будь то внедрение биллинговой платформы крупнейшим телеком-операторам или создание кастомизируемой HRM-системы.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
Сибирские нейросети - молодая, но быстро развивающаяся компания, которая занимается продуктами в области обработки естественного языка и речевой аналитики.
IT Test — команда по разработке, тестированию и дизайну сложных отраслевых IT-решений. Делаем компании более эффективными за счет цифровизации процессов. 8+ лет на рынке digital-услуг, 200+ реализованных проектов, 70+ проверенных партнеров, 85+ наград в ключевых рейтингах digital-агентств. Занимаемся не только заказной разработкой, но и создаем собственные продукты: наша TMS DoQA увеличивает эффективность процессов тестирования, усиливает аналитику и стандартизирует документацию.
Purrweb компания которая специализируется на разработке MVP приложений и стартапов, за последнее время компания выросла до 200 человек и продолжает развиваться.
SberDevices — российская IT-компания полного цикла. R&D-центр экспертизы в области искусственного интеллекта: речевые технологии, понимание естественного языка, компьютерное зрение, лицевая и голосовая биометрия. Производит умные устройства, разрабатывает высокотехнологичные сервисы для бизнеса, делает масштабные ML-проекты, LLM, высоконагруженные системы и технологии обработки Big Data. В портфолио SberDevices — SberBox, SberJazz, GigaChat, Kandinsky и другие легенды.
Звук — это музыка в HiFi-качестве, а также подкасты, аудиокниги, эксклюзивные плейлисты и раздел для детей. Звук можно послушать в приложении, доступном во всех популярных сторах, на сайте zvuk.com, а также в автомобилях с поддержкой CarPlay и AndroidAuto.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает Ит-индустрию, поддерживает комьюнити и делится экспертизой.
Звук — это аудиостриминг c музыкой в HiFi-качестве, подкастами, аудиокнигами, эксклюзивными плейлистами и разделом для детей. Это продуктово-инженерная компания из 700+ экспертов. Более 450 инженеров, разработчиков и продактов, 6 продуктовых стримов и 19 продуктовых команд каждый день делают стриминг надежнее и наполняют его полезными фичами.
Островок! — travel-tech компания, создающая платформы онлайн-бронирования отелей, авиабилетов и других услуг как для индивидуальных путешественников, так и для корпоративных клиентов и тревел-агентств. Наши бренды: Островок!, B2B.Ostrovok.ru, Островок! Командировки. Мы развиваем проекты как в России, так и за рубежом.
Мы специализируется на юридическом сопровождении IТ-компаний. С 2020 года работаем в сфере IT-права и интеллектуальной собственности. У нас: - 100% успешных регистраций в Реестре российского ПО; - Экспертные статьи на vc.ru, habr.ru; - Канал в Telegram на аудиторию более 3000 подписчиков; - 290 уверенных в своем бизнесе клиентов; - Проводим вебинары и корпоративное обучение.
Яндекс — технологическая компания, которая создаёт инновационные продукты на основе машинного обучения и нейронных сетей. Команда талантливых математиков и программистов развивает самую популярную в России поисковую систему и более 85 пользовательских сервисов, которые помогают людям в повседневных заботах.
В МТС мы прямо сейчас создаем цифровую экосистему масштаба страны.
SiteGround
Компания занимается разработкой ПО на заказ
Wildberries — онлайн-платформа с 20-летней историей, где представлен широкий ассортимент продукции российских и международных брендов. География присутствия площадки охватывает 7 стран. Ежедневно покупателям отправляется свыше 12 млн товаров, а сеть пунктов выдачи заказов превышает 46 000 точек.
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
Циан — IT-компания, разрабатывающая сервисы для покупки, продажи, сдачи в аренду и оценки стоимости недвижимости, а также для расчета и подбора ипотеки.
Tarantool — middleware для эффективного создания высоконагруженных сервисов. Сочетает в себе сервер приложений, гибридное хранилище данных, а также инструменты и средства масштабирования. Производительность систем на Tarantool может достигать 1 млн транзакций в секунду.
ЕВРАЗ — это горно-металлургическая компания с предприятиями по всей России: от Тулы до Новокузнецка. ООО «ЕвразТехника ИС» выполняет работы (оказывает услуги) по разработке, адаптации, модификации, а также услуги по установке, тестированию и сопровождению программного обеспечения и цифровых решений в группе ЕВРАЗ.
«Перкона» (Percona)
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
GMCS – российская аккредитованная ИТ-компания, один из лидеров по внедрению бизнес-решений и разработке ПО. Мы помогаем заказчикам осуществить цифровую трансформацию бизнеса с помощью решений ведущих мировых и российских поставщиков, а также продуктов собственной разработки.
HFLabs — российский разработчик программного обеспечения для повышения качества клиентских данных. С 2005 года повышают качество, доступность и ценность данных. С ними бизнес лучше понимает своих клиентов и больше зарабатывает. В портфолио более 80 проектов по управлению качеством клиентских данных. Ключевые продукты HFLabs: * «Единый клиент» — флагманский продукт компании, мастер-система по управлению клиентскими данными. Собирает данные о клиентах в «золотые» карточки, объединяет дубли и строит эталонную клиентскую базу; * «Фактор» — продукт для стандартизации и обогащения клиентских данных. Готовит данные для отчетов, скоринга, обзвонов, доставки; * «Подсказки» обеспечивают быстрый ввод адресов, компаний, банков, ФИО, email; * «Единый адрес» — адресная мастер-система. Собирает все характеристики объектов по адресу в одном месте. Формирует эталонную базу всех адресов компании; * КУС идентифицирует и проверяет клиентов по любым спискам. Помогает соблюдать 115-ФЗ; * «Центр управления согласиями» наводит порядок в согласиях клиентов, снижает риски нарушения 152-ФЗ и закона «О рекламе»; * «Маскировщик» обезличивает персональные данные, сохраняя их смысл; * «Маркетинговый комбайн» готовит клиентские данные для маркетинга. Сегментирует базу и запускает рекламные кампании по одной кнопке; * «Перекодер» упорядочивает хаос в справочниках НСИ и обеспечивает к ним удобный доступ.
devhands.io
Купер (ООО «Инстамарт Технолоджис») — технологический онлайн-сервис, который помогает делать покупки не выходя из дома. Tech-команда Купера создает один из самых сложных высоконагруженных e-commerce-проектов в России и делает это с любовью.
Цифровой СИБУР является развивающимся IТ-кластером топового нефтегазохимического холдинга России.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это более 200 технологичных проектов, больше 15 000 сотрудников и миллион возможностей проявить себя. Делают современные и быстрые интернет-сервисы, доступные каждому.
Райффайзен Банк — часть австрийской банковской группы Raiffeisen Bank International; работает в России с 1996 года и входит в тройку самых надежных российских банков по версии Forbes. В команде банка более 3000 IT-специалистов, которые работают над продуктами будущего и развивают финтех в России. И не любят легаси.
Data Egret
Сообщество, занимающееся разработкой и поддержкой WordPress и связанных проектов — 22 открытые для новичков команды и Core Security.
«Татнефть Цифровые Технологии» — дочерняя IT-компания ПАО «Татнефть», центр внутренней продуктовой разработки и технического сопровождения. Команда работает над автоматизацией деятельности группы компаний и разработкой пользовательских сервисов.
ВКонтакте — крупнейшая социальная сеть в России и странах СНГ. Миссия ВКонтакте — соединять людей, сервисы и компании, создавая простые и удобные инструменты коммуникации. VK — это более 200 технологичных проектов, больше 15 000 сотрудников и миллион возможностей проявить себя. Мы делаем современные и быстрые интернет-сервисы, доступные каждому.
Команда Т-Банка — это разработчики, тестировщики, SRE-инженеры, архитекторы, аналитики, продакт-менеджеры, дизайнеры и другие специалисты. Вместе они создают финтех-продукты, которыми пользуются около 40 миллионов клиентов. Т-Банк развивает Ит-индустрию, поддерживает комьюнити и делится экспертизой.
СберТех — российский разработчик программного обеспечения для бизнеса и государства, основной поставщик решений для Сбера. Флагманское решение компании — цифровая облачная платформа Platform V для создания приложений любого масштаба и сложности и обеспечения технологической̆ независимости на уровне ПО.
Авито, Sphinx
Грамант
Altenar — международная IT-b2b-компания с офисами в России, на Мальте и в Греции, которая занимается разработкой высоконагруженного программного обеспечения для сбора, обработки, анализа спортивных данных в реальном времени и их последующего преобразования в информацию для b2b-клиентов.
Index — специализированное IT-рекрутинговое агентство, работающее на рынке России и Европы.
YADRO известна как разработчик и производитель всего, что можно увидеть в серверной и ЦОД: систем хранения данных, серверов, коммутаторов. Компания также создает телеком-оборудование операторского класса. Go-разработчики заняты как в развитии СХД, так и в телеком-направлении.
ITentika (ранее российский центр разработки DataArt) - разработчик ПО с 25-летним опытом создания ИТ-решений для ведущих международных компаний и крупнейших экосистем РФ. Мы проектируем и разрабатываем технологически сложные решения на стыке информационных технологий и бизнес-консалтинга, позволяющие нашим клиентам кратно увеличить прибыль и стать лидером отрасли. ITentika входит в ТОП-20 крупнейших разработчиков ПО (Рейтинговое агентство RAEX).
ндекс — международная ІT-компания с собственной поисковой системой и множеством сервисов. Среди них Еда, Такси, Путешествия, Музыка, Кинопоиск, Реклама и другие. Мы создаём уникальные технологии, контрибьютим в опенсорс, улучшаем IT-образование и запускаем продукты и сервисы, которые помогают людям решать задачи и достигать своих целей в жизни.
