Конференция разработчиков
высоконагруженных систем

Главная → 2013 → Новости

Дорожная сеть в графовой базе данных Neo4j и защита API от парсинга от 2ГИС

Мы очень рекомендуем заранее приобрести и изучить комплекты прошлых лет - программа этого года очень серьёзная. У нас практически нет общих докладов (пока в программе один), зато очень много серьёзных глубоких погружений в тему, почти научных исследований.

Например, доклад от 2ГИС, от Вадима Шашенко - "Дорожная сеть в графовой базе данных Neo4j".

"В докладе Вадим расскажет почему 2ГИС выбрал графовую базу Neo4j данных для проверки дорожного графа городов России (все населенные пункты с населением больше 300 000 жителей). Основные задачи, которые решаются средствами Neo4j — это проверки на связность и доступность проезда.

Опорные пункты доклада:
— архитектура решения, в котором используется графовая БД;
— SQL против графовых баз данных;
— загрузка данных о дорожной сети в Neo4j;
— выполнение операций (проверок) в условиях частых изменений графа;
— какие характеристики БД и какие метрики мы используем для оценки работы решения.

В основе доклада лежат результаты работы над проектом «Fiji». Этот внутренняя enterprise-система, который позволяет штатным картографам 2ГИС создавать, хранить и экспортировать карту во внешние продукты, такие как офлайн-, онлайн- и мобильной версию 2ГИС."

У 2ГИС в этом году, кстати, очень сильные заявки, что вызывает большую боль Программного комитета - ведь не в наших правилах пропускать много заявок от одной компании.
Например, доклад Дмитрия Бархатова - "Система защиты от парсинга API 2ГИС".

"Не мудрено, когда в базе 1.3 млн. контактов компаний по всей России, её периодически кто-то пытается распарсить. Здесь возникает проблема: как отличить добропорядочных пользователей от ботов.

В докладе мы расскажем, как эволюционировала наша система защиты от парсинга. Рассмотрим следующие этапы и подходы:
— Особая локация в Nginx;
— PHP + Redis (счетчик по ключу);
— Nginx + Redis (конфигурационный файл);
— Nginx + Lua + Redis : усложнение логики защиты без увеличения скорости ответа.

А также рассказать про язык Lua в связке с Nginx не только в случае защиты от парсинга, но и в других частых кейсах, когда не хочется «поднимать» тяжёлое основное приложение."

Ну как не пропустить такую прелесть? :)