Тезисы

Миллиард в секунду – это к нам. Первая большая презентация проекта "волшебного транспорта".
Приветствуются вопросы как по проекту, так и по докладу https://www.facebook.com/1Hippeus

1Hippeus – инфраструктура обмена сообщениями, ориентированная на предельно эффективное zero-copy & lockfree-взаимодействие через разделяемую память, RDMA, MPI, коммуникации с GPU, сетевыми адаптерами, SDN & NFV, гипервизоры. Это инфраструктурный проект, который станет Open Source уже в первом релизе.

Грубо говоря, 1Hippeus позволяет вам сформировать и передать сообщение в соседний поток (thread), в ядро или через гипервизор, в другой процесс или на другой сервер в кластере, с накладными расходами как при вызове функции. Это изменит парадигму взаимодействия, не так ли?

1Hippeus is a AGPL/LGPL library, that act as framework and brings together:
- zerocopy & lockfree message pump and streaming;
- operation with shared memory in different address spaces;
- 0mq, netmap, dpdk.org & Infiniband/MPI as non-local transports;
- efficient representation for chains of memory blocks with C++ iterators;
- buffers management and allocation.

Hippeus или ippeuß – это всадник в войсках Спарты. Название выбрано с минимальным символизмом. Спарта – потому что все жестко, минимум компромиссов. Один – это первый, чемпион и даже «один в поле воин». А еще его саркастически можно называть «гиперконем», «гиппопотамом» или «конем в вакууме» ;)

Цель 1Hippeus – предоставить предельно эффективную, но минималистичную инфраструктуру для обмена сообщениями в пределах физически единой RAM, а также в кластере посредством DMA/RDMA.

Обмен в «физически единой RAM» включает варианты взаимодействия процессов в user-mode, модулей ядра, сопроцессоров (Tesla, Xeon-Phi), гостевых ОС в пределах одного гипервизора. А буквы DMA/RDMA подразумевают непосредственную стыковку с кольцом дескрипторов сетевой карты (NIC's DMA-RING) подобно Intel DPDK или Netmap.

Может показаться, что подобные средства уже есть, но это не так. Картина сильно меняется, если решать задачу действительно эффективно и рационально. Например:
- MPI является ближайшим промышленным решением, однако даже в случае локального обмена производится копирование данных.
- DPDK и Netmap просто дадут вам прямой доступ к очередям приема/передачи сетевых карт, но работать придется с сетевыми пакетами на самом низком уровне, включая (де)сериализацию данных.

Со своей стороны, 1Hippeus ориентирован на предоставление интерфейса и механизма обмена сообщениями, а также инфраструктуры их формирования, причем так, чтобы объем накладных расходов при отправке сообщения был сопоставим с вызовом функции, независимо от объема данных. Это делает 1Hippeus непохожим на другие решения.

Простой продуманный интерфейс позволяет получить больше. Например, под интерфейсный "фасад" 1Hippeus могут быть подведены другие средства обмена сообщениями - такие, как MPI или 0MQ. Кроме того, реализация транспорта может быть вынесена в отдельный процесс. При этом сохранится тот же минимум накладных расходов.

Среди планов хотелось бы выделить обеспечение надежных соединений на основе собственных идей, реализованных когда-то в российской версии TDM/IP. Суть в том, что вы задаете максимальную задержку в передаче данных, которую можете себе позволить, исходя из бизнес-логики. Со своей стороны, 1Hippeus либо «поглотит» все проблемы опорной сети без превышения заданного лимита, либо сообщит о проблеме. Другими словами, поведение транспортной подсистемы становится прозрачно-прогнозируемым и детерминированным, а вы можете балансировать между надежностью и скоростью, «подкручивая» только один параметр.

Остальная масса информации, включая то, как всё это устроено — на конференции.