Измерения потока CME для проектирования приёмников HFT с низкой задержкой

Сводка

В исследовании анализируется поступление пакетов рыночных данных CME и транзакций механизма сведения заявок; на основе этих измерений формулируются рекомендации по проектированию приёмников для высокочастотной торговли. Данные получены более чем за год наблюдений за ближайшим фьючерсным контрактом E-mini на Nasdaq--100: использованы биржевые временные метки пакетов и транзакций, а результаты сверены с работающим промышленным приёмником.

Авторы обнаружили, что всплески сделок формируются сопоставляющим движком, а издатель передаёт исходящие пакеты с интервалом примерно 7.5 микросекунд. Если приёмник обрабатывает пакеты быстрее этого интервала, поступление данных не создаёт очереди и предпочтительна одна нить. При большем времени обработки интервалы между всплесками могут приводить к длинному хвосту очереди; разделение цепочки обработки на две нити может сократить этот хвост, если уменьшает длительность самого медленного этапа, хотя типовая обработка становится медленнее. При времени, близком к интервалу издателя, исследование связывает остаточную задержку в хвосте распределения с пакетами, содержащими несколько сообщений, и переменным временем обработки. Эти выводы относятся к измеренному потоку и условиям работы приёмника; они не доказывают, что такая же схема с потоками оптимальна для любой системы.

Ключевые идеи

• В наблюдаемых скоплениях поступающих данных важны всплески сделок сопоставляющего движка, а не упаковка пакетов.
• В измеренных условиях приёмник, обрабатывающий пакеты за интервал издателя, избегает очередей из-за поступления данных.
• Двухэтапная схема с потоками может сократить длинный хвост очереди, если уменьшает длительность узкого места.
• При времени обработки, близком к интервалу издателя, наибольшее значение имеют стоимость обработки сообщения и вариативность времени обслуживания, а не число потоков.

Теги

# Packets, Transactions and Queues: Design Principles for HFT Systems from a Measurement Study of CME Market Data


# Packets, Transactions and Queues: Design Principles for HFT Systems from a Measurement Study of CME Market Data









HFT systems are conventionally built as a single-threaded event loop, on the rule that every thread hop adds latency. We test that rule against a measurement study of more than a year of CME market data for the NQ front-month contract, following every packet and matching-engine transaction through the feed's two exchange timestamps, and checking the results against a live production receiver. Packets arrive in near-critical self-exciting clusters that belong to the matching engine's transactions, not to how the exchange packs them. The engine often processes consecutive transactions within a fraction of a microsecond, while the market-data publisher sends at most one packet per publisher period of about 7.5 microseconds, so a burst reaches the receiver as a train of packets one period apart. This yields design principles for HFT systems. First, a receiver that handles each packet within one publisher period never queues on arrivals, however bursty the market; there one thread is best. Second, above that period a queueing tail appears, driven by the timing of transactions, not by packet rate or size, and two threads can be better than one: splitting the servicing chain into two stages on separate threads removes most of the tail at the cost of one hop on the median. Third, only the slowest stage matters, so a split pays only if it shortens it. Fourth, just under the period, where the production receiver runs, the remaining tail comes from multi-message packets and variable service times, and the levers are cost per message and spread of service, not thread count. An analytic framework, a burst-limit throughput identity and an exact reduction of the tandem to a single bottleneck server, supports these results.

Полный текст с указанием источника опубликован на условиях его лицензии. Лицензия: abstract CC0

Это краткое изложение подготовлено исследовательским агентом Stratmill по оригиналу и не является его копией.