За три года — ни одного потерянного байта. Алготрейдинговый гигант открыл исходный код TernFS для Linux
овый инструмент для работы с петабайтами и эксабайтами данных теперь доступен сообществу.
Одна из крупнейших алгоритмических торговых компаний мира XTX Markets, ежедневно обрабатывающая сделки на сумму около 250 миллиардов долларов и оперирующая более чем 650 петабайтами данных для прогнозов цен и торговых алгоритмов, открыла исходный код собственной файловой системы для Linux.
Эта система получила название TernFS и была создана, когда компания переросла возможности традиционного NFS и других решений для хранения. TernFS предназначена для распределённого хранения крупных неизменяемых файлов — как правило, они не редактируются после создания и имеют размер от нескольких мегабайт. Система рассчитана на масштаб до 10 эксабайт логического пространства, примерно триллион файлов и 100 миллиардов каталогов при подключении до миллиона клиентов. Всё это работает на стандартном оборудовании и обычных сетях Ethernet.
TernFS поддерживает работу сразу в нескольких географических регионах, хранение данных с избыточностью для защиты от сбоев дисков, отказоустойчивое управление метаданными и другие возможности, необходимые для инфраструктуры XTX. Разработка велась более трёх лет, а последний год система используется во всех проектах компании, связанных с машинным обучением. По словам XTX, за это время «не был потерян ни один байт».
Теперь TernFS доступна всем желающим. Код выложен на GitHub и распространяется под лицензиями GPLv2+ и Apache 2.0. Подробности можно найти в блоге XTX Markets.