@crackpot
Скрещиваю ужей с ежами. Viva la robolution!

Какие инструменты использовать для обработки истории связей между сущностями?

Посоветуйте, пожалуйста, подход или инструмент, на которой посмотреть.
Есть некотрое множество сущностей, условно описываемых, например, так:

EntityA:
Aid, Cid, Aprop1, Aprop2, Aprop3, ...
EntityB:
Bid, Cid, Bprop1, Bprop2, Bprop3, ...
EntityC:
Cid, Aid, Bid

Есть как логически-самостоятельные сущности, так и сущности, реализующие связь между несколькими другими.
Про эти сущности есть набор текстовых файлов (csv и xml), описывающих состояния разных сущностей "в моменте", то есть на момент генерации текстовых файлов с осписанием. Типов сущностей десятки, самих сущностей десятки миллионов каждого типа, исторических состояний (то есть файлов со слепком тех или иных сущностей) - пара тысяч весом в 200Гб.

Хочется подсунуть все файлы в какое-то одно место, чтобы поизучать общую картину на предмет количества и качества связей между сущностями, как они меняются от слепка к слепку и проч.
Самый простой способ - запихать все в SQL, но покуда про сущность с одним id могут быть десятки состояний непонятно насколько запросы будут долго крутиться без адекватных индексов, которые непонятно как строить.
С инструментами для анализа данных никогда не сталкивался, идей нет. :)
  • Вопрос задан
  • 19 просмотров
Пригласить эксперта
Ответы на вопрос 1
dimonchik2013
@dimonchik2013
non progredi est regredi
ArangoDB графы
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы