@svsanek

Как проанализировать большие файлы json?

Есть большой набор json файлов. порядка 2000. Некоторые файлы весят больше 1Gb. Структура json файлов разная, но есть связи между ними - например, если файл sales.json в нем есть массив goods, в goods есть refId - вот он уникальный. Нужно напрмер понять - в каких json файлах есть еще упоминание этого refId. Обычным поиском - долго и неудобно.
Желание такое - прогрузить эти файлы на сервер и писать запросы - например найди мне все файлы, где упоминается этот refId.
Может elastic seach подойдет?
  • Вопрос задан
  • 171 просмотр
Решения вопроса 1
leahch
@leahch
3Д специалист. Долго, Дорого, Дерьмово.
Да, ES однозначно подойдет!!! Есть одно маленькое НО - нужно (очень желательно) писать маппинг, хотя мапинг по умолчанию бывает очень ничего (у каждого поля есть .raw свойство: по которому можно искать полной фразой).

С другой стороны, даже если сначала мапинг правильный не сделаете, всегда данные можно перелить в другой индекс с правильным мапингом.
Ну и json-файлы с разной структурой заливайте в разные индексы. Искать можно сразу по нескольким индексам.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Bell Integrator Ульяновск
До 400 000 ₽
Bell Integrator Ижевск
До 400 000 ₽
Bell Integrator Хабаровск
До 400 000 ₽
29 мар. 2024, в 11:11
10000 руб./за проект
29 мар. 2024, в 10:00
10000 руб./за проект
29 мар. 2024, в 09:59
750 руб./в час