Arris
@Arris
Сапиенсы учатся, играя.

Как (чем) парсить огромный JSON-файл?

Друзья задали задачку: есть огромный json-файл с текстами, числами и булевыми значениями.

Чем его максимально удобно кверить и извлекать из него данные с перспективой сохранения в других форматах типа csv или txt?

Огромный - это полтора-два гига.

Предпочитаемый язык - php at LAMP/WAMP. Если найдется что-то такое очень хорошее, что не потребует глубокого изучения C#/С++ тоже сойдет. Сторонний софт тоже сойдет (погуглил, ничего интересного не нашел).

P.S. Не знаю, откуда у друзей такой файл и чем они его сделали. Этот вопрос меня не касается.
  • Вопрос задан
  • 7826 просмотров
Пригласить эксперта
Ответы на вопрос 2
К счастью существует отличная библиотека для парсинга больших JSON файлов: https://github.com/kuma-giyomu/JSONParser

Вот еще одна:
https://github.com/salsify/jsonstreamingparser
Ответ написан
Комментировать
deadbyelpy
@deadbyelpy
веб-шмеб
если есть знания java, даже поверхностные, то Jackson. Других событийный парсеров не знаю, но только такими можно читать огромные файлы, т.к. типичный подход "считал и обработал" тут не подойдет.

Впрочем, если на собственной машине, да поставить поболее ограничения на php, то file_get_contents + json_decode заберет что то около 4 гб озу, так что если ее больше, то вполне можно и по простому все сделать.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы