Задать вопрос
@medovuk
java

Как эффективно (время) записать огромное количество данных в файл?

Привет всем. Я начинающий Java разработчик и мне нужен совет спецов. Есть задача: есть обработка огромного (очень) количества файлов (поиск, индексирование и т.д). В процессе необходимо делать запись в файл (ну я так решаю поставленную задачу) 10^6 - 20^6 строк (инфа о файлах). Посоветуйте как это сделать быстрей всего по времени.
Буду очень благодарен за помощь).
  • Вопрос задан
  • 135 просмотров
Комментировать
Подписаться 2 Средний Комментировать
Пригласить эксперта
Ответы на вопрос 3
@pfg21
ex-турист
сделать тестовый прогон и посмотреть какое место системы работает бутылочным горлышком.
если затык в записи на носитель применить сжатие данных.
если затык в обработке результатов, то поставить проц помощнее.
если затык в получении кучи информации о файлах, то ускорить файловую систему.
и т.д. и т.п.
Ответ написан
4 комментария
4 комментария
@m0nym
Буфер. Ибо писать по байтику - это дико медленно.
Ответ написан
Комментировать
Комментировать
leahch
@leahch
3D специалист. Dолго, Dорого, Dерьмово.
А еще можно применить распределенную обработку.... и посмотреть в сторону hadoop например или spark, hazelcast, ingine.
Ну и как написал в комментарии к ответу pfg21 - применять сжатие lz4 или snappy
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Lead Java
Bell Integrator • Ульяновск
До 400 000 ₽
Lead Java
Bell Integrator • Хабаровск
До 400 000 ₽
Lead Java
Bell Integrator • Ижевск
До 400 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Скопировать сайт
19 апр. 2024, в 17:06
15000 руб./за проект
Поправить пхп скрипт
19 апр. 2024, в 16:53
1000 руб./за проект
Требуется настройка Яндекс Директа
19 апр. 2024, в 16:45
5000 руб./за проект
Ещё заказы