Задать вопрос
@Iloveski
java

Использование BufferedReader и FileReader для построчного считывания очень большого файла?

Имеются файлы логов размерами от 1 до 15 гб каждый. Задача: построчно считывать файлы, если строка соответствует регулярке, пишем в бд. Насколько корректно использовать BufferedReader br = new BufferedReader(new FileReader(file)); для считывания из файла. Могут ли быть проблемы с памятью на файлах такого размера. Может есть способ лучше?
  • Вопрос задан
  • 83 просмотра
1 комментарий
Подписаться 1 Простой 1 комментарий
Решения вопроса 1
EugeneP2
@EugeneP2
Java Dev
Та норм будет. Сразу проверяйте считанную строку на условие и если подошло - добавляй в jdbc batch. Поставьте максимальное ограничение батча, например 200. Наполнился? - updateBatch, и дальше считывать строки.
Ответ написан
Комментировать
Комментировать
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Вакансии с Хабр Карьеры
Lead Java
Bell Integrator • Ульяновск
До 400 000 ₽
Lead Java
Bell Integrator • Хабаровск
До 400 000 ₽
Lead Java
Bell Integrator • Ижевск
До 400 000 ₽
Ещё вакансии
Заказы с Хабр Фриланса
Подключить сервер к сети
27 апр. 2024, в 02:39
1500 руб./за проект
Необходимо сверстать приложение согласно макету Figma используя React
26 апр. 2024, в 22:22
1500 руб./за проект
Написать модуль подключения матрицы Sony к ПЛИС (Verilog)
26 апр. 2024, в 21:30
15000 руб./за проект
Ещё заказы