@alexey66

Как правильно данные из CSV обработать и залить в SQL?

Добрый день!
Cуть вопроса, если глобально:
поставщики выдают перечень товаров в формате csv по урлу. Порядка 10 csv файлов.
У всех поставщиков могут отличаться названия столбцов, формат даты, у одного dd/mm/YYYY у другого YYYY-mm-dd и тд...по разному.
Нужно их объединить всех в одной базе (или в один CSV) , чтобы можно было выполнять поиск (фильтровать) по названию продукта, дате и сравнивать цены между разными поставщиками на фронте.
Своего рода синхронизация данных от всех поставщиков, их сортировка, чистка , вывод на фронт с фильтрами. Размеры файлов до 250 Мб.
ПОДскажите пожалуйста, решение, на чем оптимально можно реализовать такую работу с данными CSV , каким скриптом , парсером или какие то облачные решения позволяют так работать с данными из CSV ? Кто в теме ? Кто знает или может помочь?
  • Вопрос задан
  • 114 просмотров
Пригласить эксперта
Ответы на вопрос 2
@AVKor
Скрипт на любом языке, позволяющем нормально парсить CSV файлы. Например, ruby + smarter_csv gem.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы