TTATPuOT
@TTATPuOT
https://patriotovsky.ru/

Как индексировать все файлы в AWS S3-совместимом хранилище?

Здравствуйте!
Используем HotBox от Mail.ru Cloud Solutions. Это AWS S3-совместимое хранилище данных.
Есть необходимость кешировать все файлы на HotBox и сохранять их в базу данных. (пути до файлов, их названия и дату изменения). Структура файлов и папок произвольная. Может быть и файл в корне и большая вложенность папок с файлом в конце. Кеш нужно держать в актуальном состоянии регулярно. При загрузке нового файла, сервер уже в течении пары минут знал о новом файле. При том, что файлов может быть очень большое количество. (по 10 000+ файлов ежедневно добавляется)

Как возможно это реализовать? Насколько я вижу, в API нет возможности сортировать все ключи по дате изменения. Только получить ключи в алфавитном порядке.
Предложите возможные решения, пожалуйста. Можно без конкретных примеров, только логику работы, т.к. я не представляю, как такое можно реализовать, не создать задержек в обновлении при большом количестве файлов.

Документация по API на русском: https://mcs.mail.ru/help/storage-api
  • Вопрос задан
  • 55 просмотров
Решения вопроса 1
inoise
@inoise
Solution Architect
А зачем вам прослойка для S3, если вы можете сами напрямую пользоваться услугами AWS? А там все было бы просто - поставить lambda функцию на появление нового файла и она будет записывать эту информацию в DynamoDB, например
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
26 марта 2019, в 22:12
30000 руб./за проект
26 марта 2019, в 20:35
10000 руб./за проект