TTATPuOT
@TTATPuOT
https://patriotovsky.ru/

Как индексировать все файлы в AWS S3-совместимом хранилище?

Здравствуйте!
Используем HotBox от Mail.ru Cloud Solutions. Это AWS S3-совместимое хранилище данных.
Есть необходимость кешировать все файлы на HotBox и сохранять их в базу данных. (пути до файлов, их названия и дату изменения). Структура файлов и папок произвольная. Может быть и файл в корне и большая вложенность папок с файлом в конце. Кеш нужно держать в актуальном состоянии регулярно. При загрузке нового файла, сервер уже в течении пары минут знал о новом файле. При том, что файлов может быть очень большое количество. (по 10 000+ файлов ежедневно добавляется)

Как возможно это реализовать? Насколько я вижу, в API нет возможности сортировать все ключи по дате изменения. Только получить ключи в алфавитном порядке.
Предложите возможные решения, пожалуйста. Можно без конкретных примеров, только логику работы, т.к. я не представляю, как такое можно реализовать, не создать задержек в обновлении при большом количестве файлов.

Документация по API на русском: https://mcs.mail.ru/help/storage-api
  • Вопрос задан
  • 49 просмотров
Решения вопроса 1
inoise
@inoise
Solution Architect
А зачем вам прослойка для S3, если вы можете сами напрямую пользоваться услугами AWS? А там все было бы просто - поставить lambda функцию на появление нового файла и она будет записывать эту информацию в DynamoDB, например
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через TM ID
Похожие вопросы
от 90 000 до 160 000 руб.
Рекадро Нижний Новгород
от 150 000 руб.
от 130 000 до 180 000 руб.
21 янв. 2019, в 07:08
700 руб./в час
21 янв. 2019, в 01:19
10000 руб./за проект
20 янв. 2019, в 22:33
30000 руб./за проект