Как индексировать все файлы в AWS S3-совместимом хранилище?

Здравствуйте!
Используем HotBox от Mail.ru Cloud Solutions. Это AWS S3-совместимое хранилище данных.
Есть необходимость кешировать все файлы на HotBox и сохранять их в базу данных. (пути до файлов, их названия и дату изменения). Структура файлов и папок произвольная. Может быть и файл в корне и большая вложенность папок с файлом в конце. Кеш нужно держать в актуальном состоянии регулярно. При загрузке нового файла, сервер уже в течении пары минут знал о новом файле. При том, что файлов может быть очень большое количество. (по 10 000+ файлов ежедневно добавляется)

Как возможно это реализовать? Насколько я вижу, в API нет возможности сортировать все ключи по дате изменения. Только получить ключи в алфавитном порядке.
Предложите возможные решения, пожалуйста. Можно без конкретных примеров, только логику работы, т.к. я не представляю, как такое можно реализовать, не создать задержек в обновлении при большом количестве файлов.

Документация по API на русском: https://mcs.mail.ru/help/storage-api