Как лучше организовать электронную библиотеку?

>500000

Можете использовать ext4 или почти любую современную файловую систему.

Главное предупреждение: Даже не пытайтесь сложить все это в одни каталог! Последствия могут оказаться печальными. Вплоть до того, что вы даже не сможете удалить из мега-каталога что-то без полного форматирования ФС. Сходу не найду ссылки, но были прецеденты печальных историй.

Лучше разбить коллекцию на 1000 каталогов по 1000 файлов.

Вы бы не в файловой системе их хранили, а в архиве.
А уж архивы вмещающие 500-1000 книг, на файловой системе.
Так будет проще, быстрее, и экономичнее.

Все существующие онлайн библиотеки хранят архивы по xx книг, и базу, в которой указано имя архива и имя файла.
Так получается и удобнее и быстрее и меньше файлов, и меньше зависимость от файловой системы.

Форматы совершенно разные, от pdf и djvu до fb2, т.е. естественно будет база данных с описанием и т.п.

Форматы не имеют значения, так как название формата каждой книги будет храниться в базе данных.
Там у тебя как бы получается две таблицы: одна описывает книгу, другая - адрес и способ хранения. И эти две таблицы связаны в одну базу данных по общему полю.

Василий, а вы хотите свое решение? Почему существующие не глянете, например MyHomeLib?

sopds.ru

Для такого есть готовые системы для хранения данных.