Работает ли reCapcha с русскими текстами? Если нет, то почему?

Ну это как раз достаточно просто реализовать: в капче должны показываться буквы того языка, на котором отображается сайт. Если пользователь смотрит англоязычную версию сайта — то запрашиваем английскую капчу, если русский вариант — то русскую и так далее. Можно просто клиентом запрашивать, какой язык капчи показать. Если неизвестно — передаем английский.
Более того, это у них уже частично реализовано: надпись «введите буквы с картинки» может показываться и по-английски и по-немецки, для этого у них уже есть API.
Судя по форумам разработчиков reCapcha показывает приветствие вообще в зависимости от того, какой язык выбран в браузере.
Так что здесь не вижу проблемы.

Формулы из текста исключаются. Во всяком случае, я не видел еще ни разу чтобы рекапча предлагала мне ввести формулу.

А с чего Вы взяли, что если сайт показывается на русском, то у пользователя есть возможность ввести кириллический текст?

Пожалуйста внимательно читайте мой комментарий. Еще раз: reCapcha опознает язык пользователя по браузеру. Если у вас браузер на немецком — то это означает что вы можете ввести немецкий текст, иначе зачем вы такой язык в браузере ставили?

Хотя да, подумав над вашим комментарием я прихожу к выводу что возможна достаточно редкая ситуация: пользователь находится не в России, русской клавиатуры у него нет, но браузер на русском. В этом случае вы правы: с введением капчи возникнут проблемы.
Однако, в этом случае следует учесть два фактора:
1) вероятность возникновения такой ситуации очень мала
2) В капче можно предусмотреть возможность выбрать язык, или по умолчанию при клике на кнопку «перезагрузить» всегда показывать английские буквы

Это то, что сразу приходит в голову. Возможно существуют и другие, более оптимальные решения.

Тем не менее я пока не получил ответа на свой вопрос: что по вашему мнению можно сделать, чтобы русские книги тоже стали оцифровываться при помощи этого сервиса?

Судя по комментарию — квест пройден? :)
Вообще интересно — они же должны это как-то отслеживать. Скорее всего вам мог случайно встретиться иностранный фрагмент из какой-нибудь цитаты в тексте. Скорее всего он попадется нескольким людям, и система его отбракует как нераспознаваемый.

ReCapcha даже в текущем виде это издевательство над посетителем.

Еще раз: никто не предлагает вам тут вводить иероглифы. Их будут вводить те, кто может их ввести, а вы будете вводить капчу на родном языке — вот о чем речь. Вы увидите иероглифы в капче только в том случае, если принудительно переключите свой браузер на китайский — но тут уж извините.