Что нужно изучать, чтобы заниматься автотестированием web-приложений на Java?

зависит от того на чем написано приложение которое вы тестируете. В зависимости от используемого стека выбирается инструмент. Нельзя просто сказать "хочу научиться пилить". В зависимости от того что у вас "system under test" пилить можно лобзиком, бензопилой, или циркулярной пилой. Давайте инфы побольше, получите более конкретный ответ.

Upd.: для тестирования веб приложения с помощью Java через Selenium нужен Selenium - это и есть фреймворк который вам нужен. Туториалов по нему много. Изучать непременно надо само тестируемое приложение. Сперва задайте себе вопрос "что я хочу протестировать", а потом уже "как" (это реализовать с помощью Selenium)