Как правильней организовать использование одного и того же класса в нескольких проектах (Java)?

Собирай библиотеку. Помалешку накопится финты и приемы, которые часто используешь.

Если используешь maven - то все становится еще проще.
Вынеси утилитные классы, которые планируешь переиспользовать в отдельный проектик и собирай его просто mvn clean install, при обновлении инкрементай версию, пиши комментарии если нужно. А в основным проектах просто подключай как dependency с нужной версией.