Как лучше всего реализовать приложение чтоб можно было выбирать изображение для imageview, сохранять, и обновлять заново, если нужно?

Почему не кошерно? Как раз наоборот, сохраняя данные в SQLite БД Вы гарантированно будете в курсе, что с Вашими данными, благодаря механизму транзакций. Да, SQLite БД медленная, но не настолько, чтобы при верном её использовании тормозить приложение.
Всё зависит от поставленной задачи, в конечном итоге. Если нет необходимости строить огромные списки единым вызовом, а пользоваться подгрузками порций данный в адаптер списка - всё будет хорошо.