Как убрать класс у кнопки при скролле до нее и добавить обратно, если прокрутить страницу обратно вверх на jquery?

Есть кнопка внизу страницы с классом fixed. Нужно при скролле до нее убрать этот класс, а если проскроллить страницу обратно вверх, класс опять должен добавляться.

Получается только убирать класс:

var $element = $('.checkout-bottom__button');

    $(window).scroll(function() {
	var scroll = $(window).scrollTop() + $(window).height();
	var offset = $element.offset().top;
				 
	if (scroll > offset) {
		$('.checkout-bottom__button').removeClass("fixed");
	}
    });

Если добавить else, то класс добавляется и убирается не так, как нужно, кнопка скачет туда сюда:

var $element = $('.checkout-bottom__button');

    $(window).scroll(function() {
	var scroll = $(window).scrollTop() + $(window).height();
	var offset = $element.offset().top;
				 
	if (scroll > offset) {
		$('.checkout-bottom__button').removeClass("fixed");
	} else {
		$('.checkout-bottom__button').addClass("fixed");
	}
    });

jsfiddle

Высота страницы непостоянна из за спрятанных, раздвигающихся при клике, блоков.