Запутался в обычном скролле на чистом JS?

Вроде бы обычная штука : хедер при скролле становится фиксированым, проблема в том, что потом, при скроллинге обратно вверх, клас .scrolled не удаляется:(
<header id='header'></header>

.scrolled {
position: fixed;
...
}

window.onscroll = function () {scrollFunc()};
const header = document.getElementById('header');
const scrolled = header.offsetHeight;

function scrollFunc() {
    if (window.pageYOffset  >=  scrolled) {
        header.classList.add('scrolled');
    } else {
        header.classList.remove('scrolled');
    }
}

Спасибо за ответы.