Как можно реализовать бесконечный скролл через redux?

С чем именно у вас возникли трудности?

Антон Спирин, элементы заменяются а не добавляются

X0lera, ну и в чем проблема не заменять, а добавлять элементы в редьюсере? Покажите свой код. Подскажу как изменить.
И handler у вас неправильный. Нельзя на каждое событие запрос на сервер делать, их так сотни будут. Человек проскроллит одну карточку, а загрузит всю базу данных. Надо считать позицию и только когда до конца списка осталось определенное расстояние загружать данные.

Антон Спирин,

export function items(state = [], action) {
    switch (action.type) {
        case 'ITEMS':
            return action.items;
        default:
            return state;
    }
}

X0lera, этой информации мало для подгрузки дополнительных страниц. Надо хотя бы:

const initialState = {
  limit: 20,
  page: 1,
  data: [],
  isFetching: false,
  isFail: false,
};

export function items(state = initialState, action) {
    switch (action.type) {
        case 'FETCH_ITEMS':
            return { ...state, isFetching: true, isFail: false };
        case 'FETCH_ITEMS_SUCCESS':
            return {
              ...state,
              isFetching: false,
              data: [ ...state.data, ...action.payload.data ],
              page: action.payload.page,
            };
        case 'FETCH_ITEMS_FAIL':
            return { ...state, isFetching: false, isFail: true };
        default:
            return state;
    }
}

Если вы плохо понимаете зачем нужно хотя бы одно из свойств состояния, то рано вам браться за такие сложные задачи(хотя никакие они не сложные). Научитесь для начала работать со store, почитайте про иммутабельное обновление. Почитайте теорию о бесконечных списках, как писал выше, ваш хандлер никуда не годится.