Планки памяти с разным объемом и совместимость?

Если память одного типа, то совместимы.
Если материнская плата позволяет ставить разного размера, то совместимы.
Если количество каналов одинаково, то совместимы.
Работать будет на частоте меньшей из их.

Если 2 планки: одна 8ГБ, вторая 4ГБ

Начнём с этого.

И так. Надо учитывать такие факторы как:
Тактовая рабочая чистота оперативной памяти в МГц.
Минимальная рабочая чистота в МГц. (если один модуль работает на, к примеру 1333МГц. А другой на на 1600Мгц, то работать оба модуля будут на 1333. Всё будет клониться к меньше стороне).

как это скажется на работе и производительности памяти?

А скажется очень просто. Нажимаете кнопку запуска компьютера. Если запустился то хвала чему-то высшему всё работает. Если что-о будет не так, компьютер не стартанёт или не будет вдеть один из модулей.

У меня всё ;)
Спасибо за внимание, всего доброго.