Конкретно в моём случае, была проблема в том, что я использовал ContentProvider, у которого не позаботился о уникальном имени.
Как только имя стало зависеть от версии productFlavors, всё стало работать.
Вот так выглядит изменённый провайдер
<provider
android:name="android.support.v4.content.FileProvider"
android:authorities="@string/provider_authorities"
android:exported="false"
android:grantUriPermissions="true">
<meta-data
android:name="android.support.FILE_PROVIDER_PATHS"
android:resource="@xml/file_path">
</meta-data>
</provider>
Параметр @string/provider_authorities я беру из xml, привязного к productFlavors