Как указывать кириллические ссылки в sitemap.xml?

Использовать punycode! Благо готовых сервисов куча, вот например.

Как альтернатива, можно использовать сервис для генерации карты сайта (например), там перевод кириллических символов делается автоматически (но все также с использованием punycode).

Правда здесь может возникнуть загвоздка, такие сервисы в бесплатном варианте предоставляют возможность генерации карты сайта, на определенное количество страниц (500-1000-2000), далее просят занести бабла.

Если домен кириллический, вначале его преобразовать по алгоритму пуникод, потом все и кириллические адреса в том числе пропустить через https://www.php.net/manual/en/function.rawurlencode.php - она работает по тому RFC который принимает гугл и другие