chibitko

Js для такой структуры данных не подойдёт, js-объект - это ассоциативный массив, а не структура, жрать памяти будет больше в разы, можно попробовать загрузить данные в один объект ключ-значение, где ключ и значение - это строки, значение нужно парсить чтобы получить parent, либо использовать БД, подойдёт любая, нужно будет создать индекс по parent node, для анализа ситуации не более 10 запросов по 4 млрд. записей - партиции в помощь

Перенесите
$(".step-" + step +" label").on('click', function() {
console.log ("Кнопка Далее: " + step);
$(".step-" + step +" .btn").removeClass('d-none');
});
в обработчик события выше, это не реактивное программирование, без вашего участия это вызывается один раз

.NET и C# очень удобны в разработке - async/await для high load, expression-trees для типизированных запросов к БД (sql и nosql) и другой синтаксический сахар. Core не так хорош, с чем привых работать в Framework не всегда есть для Core, но это пока. Разработка под .NET Core сейчас на подъёме, многие кто сейчас в Azure хотят перейти на Core + Linux, видимо считают, что такой переход проще, чем например Java + Linux. На вашем месте я бы изучал nodejs и typescript, не знаю как там у Ноды с high load (всё-таки это не многопоток, а асинхронщина), а то может и Java добавить в набор для изучения

Либо двоичный поиск, либо дерево поиска, например, красно-чёрное, но это если нужно пополнять коллекцию