Альтернатива QNX?

Всё зависит от того, что вы понимаете под системой управления, ОС и тем более данной тематикой.

Если я правильно понял, то требуется некая операционная система для встраиваемой техники с возможностью её модификации?
Тогда советую посмотреть список RTOS на wiki, где можно выбрать в зависимости от типа процессора и финансовых возможностей.

У нас используется LynxOS.

OS/2?

Попробуйте интересный проект, наследник MobLin — Tizen (на wiki ). В принципе как замена RTOS для ряда проектов пойдет.
В частности Intel на этой платформе делает стек ПО для автобезопасности (знаю из личной беседы, не могу привести ссылку, к сожалению). Мы рассматривали QNX для работы в схожих проектах — к сожалению не подошло — нет поддержки CUDA, в Tizen соответственно есть.