Книги по операционным системам?

Таненбаума уже посоветовали.
Могу посоветовать еще очень хороший комплект из 2х томов: Дейтел «Операционные системы».

Еще нам по курсу советовали Соломон, Руссинович «Внутреннее устройство Microsoft Windows». Интересно, даже полезно, но слишком зашито под Windows, но некоторые полезные вещи можно вычитать. Также очень интересен блог Руссиновича — blogs.technet.com/b/mark_russinovich/

Таненбаум, Современные Операционные Системы (3е издание последнее, вроде бы)
считается классикой.
еще не совсем по операционкам, но интересно было полистать
Understanding the Linux Kernel

По фразе FreeBSD Rootkits можно зачетную книжку в PDF найти — точное название и автора не помню. Несмотря на название, она именно о том, что вам нужно. Еще в магазинах много книг про руткиты для Windows. Вот эта к примеру совсем ничего. В общем, советую писать драйверы.

Заходишь сюда и качаешь какие тебе надо )
Почти все новые, я там кучу инфы нашёл

Brian L. Stuart — Principles of Operating Systems
Вся теория объясняется на конкретных кусках кода из Linux, Inferno и TinyOS.