Вся информация в компьютере — это нули и единицы?

Да, можно аналогию привести, что человек на низком уровне состоит из атомов, нейтронов и т.п.

Дополню:

это на самом деле это процессор обрабатывает длинную последовательность нулей и единиц

Если посмотреть глубже, то не обрабатывает, а "просто" пересылает из одного места в другое.

Компьютер - это вычислитель, работающий на основе логических элементов. Результатом вычисления одного логического элемента является 0 (ток не проходит) или 1 (ток проходит) - для упрощения будем брать в расчёт только двоичную логику. Процессор ведёт обработку последовательности нулей и единиц, группируя их в октеты (именуемые байтами). Раньше группировали не октетами, а меньшим количеством битов.

Определённые последовательности нулей и единиц составляют основу таблицы кодов символов (алфавит), которыми оперируют люди. Благодаря этой таблице люди умеют интерпретировать передаваемые нули и единицы в форме кодов алфавита. Почитай об Азбуке Морзе и коде Бодо́.

В дальнейшем стала использоваться таблица символов ASCII, а в эти дни - Unicode.