Можно ли на компьютере с Линуксом поставить Apache + MySQL?

1. Можно
2. От нагрузки создаваемой одним пользователем на сайт зависит. Сервера бывают разные, как, впрочем, и сайты. Для расчета производительности отдельно взятого сайта можно провести нагрузочное тестирование специальными утилитами, например, ab (apache benchmark).
"5000тыс.пользователей" точно не выдержит, для пяти миллионов датацентр нужен. ;)

Я так понимаю, что Вы хотите у себя дома на своем домашнем компьютере организовать веб сервер. В принципе это возможно. Только убедитесь, что у Вас дома реальный IP.

По нагрузке:
5000 тыс. одновременных пользователей, то есть, 5млн пользователей, точно не выдержит.
А вот 5 тыс пользователей может быть и сможет. Сильно зависит от многих факторов.

Например, моделя поведения пользователей. Если у Вас на сайте большие статьи без картинок, по 50кБ чистого текста на страницу и большинство пользователей просто читает эти статьи, в среднем по 10 минут. То, это дает нагрузку (очень грубо) один запрос в 600 секунд на каждого пользователя онлайн. Что дает нагрузку, чуть менее 10 запросов в секунду.

Следующий важный фактор, про который сказал, например, @kryoz - насколько тяжелый бэкенд Вашего сервера. То есть, сколько требуется времени для получения страницы. Это складывается из множества разных факторов: наличие и количество обращений к БД для генерации одной страницы, собственно процесса генерации HTML и прочая работа Вашего серверного приложения. В конце-концов, количество обращений к диску во всех этих процессах. Или может у Вас на самом деле задача только в отдаче статического контента.

Начнём с того, что неизвестно что вы собираетесь хостить, может просто статику раздавать. А может приложение тяжелое на Zend Framework.
Ну и по конфигурации системы абсолютно ничего. Какая архитектура CPU? Какая частота RAM? Сколько у неё каналов? Какой жесткий диск? Это ж всё влияет.

Apache 5000 пользователей одновременно не выдержит даже на статике.
А вот Nginx выдержит.

На моих эксерментах.
Amazon ec2.micro ( примерно то что соотвует задаче )

Фронт nginx - бек - 2 воркера на flask через uwsgi тупо кладующих post переменную в mongo выдерживало до 500 запросов в секунду с пары соседних инстансов.

Всё очень сильно зависит от:
0. Аппаратная оптимизация - частота процессора, памяти, охлаждение, можность блока питания для поддерживания железа, блок бесперебойного питания.
1. Оптимизации (ядра) ОС под высокие нагрузки, сетевые настройки и настройки стека tcp/ip, хранилище (жёсткий диск, ssd, raid массив), память.
2. Оптимизация сервера баз данных под высокие нагрузки.
3. Оптимизация настроек движка сайта и кода самого сайта, мультипоточность и т.п.
4. Оптимизация настроек кеша для статики - сквид, nginx.
5. Оптимизация настроек маршрутизатора - Ваш "длинк за 300 рублей" может не выдержать и два десятка подключений, не то что несколько тысяч.
6. Пакет интернет подключения.

100% какие-то вещи забыл, но по всем этим пунктам существует куча документации.

При правильных настройках даже такой сервер может выдержать приличное количество подключений и запросов.

Успехов.

все зависит от сайта ... и на сколько он оптимизирован ...

думаю что и 5000 в мин не выдержит ...
тем более одновременных ...