Что тратит больше ресурсов: JOIN или SELECT?

Это пробовать надо

MySQL. Очень важно сэкономить деньги на сервере: сначала буду использовать свой домашний компьютер (4 ГБ ОЗУ) и домашние компьютеры друзей, а если понадобится сервер - нужно чтобы набежало поменьше трафика. По структуре сайт похож на социальную сеть с возможностью загрузки небольших PDF-документов.

Это не поможет дать ответ. Вообще для того, чтобы спроектировать БД, надо спроектировать объектную структуру данных, оценить кол-во данных, вывести объемы связей, тенденции роста, кол-во запросов по типам и т.д. А чтобы это сделать надо спроектировать функциональность, описать все действия, построить диаграммы состояний и т.д. А после того как будут готовые схемы, можно с ходу решить что использовать. Так делается по уму.

Но так делают разве что уже крупные компании. А вам скорее всего придется делать методом проб и ошибок, поэтому есть смысл спроектировать базовую структуру кода таким образом, чтобы можно было легко менять куски.

А в общем что могу посоветовать, если много вставок в таблицу (хотя бы сотни в секунду), и при этом кол-во записей большое как минимум от 200-300 тысяч с перспективами до нескольких миллионов, то либо InnoDB (XtraDB) или шардинг.

Если вставок мало, то просто MyISAM, выдержит спокойно десятки миллионов записей, естественно при прямых запросах и правильных индексах.

Ну а полнотекстовый поиск через специализированные решения, например Sphinx, ну и вместо обычного MySQL поставьте MariaDB.

Ах да, 4Гб памяти для социальной сети, ну это если на тысячу человек, не больше. А если еще и InnoDB юзать, на и на 500 бы хватило.