Что быстрее для загрузки bootstrap или чистый css?

Может быть и то, и другое в зависимости от того, сколько CSS и JS потребовалось, чтобы сверстать в варианте без Bootstrap.
А вообще, разница будет крайне не большой. А для конечного пользователя, разница будет только при первой загрузке страницы - дальше стили и скрипты будут браться из локального кеша.

Куда выгоднее с точки зрения и SEO и пользователей, будет думать не об этом, а о оптимизации изображений, например.

Я что-то не до конца понял, а в чем отличие bootstrap стилей от чистого css?
Какая разница, что вы будете использовать, сами верстать или использовать bootstrap?

Разница может быть лишь в том, что у вас может оказаться неиспользуемые стили, т.к. вы используете не все компоненты, которые подключили. Но, это разница может быть лишь в нескольких килобайтах, что никак не отразится на скорости.

Очевидно что чистый цсс быстрее и меньше если хорошо написан

Конечно же, чистый CSS будет быстрее, потому что там не будет энного количества лишних неиспользованных стилей, которые тянет в себе любой фреймворк. Помимо этого, бутстрап активно использует каскады, в том числе многоуровневые, а каскад тоже стоит производительности.

Но! Разница эта мизерная, чаще всего ею можно пренебречь. Влияние CSS на скорость загрузки сайта, как правило, очень невелико - за исключением некоторых крайних случаев, когда автор наговнокодил там какое-то адище. Обычно корни тормозов растут из JS и/или графики. Ну, шрифты ещё бывают.