Есть ли расширения для Chrome, которые будут пропускать по прокси все не https сайты?

есть, если список ему укажешь

Расширение не требуется, можно использовать PAC-файл (или WPAD чтобы автоматически выполнять такую конфигурацию).
Например, для PAC-файла, сделайте файл, c:\proxy\proxy.pac примерно с таким содержимым:

function FindProxyForURL(url, host)
{
 if (url.substring(0, 5)=="http:") RETURN "PROXY 1.2.3.4:8080";
 return "DIRECT";
}

этот скрипт направляет http:// трафик на прокси, остальной трафик - напрямую. Пропишите

file:///c:/proxy/proxy.pac

В настройках сети/использовать сценарий автоматической настройки/адрес
(так же можно положить этот файлик на внутренний сервер и указать там URI или прописать этот файлик как wpad.dat для WPAD)