Python: как проверить URL на правильность?

Здравствуйте. Возникла проблема следующего характера: Scrapy глохнет при скармливании ему неправильного URL. Парсинг останавливается и дальнейшие URL не проверяются (например, "adsabs.harvard.edu/full/2002JIMO...30..199R").

Поэтому было придумано получать код ответа от URL через httplib. Была украдена функция со stackoverflow.com:

def get_status_code(self, host, path="/"):
        """ This function retreives the status code of a website by requesting
            HEAD data from the host. This means that it only requests the headers.
            If the host cannot be reached or something else goes wrong, it returns
            None instead.
        """
        try:
            conn = httplib.HTTPConnection(host)
            conn.request("HEAD", path)
            return conn.getresponse().status
        except StandardError:
            return None

Если код возвращает 200 - URL проходит, в остальных случаях - игнорируется. Но дело в том, что такая проверка очень долгая. Отправить запрос на каждый URL (а их порядка 30к) - это значительно замедляет парсер.

Была задумка проверять RegExp'ом, но пока хочу послушать, что скажут более опытные коллеги.

Может ли кто-нибудь порекомендовать альтернативный метод решения проблемы?