Как на Python распарсить большой XML файл (>500Мб) содержаший ошибки?

from lxml import etree

parser = etree.XMLParser(recover=True, huge_tree=True)
tree = etree.parse("file.xml", parser)

Попробовал этот вариант. Ошибок не выдает но парсит элементы только до незакрытого тега.

Он парсит все, просто остальной документ находится внутри этого самого тега — будет каша, так как XML изначально не валидный.
Пример:

>>> from StringIO import StringIO
>>> from lxml import etree
>>> xml = "<tag1><tag21><p></tag21><tag22></tag22></tag1>"
>>> parser = etree.XMLParser(recover=True, huge_tree=True)
>>> tree = etree.parse(StringIO(xml), parser)
>>> print etree.tostring(tree, pretty_print=True)
<tag1>
  <tag21>
    <p/>
    <tag22/>
  </tag21>
</tag1>

Парсер пытается сделать все что может чтобы получить хоть какой-то XML.
Или если добавить текста, то многое уйдет «под» первый не закрытый тег:

>>> xml = "<tag1><tag21><p>text<p>text2</p><p>text3</tag21><tag22></tag22></tag1>"
>>> tree = etree.parse(StringIO(xml), parser)
>>> print etree.tostring(tree, pretty_print=True)
<tag1>
  <tag21>
    <p>text<p>text2</p><p>text3</p><tag22/></p>
  </tag21>
</tag1>

Чтобы этого не происходило, можно к документу написать DTD — структуру документа.

Например перенесем наш инвалидный пример в файл text.xml и скажем что tag21 не должен парсится вообще:

<?xml version="1.0"?>
<!DOCTYPE tag1 [
<!ELEMENT tag1 (tag21, tag22)>
<!ELEMENT tag21 (CDATA)>
<!ELEMENT tag22 (#PCDATA)>
]>
<tag1>
  <tag21>
    <p>text
    <p>text2</p>
    <p>text3
  </tag21>
  <tag22>
    <br/>
  </tag22>
</tag1>

А теперь заставим lxml прочитать уже с учетом структуры:

>>> from lxml import etree
>>> parser = etree.XMLParser(recover=True, huge_tree=True, load_dtd=True)
>>> tree = etree.parse("test.xml", parser)
>>> print etree.tostring(tree, pretty_print=True)
<!DOCTYPE tag1 [
<!ELEMENT tag1 (tag21 , tag22)>
<!ELEMENT tag21 (CDATA)>
<!ELEMENT tag22 (#PCDATA)>
]>
<tag1>
  <tag21>
    <p>text
    <p>text2</p>
    <p>text3
  </p>
  <tag22>
    <br/>
  </tag22>
</p>
</tag21></tag1>

Согласитесь что уже гораздо лучше.

Но так как структуру документа знаете только вы, то только вы сами должны разобрать поломанный XML пусть и с помощью сторонних программ. Никакие программы не будут обладать достаточной эвристикой чтобы распарсить поломанный XML так как хочется именно вам.

а уже после разбора привести html к первоначальному виду