У меня есть текстовый файл в котором более 1,1 миллиарда строк и есть список в котором хранятся номера строк, которые мне не нужны (их около 100 млн)
Как наименее затратно по времени удалить ненужные строки или создать новый файл в который перенести все строки кроме тех. которые мне не нужны?
Самый простой способ это сделать вот так
with open(output_file, 'a') as fan:
other_file = open('ALL.txt', 'r')
for i, line in enumerate(other_file):
if i not in edit_points:
fan.write(line)
где other_file - это файл с миллиардом строк, а edit_points - это список в котором ненужные строки
но это очень медленно
