Как внести изменения в файле Open XML который находится в памяти и сохранить изменения не используя диск?

FileInfo f = new FileInfo("File.xlsx");
// Создаем массив байт для хранения фала в памяти
// +50000 на случай если изменения будут больше чем исходный файл, это можно так делать или я гоню?
byte[] newFile = new byte[f.Length+50000];
// Переносим файл с диска на память
File.WriteAllBytes("File.xlsx", newFile);
// Создаем поток из байтового массива что бы можно было использовать его в SpreadsheetDocument.Open
streamNewFile = new MemoryStream(newFile, true);
// Пытаемся открыть xlsx находящийся в памяти
SpreadsheetDocument document = SpreadsheetDocument.Open(streamNewFile, true); // ошибка происходит тут
// что то делаем с таблицей
// закрываем таблицу
 document.Close();
// возвращаем массив байтов с сохраненной таблицей
return streamNewFile.ToArray();