Как понять сколько оперативки кушает метод?

Question

Adel Khalitov @adelkhalitov

>

Как понять сколько оперативки кушает метод?

Есть достаточно массивные метод, который обрабатывает массивы данных.
На сервере он кушает много оперативки. Мне нужно найти причину именно в каком месте он ее кушает.
Как найти это место с помощью chrome://inspect.
Сделал 3 snapshot:
Это на месте определенного breakpoint в определенной итерации

Это в за определенные периуд, начальный.

Это за весь периуд работы метода

Но что на них показано я не понимаю. Как найти то что мне нужно?

Вопрос задан более трёх лет назад
115 просмотров

17 комментариев

Подписаться 1 Простой 17 комментариев

Inviz Custos @MvcBox

К этому всему еще нужен и сам код, который ты пытаешься профайлить

Написано более трёх лет назад
Adel Khalitov @adelkhalitov Автор вопроса

Inviz Custos, Что это значит?

Написано более трёх лет назад
Inviz Custos @MvcBox

Adel Khalitov, код приложения вашего. Тот, который:
Есть достаточно массивные метод, который обрабатывает массивы данных.

Написано более трёх лет назад
Adel Khalitov @adelkhalitov Автор вопроса

Inviz Custos, Оу, там действительно очень много всего, и к сожалению я не могу этого сделать( Бумаги о конфеденциальности(
Мне бы в общих чертах понять как проверить пиковое потребление RAM и в какой момент это происходит

Написано более трёх лет назад
Inviz Custos @MvcBox

Adel Khalitov, ну как минимум профайлить работу только самой функции.
К сожалению, "гадание" по скриншотах ни к чему не приведет. Нужно видеть сам код.

Написано более трёх лет назад
Adel Khalitov @adelkhalitov Автор вопроса

Inviz Custos, А вы сможете скинуть мне хотябы наводку, что мне нужно почитать, посмотреть?

Написано более трёх лет назад
Inviz Custos @MvcBox

Adel Khalitov, невозможно составить краткий универсальный гайд.
Опишите хотя бы какого рода работа там выполняется. Обработка файлов или что-то подобное?

Написано более трёх лет назад
Adel Khalitov @adelkhalitov Автор вопроса

Inviz Custos, Чтение массивов информации из файловов, манипуляция с этими данными, работа с mongo (чтение), опять работа с массивами данных, работа с mongo (запись), запись массивов данных в файлы

Написано более трёх лет назад
Inviz Custos @MvcBox

Adel Khalitov, файлы обрабатываются поочередно или все вместе? Или же там всего 1 файл?
Как именно вы читаете файлы и пишете в них? fs.readFile ?

Написано более трёх лет назад
Lynn «Кофеман» @Lynn

А самый главный вопрос: а это реально важно?

Написано более трёх лет назад
Adel Khalitov @adelkhalitov Автор вопроса
Inviz Custos, Читаются файлы fs, далее парсится с помощью xml-flow (xml файлы),
for (let file of params.filesToGet) { const result = await xmlParser.parseXMLAsync({file, folderLocal: params.folderLocal}) data[file.fileName] = result; }

В конкретно одном методе который я тестирую задействованно 4-6 файлов.

Записывается по аналогии и с чтением, другой метод который из json парсит в xml далее с помощью fs записывается.
Написано более трёх лет назад
Inviz Custos @MvcBox

Adel Khalitov, все равно очень мало информации. Не видно как именно читаются файлы.
Хотя уже видно как минимум первая проблема - вы все сохраняете в память в объекте data

Написано более трёх лет назад
Adel Khalitov @adelkhalitov Автор вопроса

Да, это так.
Но и все таки, вы можете на своем примере привести пример, где показана максимальная прожорливость той или иной программы?

Написано более трёх лет назад
Inviz Custos @MvcBox

Adel Khalitov, например, если чтение идет через fs.readFile - то это уже тоже проблема (особенно при больших файлах), так как весь файл сначала считывается в память, а затем только отдается в качестве результат работы функции.
Вариантов проблемных мест много. Пытаться что-то угадать не видя кода - бесполезное дело.

Написано более трёх лет назад
Adel Khalitov @adelkhalitov Автор вопроса

Алексей Тен, ну мало ли)
Inviz Custos, Да, я это понимаю, именно поэтому я думаю есть дебаггеры)
Мне нужно найти в какой момент и именно какой метод кушает это все дело)

Написано более трёх лет назад
Inviz Custos @MvcBox

Adel Khalitov, также сборщик мусора не моментально освобождает память. Даже если ссылок на переменную уже не осталось, сборка мусора все равно произойдет спустя какое-то время. Можно, конечно, вызывать GC руками, но нужно ли оно?)

Написано более трёх лет назад
Adel Khalitov @adelkhalitov Автор вопроса

Inviz Custos, То есть я так понимаю, то что я хочу сделать это не возможно с помощью chrome inspect?

Написано более трёх лет назад

Пригласить эксперта

Ответы на вопрос 1

Комментировать

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

Google Chrome

Средний
Можно ли включить оповещения в режиме application или kiosk?
- 1 подписчик
- час назад
- 7 просмотров
0

ответов
Node.js

Простой
По какому принципу декораторы работают в Node JS?
- 1 подписчик
- 21 апр.
- 60 просмотров
1

ответ
Node.js

+3 ещё

Простой
Как настроить WSS на apache, учитывая что https (REST api) работает?
- 1 подписчик
- 21 апр.
- 91 просмотр
1

ответ
Node.js

+1 ещё

Средний
Как авторизироваться в вк через node js?
- 1 подписчик
- 20 апр.
- 37 просмотров
0

ответов
Google Chrome

Средний
Сместились фавиконки в заголовках вкладок гугл хром, как вернуть обратно?
- 4 подписчика
- 19 апр.
- 1715 просмотров
2

ответа
Google Chrome

Простой
Можно ли как-то в браузере Chrome настроить обновление раз в неделю?
- 1 подписчик
- 18 апр.
- 92 просмотра
0

ответов
Google Chrome

+1 ещё

Простой
Chrome, почему появляется лишнее push уведомление?
- 1 подписчик
- 17 апр.
- 32 просмотра
0

ответов
JavaScript

+2 ещё

Средний
Проблемы с telegram bot, а именно с сообщениями, как исправить?
- 1 подписчик
- 17 апр.
- 88 просмотров
1

ответ
Google Chrome

Средний
Как провести миграцию с манифест 2 на манифест 3 гугл хром?
- 1 подписчик
- 16 апр.
- 52 просмотра
0

ответов
Node.js

+1 ещё

Простой
Error during build: RollupError: Could not resolve. Как исправить ошибку?
- 1 подписчик
- 15 апр.
- 36 просмотров
2

ответа
Показать ещё Загружается…

Node.js разработчик

ДАЛЕЕ • Москва

от 200 000 ₽

Senior Backend Developer Node.js

Radium Finance • Москва

от 300 000 до 400 000 ₽

Backend Developer (Node.js), Remote 🔥

Fundraise Up

от 3 800 до 6 300 $

Разработка дизайна коробки в развернутом виде

24 апр. 2024, в 12:13

2000 руб./за проект

Нужна лендинг страница для telegram канала

24 апр. 2024, в 12:11

1000 руб./за проект

Нужен промт для миджорни

24 апр. 2024, в 12:08

1000 руб./за проект

К этому всему еще нужен и сам код, который ты пытаешься профайлить
Adel Khalitov, код приложения вашего. Тот, который:
Есть достаточно массивные метод, который обрабатывает массивы данных.
Inviz Custos, Оу, там действительно очень много всего, и к сожалению я не могу этого сделать( Бумаги о конфеденциальности(
Мне бы в общих чертах понять как проверить пиковое потребление RAM и в какой момент это происходит
Adel Khalitov, ну как минимум профайлить работу только самой функции.
К сожалению, "гадание" по скриншотах ни к чему не приведет. Нужно видеть сам код.
Inviz Custos, А вы сможете скинуть мне хотябы наводку, что мне нужно почитать, посмотреть?
Adel Khalitov, невозможно составить краткий универсальный гайд.
Опишите хотя бы какого рода работа там выполняется. Обработка файлов или что-то подобное?
Inviz Custos, Чтение массивов информации из файловов, манипуляция с этими данными, работа с mongo (чтение), опять работа с массивами данных, работа с mongo (запись), запись массивов данных в файлы
Adel Khalitov, файлы обрабатываются поочередно или все вместе? Или же там всего 1 файл?
Как именно вы читаете файлы и пишете в них? fs.readFile ?
А самый главный вопрос: а это реально важно?
Inviz Custos, Читаются файлы fs, далее парсится с помощью xml-flow (xml файлы),
for (let file of params.filesToGet) { const result = await xmlParser.parseXMLAsync({file, folderLocal: params.folderLocal}) data[file.fileName] = result; }

В конкретно одном методе который я тестирую задействованно 4-6 файлов.

Записывается по аналогии и с чтением, другой метод который из json парсит в xml далее с помощью fs записывается.
Adel Khalitov, все равно очень мало информации. Не видно как именно читаются файлы.
Хотя уже видно как минимум первая проблема - вы все сохраняете в память в объекте data
Да, это так.
Но и все таки, вы можете на своем примере привести пример, где показана максимальная прожорливость той или иной программы?
Adel Khalitov, например, если чтение идет через fs.readFile - то это уже тоже проблема (особенно при больших файлах), так как весь файл сначала считывается в память, а затем только отдается в качестве результат работы функции.
Вариантов проблемных мест много. Пытаться что-то угадать не видя кода - бесполезное дело.
Алексей Тен, ну мало ли)
Inviz Custos, Да, я это понимаю, именно поэтому я думаю есть дебаггеры)
Мне нужно найти в какой момент и именно какой метод кушает это все дело)
Adel Khalitov, также сборщик мусора не моментально освобождает память. Даже если ссылок на переменную уже не осталось, сборка мусора все равно произойдет спустя какое-то время. Можно, конечно, вызывать GC руками, но нужно ли оно?)
Inviz Custos, То есть я так понимаю, то что я хочу сделать это не возможно с помощью chrome inspect?

Answer 1 · 2019-08-30 20:07:45

попробуйте вот тут почитать: https://www.toptal.com/nodejs/debugging-memory-lea...
Ну и в целом погуглить как искать утечки памяти и работать со снапшотами heap в ноде. Универсального ответа нет, но есть методы которые могут вам помочь. Heap diff помогает если вы знаете момент когда память занимается и можете сделать и сравнить два снапшота до и после, там найти чем занята память и попробовать найти контекст с которым эти данные связаны и с контекста возможно найдете метод.

Как понять сколько оперативки кушает метод?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт