Как управлять кэшем процессора?

Question

igorsap13 @igorsap13

Как управлять кэшем процессора?

Есть программа - она выполняет математические операции. ОЗУ занимает очень много. Больше 25 Гб. Но есть запас ОЗУ.
Когда в кэш процессора данные подгрузились - операции выполняются быстро. Но если некоторое время не выполнять операции (секунд 30), а потом опять начать - они начинают выполняться в 10 раз медленнее. (Потому что опять в кэш процессора грузит). Потом опять скорость возвращается к нормальной.

Вопрос - возможно, как-то управлять кэшем процессора?
Запретить ему самому чистить кэш? Как-то самим туда записывать и удалять если нужно?
Как рассчитывать какой объем кэша нужен процессору для такого массива (больше 25 Гб - данные хранятся в (float *a = new float[5 000 000 000];))?

Другие операции на сервере не выполняются.

Использую Windows Server 2012 R2. Visual Studio 2015 (c++). Intel Xeon e5-2660 v4 (35 Мб кэша у процессора).

P.S. Сами операции оптимизированы. Вопрос - что делать с кэшем?

Вопрос задан более трёх лет назад
513 просмотров

1 комментарий

Подписаться 1 Простой 1 комментарий

Пригласить эксперта

Ответы на вопрос 3

5 комментариев

igorsap13 @igorsap13 Автор вопроса

Я задавал вопрос - Почему меняется скорость выполнения математических операций на C++? мне сказали, что проблема в кэше, поэтому и спрашиваю. Все остальное, кроме кэша, я оптимизировал.

Написано более трёх лет назад
jcmvbkbc @jcmvbkbc

мне сказали, что проблема в кэше

igorsap13, тебе сказали
1 - осваивайте профилирование вообще..
, с чем невозможно не согласиться. Я только ещё раз повторю: осваивай профилирование, рассуждения относительно быстродействия никогда не будут лучше прямой экспериментальной проверки.

Написано более трёх лет назад
jcmvbkbc @jcmvbkbc

igorsap13, вот тебе книжка почитать на тему: https://akkadia.org/drepper/cpumemory.pdf , чтобы понимать, на каких объёмах данных наблюдаются эффекты от кэша.

Написано более трёх лет назад
igorsap13 @igorsap13 Автор вопроса

jcmvbkbc, спасибо за ответ. ОЗУ 64 Гб на сервере. Используется из нее - максимум половина. Просто то быстрее, то медленнее к ней доступ (раз в 10). Вот и думаю что дело в кэше. Насчет, профилирования - вот именно доступ к массиву - скорость меняется. Все остальное одинаково.

Написано более трёх лет назад
jcmvbkbc @jcmvbkbc

Насчет, профилирования - вот именно доступ к массиву - скорость меняется.

Профилирование должно отвечать на вопрос "на что расходуется время". Ответ "на доступ к массиву" -- хороший, но недостаточно подробный. По крайней мере, недостаточный для того, чтобы говорить, что проблема в кэше процессора. Чтобы получить подробный ответ нужно освоить какой-нибудь подходящий инструмент профилирования (какой именно -- не подскажу, давно не в курсе виндовой моды).

Написано более трёх лет назад

5 комментариев

igorsap13 @igorsap13 Автор вопроса

Я задавал вопрос - Почему меняется скорость выполнения математических операций на C++? мне сказали, что проблема в кэше, поэтому и спрашиваю. Все остальное, кроме кэша, я оптимизировал.

Можно как-то управлять кэшем самостоятельно?

Написано более трёх лет назад
АртемЪ @Jump

igorsap13, Итак по порядку.
Кэшем управлять никак нельзя самостоятельно им управляет процессор.
Косвенно можно оптимизировать если у вас работает одна программа.

мне сказали, что проблема в кэше, поэтому и спрашиваю. Все остальное, кроме кэша, я оптимизировал.
Вы первых это не точно, во вторых если проблема в попадании в кэш, то оптимизировать надо код, но никак не управлять кэшем.

Как рассчитывать какой объем кэша нужен процессору для такого массива
Кэш это чип быстрой оперативной памяти размещенный непосредственно в процессоре. Рассчитывают его проектировщики процессора.

Но если некоторое время не выполнять операции (секунд 30), а потом опять начать - они начинают выполняться в 10 раз медленнее.
Это явно не кэш, скорее оперативка и дисковые операции. Чтобы сказать точно - мало данных.

Когда в кэш процессора данные подгрузились - операции выполняются быстро.
Данные подгружаются в кэш процессора примерно за одну тысячную долю секунды. Это если говорить про внешний медленный кэш, если про более быстрые - там уже микросекунды.

Написано более трёх лет назад
АртемЪ @Jump

Есть программа - она выполняет математические операции.
Что конкретно делает эта программа? Где она берет данные для этих операций?

ОЗУ занимает очень много. Больше 25 Гб.
А у вас памяти достаточно?
При таком раскладе скорее всего проблема в банальной нехватке памяти. Сколько у вас памяти на компьютере?

Написано более трёх лет назад
igorsap13 @igorsap13 Автор вопроса

АртемЪ, спасибо за ответ. ОЗУ 64 Гб на сервере. Используется из нее - максимум половина.

Написано более трёх лет назад
АртемЪ @Jump

igorsap13,
Используется из нее - максимум половина.
А конкретнее?
Можете скриншот из монитора ресурсов (вкладка память) выложить? При запущенной задаче разумеется.
Так же неплохо бы уточнить обращается ли программа к диску во время работы.
И посмотреть очередь системного диска в тот момент когда наблюдаются проблемы.

Написано более трёх лет назад

4 комментария

igorsap13 @igorsap13 Автор вопроса

Спасибо за ответ. ОЗУ 64 Гб на сервере. Используется из нее - максимум половина. Поэтому не думаю, что используется своп.

Написано более трёх лет назад
АртемЪ @Jump

igorsap13,
Поэтому не думаю, что используется своп.
Своп используется всегда, вне зависимости от объема памяти.

Написано более трёх лет назад
jcmvbkbc @jcmvbkbc

Своп используется всегда

АртемЪ, даже когда его нет?

Написано более трёх лет назад
res2001 @res2001

igorsap13,
Поэтому не думаю, что используется своп.

Зачем гадать - используйте виндовый Монитор производительности, чтоб определиться используется своп или нет.

Написано более трёх лет назад

Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации

Похожие вопросы

C++

Простой
Как вывести изображение без окна как у Desktop Goose на C++?
- 1 подписчик
- 11 часов назад
- 46 просмотров
0

ответов
C++

+2 ещё

Простой
Как исправить стиль линии прокрутки в QScrollArea?
- 1 подписчик
- 16 часов назад
- 23 просмотра
0

ответов
C++

+2 ещё

Средний
Почему GCC не видит встроенную атомарную операцию?
- 2 подписчика
- 18 часов назад
- 334 просмотра
2

ответа
C++

+1 ещё

Простой
Как это исправить?
- 1 подписчик
- вчера
- 118 просмотров
0

ответов
C++

Простой
Аапвапвапвапапавпвапапыфвфывфыв вваыва?
- 3 подписчика
- 22 апр.
- 900 просмотров
1

ответ
Python

+2 ещё

Простой
Как транслировать аудио в микрофон, py, c#, c++?
- 1 подписчик
- 22 апр.
- 171 просмотр
3

ответа
C++

+1 ещё

Средний
Как найти кратчайший путь в лабиринте, двигаться в котором можно только вперед и направо?
- 1 подписчик
- 21 апр.
- 115 просмотров
1

ответ
C++

+1 ещё

Средний
Как в C++ создать массив с неизвестным числом элементов?
- 1 подписчик
- 21 апр.
- 119 просмотров
3

ответа
C++

+1 ещё

Средний
Как оптимизировать код с++ с рекурсией в времени?
- 1 подписчик
- 21 апр.
- 122 просмотра
2

ответа
C++

+1 ещё

Средний
Как понять в чем ошибки?
- 1 подписчик
- 21 апр.
- 107 просмотров
1

ответ
Показать ещё Загружается…

Платформенный инженер

ИТ Плюс • Пермь

от 250 000 ₽

Senior Backend Engineer в агрегатор нейросетей (150к DAU)

NN Media

от 300 000 до 500 000 ₽

Тестировщик SberOs

Сбер • Санкт-Петербург

от 80 000 до 150 000 ₽

Ошибка в 1с при выгрузке товаров на сайт на Битриксе

25 апр. 2024, в 03:08

3000 руб./за проект

Создание и публикация короткого (reels) UGC-видео на YouTube-канале

25 апр. 2024, в 01:46

500 руб./за проект

Настроить перехват https-трафика для android-приложения

25 апр. 2024, в 01:02

10000 руб./за проект

igorsap13 , что свои данные перевел в монолитный блок - это хорошо. :)
Теперь разбирайся с терминологией false/true sharing и MESI. Это даст тебе понять что твой текущий вопрос снова мимо твоей кассы.
Есть процессор, он многоядерный. Кешей у процессора тоже не один, а целых три, скорее всего. У тебя монолитный блок данных, который терзают N потоков. С высокой долей вероятности твои потоки просто глушат друг друга на перезаписи совместно используемых данных.
Ну и опять же, отдашь реальные данные, будет реальный ответ.

Answer 1 · 2018-12-01 13:27:14

Есть программа - она выполняет математические операции. ОЗУ занимает очень много. Больше 25 Гб. Но есть запас ОЗУ.
Когда в кэш процессора данные подгрузились - операции выполняются быстро.

Я тоже хочу кэш процессора больше 25ГБ, но в твоём случае кэш процессора точно ни при чём.

Вопрос - что делать с кэшем?

Для начала понять, что такое "кэш процессора", сколько его и как он работает. Потом понять, как выделяется физическая память приложению, откуда она берётся и куда она уходит, если ею не пользоваться.

Если хочется застолбить массив в физической памяти -- смотреть на VirtualLock.

Answer 2 · 2018-12-01 13:30:31

Но если некоторое время не выполнять операции (секунд 30), а потом опять начать - они начинают выполняться в 10 раз медленнее.

Вы уверены что речь идет о кэше процессора, если разговор о таких длительных сроках? 30секунд и кэш процессора? Может вы говорили про миллисекунды?
За секунду кэш поменяется миллион раз.

Другие операции на сервере не выполняются.

Если другие операции на сервере не выполняются, то кэш никуда не денется.

Использую Windows Server 2012 R2

Вы же сами сказали что другие операции не выполняются. И тут же заявляете что выполняете на этом же процессоре целую ОС.

Answer 3 · 2018-12-01 13:41:52

Похоже ваши гигабайты успевают скидываться в своп во время паузы, отсюда и тормоза пока ОС достанет их оттуда.
Кэшем на прямую вы никак управлять не можете, можете только косвенно структурировав соответствующим образом код и данные. Увеличить объем кэша вы то же не можете, разве что поставить проц с бОльшим кэшем.
Пока попробуйте добавить памяти в комп, так что бы ваш массив целиком туда влазил (да еще и запас был под другие задачи и ОС).

Кстати, вы не привели объем ОЗУ вашего компа.

Как управлять кэшем процессора?

Войдите, чтобы написать ответ

Минуточку внимания

Войдите на сайт