Обучение нейронной сети видеокартой и процессором — какая разница в потреблении памяти?

возможно это рентабельней, если смотреть только со стороны обучения НС ... а поиграть? =)

FerroPanda, вопрос скорее в удобстве. Перегревать свое железо когда есть чужое?

Иван Шумов, бесплатно? Я согласен. Куда загружать мои гигабайты? =)
А так, майнеры по паре лет круглые сутки гоняют, поэтому надеюсь неделя в месяц сильно делу не повредит. И почему перегревать? Нужно продумывать систему вентиляции и не запихивать всё в корпуса Mini-ITX.

FerroPanda, бесплатно только сыр в мышеловке) но никто не говорил что это дорого)

Иван Шумов, зачем доллар час, если можно бесплатно 24? ну ладно. + 2,5 р/кВт. =)
Если НС профессия, то вариант правильный. Если "интересно, а что дальше - не знаю", то лучше вк.

т.е. возможен вариант 1к 1?
А если использовать настройки Keras/TF по-умолчанию?
для примера возьмём простые слои Dense.

FerroPanda, 1-к-1 - используется по-умолчанию.

xmoonlight, т.е. проста сеть MLP можно рассчитывать на 1-к-1?
Количество потоков - вы подразумеваете количество одновременно обсчитываемых нейронов или количество нейронов в сети в принципе?

FerroPanda, кол-во потоков - это кол-во потоков. Есть очередь потоков, есть итог очереди. Когда нужен промежуточный итог - все последующие вычисления будут ждать результата потоков. Советую почитать про очереди, параллельные потоки и для чего они нужны.

xmoonlight, что такое очереди и потоки представление имеется. Возможно не смогу объяснить научно, но понимаю как это работает.
Одно но ... выделяется память под хранение результатов потоков до расчёта промежуточного итога, остальное "забивается" обучающей выборкой. Если она не влазит в память, то она постоянно подгружается из оперативной памяти. Как вариант результаты потоков хранятся в оперативной памяти, вся память видеокарты забивается обучающей выборкой (если не влазит, то подгружается). Какую-то часть памяти занимает сама структура сети (описание шейдеров или что-то такое). Как на это всё влияет количество потоков? Только на размер описания сети?

FerroPanda, Кол-во потоков - ни на что не влияет, влияет набор свободных ресурсов на их максимальное количество в единицу времени.

xmoonlight, подождите.

Зависит от кол-ва параллельных потоков: уменьшите - будет меньше занимать оперативки,

Кол-во потоков - ни на что не влияет

Какое из высказываний правильное?
Объём памяти влияет на максимальное количество потоков, но потоки на память не влияют. Т.е. если модель с выборкой влезла целиком, то она влезла, если нет, то нет. И ничего не изменишь. Можно только оптимизировать перераспределение ресурсов.
Так вопрос состоит в том, что если весь питон со всеми моделями и переменными при обучении на CPU занимает 7 Гб оперативной памяти, то влезет ли всё это в память 8-и гигабайтной видеокарты? Или всегда есть коэффициенты х1,5 или х2 или ...?

FerroPanda, Питон и прочие библиотеки - не грузятся сразу в память видюхи.
Поэтому, если хотите обучать "в ширину" (MNIST, изображения) - берите больше оперативы к видюхе (здесь нужны потоки), если нужно обучать "в глубину" - берите больше производительность (т.к. потоки - здесь не особо помогут ускорить обучение).
Ясно?

xmoonlight, нет. =)
Вы не ответили на мой вопрос. Чего где больше в каком случае - это я знаю.
Вопрос в эквивалентности расхода памяти - ОЗУ и память видеокарты.
Вы можете запустить одну и туже сеть на обучение у себя на CPU и GPU, и сказать разницу в "потреблённой" памяти? Желательно, чтобы процесс целиком поместился в память видеокарты.

FerroPanda, Логику не могу понять: зачем Вам это нужно?

xmoonlight, если 1-к-1, то куплю 2080. Если 1-к-2, то наверно 1080ti.

FerroPanda, Кстати, Вы разбирались в разнице архитектуры между 2080 и 1080Ti ?

xmoonlight, вы про тензоры или о чём конкретно?

З.Ы. я так понимаю мой вопрос медленно уходит в небытие. =)

FerroPanda, я про архитектуру карт. Вам карта нужна - для каких типов задач?

xmoonlight, мне для учёбы. =)
Если серьёзно, то я пока что разбираюсь. Если НС как лего, то скорее всего будут перепробованы разные варианты - и MLP, и LSTM, и свёртки, и комбинации всего этого.
А сами данные - таймсерии.

FerroPanda, Для учёбы - подойдёт любая.