При такой постановке вопроса, уже понятно, что ничего хорошего не получится. Хотя, формально ответы такие:
1) да
2) да
Но, повторю, так делать НЕ надо (сеть либо переобучится, либо не будет никакой сходимости функции потерь, в обоих случаях сеть превратится в бесполезный генератор псевдослучайных чисел). А что тогда делать? Хорошо бы точно определиться с задачей. Насколько я понял, речь о самой простой классификации (у нас есть M классов (твоих иероглифов) и каждая картинка принадлежит только одному из них). Это так называемая multi-label classification. Если так, то обучать лучше минибатчами (это набор из нескольких картинок). Минибатчи формируются путём случайного отбора примеров из обучающей выборки. Тонкостей и здесь довольно много. Например, минибатчи лучше делать несмещёнными (т.е. отбирать примеры так, чтобы метки всех классов были представлены в минибатче в одинаковом количестве). Если обучающих данных мало (1 пример на один класс это конечно вообще не для нейронных сетей задача, но тем не менее...), то данные дополняют искусственно. Можно случайный шум к картинке добавлять, поворачивать её немного, масштабировать, смещать параллельным переносом, цвет менять и ещё разные искусственные преобразования делать (см. https://github.com/albu/albumentations ).