Для сортирорвки по лицам можно применить следующий алгоритм:
1. Нахождение лица на изображении (взять что-нибудь из tf detection API либо из openCV, там сейчас есть YOLOv2 и SSD или каскады хаара, может еще, что-нибудь добавили, вроде в dlib есть еще что-то).
2. Вычисление дескрипторов (из openCV: sift, surf и т.д., Хотя есть нейронки специально для вычисления вектора признаков для лиц, названия не помню).
3. Выбор меры похожести (евклидово расстояние, расстояние хэминга ...).
4. Классификация, например knn, (приедварительно обучив на выборке) или кластеризация.
Простой
