Распознавание объектов на изображении?

Готового решения для классификации клеток скорее всего нет - потому как задача достаточно специфическая.
Однако при должном опыте вполне решаемая при помощи уже существующих алгоритмов компьютерного зрения, которые имеются в открытом доступе.

Рекомендую смотреть в сторону OpenCV.

Собственно ваша конкретная задача распадается на две под задачи :
1) Обнаружение клеток.
2) Их классификация.

По первому вопросу, судя по всему можно применять или детектор кругов (у всех клеток форма приблизительно одинаково круглая в первом приближении), или натренировать на их обнаружение какой-нибудь детектор из OpenCV (HAAR, LBP или HOG).

По второму пункту - проанализировать свойства клеток, выбрать характеристики по которым их различие наибольшее и натренировать какой-нибудь классификатор (Например SVM).

Могу посоветовать такой фильтр под ImageMagick:
convert $1 -define convolve:scale=! -morphology Convolve Disk:5 -morphology EdgeIn Octagon -negate -normalize -threshold 80% -morphology Erode Disk:2 $2

Для примера получается такая картинка

Большая часть клеток детектится по белой области определенного размера, похожей на круг. Похожесть на круг можно посчитать по отношению расстояния от центра масс до самой дальней и самой ближней точки на границе.
Там правда, иногда получаются разорванные клетки... (см. верхний левый и правый углы)