Не доходит до меня тема коллекций, что я не так решаю?

Если задача на хешмепы, то с помощью них и надо решать. Проходите по данному хешмепу, для каждого имени из него прибавляете 1 к значению в другом хешмепе, ключомв которым и будет имя. Далее проходите по новому хешмепу и если значение у него > 1 то из старого удаляете элементы со значением равным текущему ключу.

Два варианта.
1. Лобовой. Двойной цикл, сравнивать каждый с каждым, если равны - один удалять.
2. Переместить все в Set, он автоматически удалит дубликаты, переместить обратно.

А вам нужно удалить всех людей, или одного оставить?
Во втором случае накапливаете множество имён, и если у очередного человека имя принадлежит множеству, его удаляете. Если не принадлежит - добавляете в множество имён.
Если надо удалить всех Иванов:
- заводите два множества: имена, которые встретились, и имена, которые встретились более одного раза.
- в цикле по таблице: если очередного имени в первом множестве нет, добавляете его туда, а если есть - добавляете во второе множество.
- удаляете из таблицы всех людей, имена которых есть во втором множестве.

Я похожую делал недавно на chekio , на питоне.... но там сразу был лист сетов и из него нужно было удалить данный сет. Множества (set) вобще удобная штука, для некоторых задач, в данном случае должно помочь.

public class Main {
  public static Map<String, String> usersMap = new LinkedHashMap<String, String>() {{
        put("Иванов", "Иван");
        put("Пупкин", "Вася");
        put("Коваленко", "Петя");
        put("Лубнов", "Иван");
    }};

    public static void main(String[] args) {
        Set<String> names = new HashSet<String>();
        for (Iterator<Map.Entry<String, String>> iterator = usersMap.entrySet().iterator(); iterator.hasNext(); ) {
            Map.Entry<String, String> next = iterator.next();
            if (names.contains(next.getValue())) {
                iterator.remove();
            } else {
                names.add(next.getValue());
            }
        }
        System.out.println(usersMap);
    }
}

public class ReplaceFromMapTest {
	public static void main(String[] args) {
		if(deleteNamesake(getNames())) {
			System.out.println("люди с одинаковыми именами были удалены из \"списка\".");
		}
	}
	
	public static Map<String, String> getNames() {
		Map<String, String> names = new HashMap<String, String>();
		names.put("Иванов", "Иван");
		names.put("Пупкин", "Вася");
		names.put("Коваленко", "Петя");
		names.put("Лубнов", "Иван");
		return names;
	}
	
	public static boolean deleteNamesake(Map<String, String> names) {
		boolean result = false;
		Collection<String> allFirstNames = names.values();
		Set<String> delNames = new HashSet<String>();
		for(Map.Entry<String, String> p : names.entrySet()) {
			if(Collections.frequency(allFirstNames, p.getValue()) > 1) {
				delNames.add(p.getKey());
			}
		}
		if(delNames.size() > 0) {
			for(String n : delNames) {
				names.remove(n);
				result = true;
			}
		}
		return result;
	}
}

Только я бы не использовал в HashMap фамилии людей в качестве ключей, большая вероятность совпадений.