Как найти совпадения координат и удалить их?

Есть массив X[200,220,240,260] и массив Y[200,200,200,200]
И есть массив X2[0-480] с шагом 20 и массив Y2[0-320]
Мне нужно из второго массива удалить все координаты которые совпали с Х и Y, но так чтоб именно парно это было,
тоесть если в первом X[220]Y[200] значит удалить X2[220] Y2[200]
по отдельности удалить все совпавшие X и Y нельзя это координаты всё таки
Попробовал чтото вроде этого но этот цикл удаляет только одно совпадение

for(let x = 0; x < coords[0].length; x++){           //coords[0] это X2 массив 
			if(that.arrX.indexOf(coords[0][x]) != -1){               //arrX это X
				for(let y = 0; y <= coords[1].length; y++){          //coords[1] это Y2 массив
					if(that.arrY.indexOf(coords[0][y]) != -1){  // arrY это Y
						coords[0].splice(x,1);
						coords[1].splice(y,1);
					}
				}			
			}
		}