Как написать программу работающую с сайтом?

Любой подходящий язык - хоть Delphi. Но под каждый сайт придётся писать своё и в случае изменений переписывать.

На счет языков... Тут подойдет любой, так как GUI("кнопочки, поля ввода...") уже даже для PHP есть, хоть это и высшая степень извращениях.
Я бы рассматривал два варианта WPF или Swing/JavaFX. Для первого нужно знать C#, для второго/третьего Java.
Дальше все просто, приложение посылает запрос и распахивает данные по элементам графического интерфейса.
Но судя по вопросу, когда Вы дойдете в обучении до того, что сможете это сделать, поймёте, на сколько задача не правильна и как это все нужно делать.
P.S. Если есть доступ к БД, то лучше работать с БД, а не с сайтом.
P.P.S. Если доступа к БД нету, то такая программа давно есть, называется браузер!

Это либо headless-браузеры (WebBrowser - IE's Trident, WebKit, Phantom.js и т.п.), либо сети (HTTP), подходит любой язык, удобнее всего на C# и Delphi.
Но помимо языка, потребуются навыки реверс-инжиниринга и отладки. По нарастающей:
просмотр кода страницы и текущего кода DOM в браузере;
деобфускация JavaScript;
сниффинг сетевых HTTP-запросов с помощью средств разработчика в браузере и других снифферов, например Fiddler, Wireshark, Charles и т.п. (в основном для сайтов с AJAX, их сейчас все больше);
отладка JavaScript с помощью средств разработчика в браузере.

ИМХО, эта задача довольно простая для программиста, правда требуется аналитическое мышление, но оно должно быть априори, гораздо сложнее строить свою архитектуру, а для изучения достаточно просто не полениться освоить средства отладки и средства для повторения действий - браузеры и HTTP.

Я бы в VisualStudio на C# сделал бы приложение. Быстро и просто, плюс для тех у кого проблемы с запросами, там присутствует конструктор запросов и автоматом создаются функции delete/alter.