Jailpy
@Jailpy
I`m just wasting my brain...

Парсинг сайта с использованием Selenium(PhantomJS)?

Всем шалом.Дело такое, решил спарсить ссылки на Live матчи с сайта https://gg11.bet/ru/betting/?matchStatuses=LIVE. Подсказали, что для работы в фоновом режиме можно использовать Selenium(PhantomJS). Но проблема вот в чем:делаю скриншот браузера, а он показывает, что он не выполняет Java-скрипты и из-за этого ссылки спарсить не получается. Пробовал менять User-Agent - не помогает. Ниже прилагается класс с ботом
class Bot():  #Создаем класс бота
	def __init__(self):
		self.driver = webdriver.PhantomJS(desired_capabilities=dcap, executable_path=dictionary.PHANTOMJS_DIRECTORY) #Создаем драйвер браузера
		self.driver.set_window_size(1024, 768)
		self.navigate()

	def take_screenshot(self):
		self.driver.save_screenshot('сайт.png')

	def navigate(self): #Главная функция по автоматизации бота
		try:
			self.driver.get(dictionary.URL) #Здесь урл
			sleep(5)
			links = self.driver.find_elements_by_xpath(dictionary._XPATH) #Здесь он находит все ссылки
		except:
			self.driver.close() #Если вылезла ошибка - закрывает браузер
		else:
			for link in links: #печатает все ссылки(Links - список)
				print(link.get_attribute("href"))

Я знаю только то, что ничего не знаю.©Сократ
  • Вопрос задан
  • 1423 просмотра
Пригласить эксперта
Ответы на вопрос 1
@Ambrosian
Подсказали, что для работы в фоновом режиме можно использовать Selenium(PhantomJS).


Селениум - это громоздко и избыточно и совершенно бессмысленно. Только ресурсы жрутся.

Нужно SlimerJS или PhantomJS

И да - это программируется на JavaScript

P.S.:
Пишется JavaScript, а не Java-скрипт.
Скрипт на Java - это другое.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы