Как получить заказы по web scraping и какие навыки улучшить?

Привет, тостер.
Года два назад я задал свой первый вопрос о том, что вообще можно делать на фрилансе, чтобы зарабатывать немножко, буквально на хлеб с маслом.
С тех пор я существенно поднял уровень английского и кое-какие профессиональные навыки, но работы по-прежнему нет.
Поэтому пришла пора задать свой второй дурацкий вопрос на тостере. Если позволите, он будет содержать много маленьких вопросов, которые я выделю курсивом. Читатели могут ответить кто на что может.

Я решил специализироваться на web scraping: заказов много, можно начинать с легких и постепенно расти. Потом можно размещать своих пауков на виртуальных серверах и параллельно разбираться в администрировании. Потом можно сделать сайтик-агрегатор, чтобы разбираться в сайтостроении. Нужно ли говорить, что я застрял на первом шаге.

Есть проблема, знакомая любому новичку, работающему вне коллектива: любая новая задача решается мучительно долго. Когда ты знаешь, что маленький совет может сэкономить много часов или даже дней. Мой первый вопрос: существуют ли какие-то чаты или форумы, где общаются скраперы, где можно задать такие общие вопросы, какие я задаю здесь? Телеграм, слак, скайп, паблики, форумы. Вдруг есть какая-то тусовка.
Я не собираюсь спрашивать, как писать код. На SO я опубликовал всего пару вопросов, остальные ответы нашел сам или написал велосипеды.

Далее. Есть хоть что-нибудь кроме upwork? Есть смысл смотреть на русскоязычные биржи, сайты работ, LinkedIn, дать объявление на авито? На freelancer.com за минуту набирается 10-30 бидов. Думаешь, ладно, подемпингую. Смотришь, среди этих 30 бидов такие умники тоже присутствуют.
На остальных биржах публикуется очень мало работы.
Мне не нравится, что upwork берет 20% - это просто безобразие.
Мне не нравится, что они отобрали у меня лычку Rising Talent после того, как я отказался от интервью, выбрав опцию "нет времени". В то же время, в профиле стояло available. Плевать на эту лычку, это демонстрирует отношение к пользователям. Могли бы на первый раз предупреждение дать: мол, не забывай об индикаторе availability.
Какого черта при поиске работы нет фильтра по репутации заказчика? Когда ищешь фрилансера, можно фильтровать по job success. Еще одна демонстрация отношения биржи к пользователям.
Я не хочу потратить огромное количество усилий на получение хорошей репутации на upwork и быть забаненым. В профиле у меня указан российский адрес, а в интернет, в том числе на upwork, я хожу через впн с иностранным ip. Только сейчас понял, что это может быть проблемой. Это проблема? В User Agreement ничего про это нет. Какая им разница, какой у меня ip? Гуглением о банах такого рода ничего не нашел.

Самое главное: нет заказов.
Могу BeautifulSoup, lxml, Requests, Selenium, Scrapy. Уже получается делать http-реквесты в Scrapy. Делаю долго, но получается. Когда нет времени, беру Selenium.
Еще не разобрался с Pipelines, не пробовал сохранять данные в базу данных, не работал с большими объемами данных. (Быстрый дурацкий вопрос по пути: Нужно ли ставить MySQL и MongoDB на свой Windows или только на виртуальную машину/сервер?)
Я понимаю, что когда разберусь в этом, будут заказы, причем с большими деньгами. Но вообще-то я решил сейчас написать этот пост, когда осознал, что уже полгода ничего не зарабатываю. Несколько копеечных заказов, хорошие отзывы, и это все. Я мог бы уже сейчас кое-что зарабатывать, но ситуация такая:
fdbd174507644f5898c8f336dc62eabb.png
Никто даже не смотрит. Мой ценник слишком большой? Не хочу работать несколько часов за 10 баксов. Хоть они бы и не помешали, это уже совсем позорно. Ценник слишком маленький? Попробую увеличить для эксперимента. Сейчас стоит $8/hr, для работ с фиксированной оплатой исхожу из него.
Сейчас поставил фотку посимпатичнее, обнаружил, что уже могу написать более интересное непридуманное overview и сделал это, entry level сменил на intermediate.

Как и на какие работы откликаться?
Меня нанимали, когда я просто писал "Hello, I can help you" - по совету кого-то с тостера.
Меня не нанимают, когда у меня есть что написать что-то реальное по поводу работы.
Когда человек публикует очень короткое описание, я пишу: готов, могу, давай пиши детали. А он не отвечает. Что-то изменится если я буду копи-пастить cover letter с какой-нибудь водой?

И ближе к моей специализации: никогда даже не рассматривал web research работы. Стоит ли обратить внимание? Боюсь, если соберешь информацию из нескольких источников, потратишь время, чтобы их все распарсить, клиент скажет: у меня базе уже это все есть, давай что-нибудь другое.

Благодарю за внимание.

UPD: Вы все супер.
Поднял ставку. Этой ночью два интервью, из них одно даже без моего бида: чувак меня сам нашел. Но здесь и ключевые слова в профиле сыграли роль.
Прогресс на лицо.
  • Вопрос задан
  • 6176 просмотров
Пригласить эксперта
Ответы на вопрос 7
@WapGeaR
Программист
Я бы не доверился человеку со ставкой 8$/час, попробуйте хотя бы 15
Ответ написан
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
Для скраппинга есть несколько требований:
1. скорость написания устойчивых к вёрстке правил
2. автопроверка таких правил
3. мультипоточность
4. архитекура скраппера под условия хостинга
Напишите любой свой аггрегатор или сервис-аналитику, и покажите, что Вы действительно можете создавать скраппер-системы: сразу люди к Вам и потянутся.
Ответ написан
Tantacula
@Tantacula
Ларавельщик, витающий в небесах.
Вам не кажется, что у вас слишком много претензий к апворку? "Мне не нравится одно", "мне не нравится другое". Это не вы ставите условия апворку, это он ставит условия тысячам таких как вы.

Я решил специализироваться на web scraping: заказов много, можно начинать с легких и постепенно расти. Потом можно размещать своих пауков на виртуальных серверах и параллельно разбираться в администрировании. Потом можно сделать сайтик-агрегатор, чтобы разбираться в сайтостроении. Нужно ли говорить, что я застрял на первом шаге.


При этом те тысячи не будут спотыкаться на написании парсеров. Чем вам не нравится ставка 20%? Удвойте ваш ценник и будете зарабатывать больше, заглядывать в карман биржи у вас нет никакого права, они создали бизнес и они на нем зарабатывают. При этом они позволяют зарабатывать вам вместе с ними. Не нравятся их условия - ищите клиентов в других местах, вот только будет ли им достаточно ваших компетенций, если вы в своем пути застряли на написании парсера? Еще и демпинговать при ставке 8 баксов - шикарно.
Ответ написан
@rebovetew
Идея повышения заработка проста:
Задачи по скрапингу - очень часто простые типовые.
Берёшь такую задачу - добавляешь пару строк в свое уже готовое типовое решение, и продаешь клиенту.
Но квалификацию это не добавляет.
Однако экономически очень приятно.
Если ты уверен, что можешь решить задачу - твой ценник должен быть не меньше 20 долларов в час.
При этом час ты можешь увеличивать за счет того, что будешь вылизывать своё уже готовое решение.

Но для роста квалификации задача должна быть не типовая.
Однако реализовывать ты будешь её крайне долго.
Экономически это не выгодно.
Я бы не ставил менее 15 долларов за час.
Но тут в часу придется поработать побольше.

Разумеется я не говорю о ручном скрапинге.
Говорю об автоматизированном. И умении с этой автоматизацией работать.
Ответ написан
opium
@opium
Просто люблю качественно работать
Этот чат называется поиск в гугл
На upworkest.ru/spisok-frilans-birzh есть список почти всех бирж
Наверно это идиотизм ожидать что работа найдет вас сама когда вы ничего не умеете , ставьте по двадцать биржа в день первым и вы не будете знать когда же вам делать работу
Ответ написан
miraage
@miraage
Lead Software Engineer
Вы ищете скраппинг вакансии, но не можете сами написать такой парсер вакансий по разным биржам?
Подозрительно.
Ответ написан
@vl12
Когда человек публикует очень короткое описание, я пишу: готов, могу, давай пиши детали. А он не отвечает.
При коротком мутном описании, смотри есть ли у заказчика опыт и верификация на бирже. Он может сам не понимать чего хочет, ответить непомерными запросами за копейки.
Возможно не стоит тратить время на такие заявки.

никогда даже не рассматривал web research работы. Стоит ли обратить внимание?

Там заявки для интернета на английскогом языке, или на испанском, индийском и т.д. А у вас опыт в рунете.
Также навыки рус. писателя на англ. бирже не нужны.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы