Предисловие:

Реализовал получение токенов "guest_id", "Bearer", без селениума, так же изменился способ получения из json информацию о твитах, поэтому elonmusk.py - НЕ РАБОТАЕТ(потом могу исправить), а могу и удалить его =) Поэтому используем twitter.py, создал отельный cfg.json, куда токены каждый раз перезаписываются,изначально в cfg нет этих токенов, они парсятся непосредственно в коде и уже потом записываются в файл, если что могу на раз-два вернуть конфиг назад в код, просто решил разгрузить его таким образом. Старался соблюдать принцип DRY,но из-за спешки и неудобства плохо получилось)) И в целом, я считаю, что можно сделать лучше, если есть время. Протестировал раз 10 или больше, всё работает отлично

Парсер данных через селениум на сайте: https://www.nseindia.com/

Использование:

- pip install -r requirements.txt - python nseindia.py

Настройки:

- options.headless = True - безоконный режим

P.s По умолчанию стоит False т.к в безоконном режиме не грузит страницу. Используются рандомные юзер-агенты

Парсинг последних N твитов без использования selenium

Использование:

- pip install -r requirements.txt - python twitter.py

Настройки:

- t = ScrapperTwitter(username='', quantity=10, proxy=None) username - чьи посты нужно получить | quantity - сколько постов нужно получить | proxy - прокси

Используются так же рандомные юзер-агенты, токены теперь получаем через requests

Парсинг последних N твитов с использованием selenium

Использование:

- pip install -r requirements.txt - python elonmusk.py

Настройки:

- run = ScraperElon(username='', quantity=10, proxy=None) username - чьи посты нужно получить | quantity - сколько постов нужно получить | proxy - прокси

Используются так же рандомные юзер-агенты, токен теперь получаем через selenium. Так же в selenium нужно добавить прокси