Парсер Я.Дзен на Python
Необходимо написать парсер Я.Дзен на Python.
Считываем запросы из БД Mysql, помещаем все в массив.
По каждому запросу парсим Дзен.
Урл для парсинга:
https://dzen.ru/search?query=232279588
Получаем:
- ссылку на пост (берем видео и ролики, статьи и посты)
- описание
- ссылку на автора
- имя автора
- количество подписчиков
- количество лайков
- дату публикации
Проверяем, что в описании содержится наш ключ (в данном случае 232279588).
Дзен много подсовывает лишнего, поэтмоу необходима проверка в описании.
Если наш ключ есть в описании, сохраням все в БД MySql.
Скрипт должен работать в многопотоке и быстро обрабатывать большое количество запросов (десятки тыс. в день).
Необходимо парсить post/get запросами.
Дзен отдает по API посты: https://dzen.ru/api/web/v1/zen-search?query=%D0%BA%D0%BE%D1%82%D1%8B&page_num=2
Но нужно деталеьнее изучить трафик и посмотреть какие еще страницы есть.
Считываем запросы из БД Mysql, помещаем все в массив.
По каждому запросу парсим Дзен.
Урл для парсинга:
https://dzen.ru/search?query=232279588
Получаем:
- ссылку на пост (берем видео и ролики, статьи и посты)
- описание
- ссылку на автора
- имя автора
- количество подписчиков
- количество лайков
- дату публикации
Проверяем, что в описании содержится наш ключ (в данном случае 232279588).
Дзен много подсовывает лишнего, поэтмоу необходима проверка в описании.
Если наш ключ есть в описании, сохраням все в БД MySql.
Скрипт должен работать в многопотоке и быстро обрабатывать большое количество запросов (десятки тыс. в день).
Необходимо парсить post/get запросами.
Дзен отдает по API посты: https://dzen.ru/api/web/v1/zen-search?query=%D0%BA%D0%BE%D1%82%D1%8B&page_num=2
Но нужно деталеьнее изучить трафик и посмотреть какие еще страницы есть.
Предложения фрилансеров (0)
Предложений нет
Оставлять свои предложения по проекту могут только зарегистрированные пользователи с аккаунтом специалиста.
Зарегистрируйтесь или войдите на сайт под своим именем.
Зарегистрируйтесь или войдите на сайт под своим именем.
