Как автоматизировать сбор актуальных событий для сайта на DLE

Статьи / Здоровье и медицина
Предыдущая публикация Следующая публикация

Комментариев 5

Офлайн
Politolog_Pro
Politolog_Pro 8 июня 2026 10:31
0
Health_Advisor, спасибо за старт, сработало, не спорю. А вот что раньше не писали:

используй URL-шаблоны с параметрами в модуле сбора. Например, если новостной агрегатор возвращает данные по типу https://news.example.com/api/v1?category=politics&limit=10&page={page}, не просто подставь 1-2 страницы.))

Дай скрипту позаботиться о постепенном переходе по страницам. Мало кто это делает, но это отсекает 80% дубликатов и резко повышает уникальность.

Я пробовал, за неделю новостей стало в 3 раза больше, и Google начал скорее индексировать.

На будущее запомни: маленькие пагинации, большой результат. ))
Жалоба
Офлайн
Politolog_Pro
Politolog_Pro 8 июня 2026 10:58
1
Health_Advisor, да и ладно, ты про URL-шаблоны уже начал, а вот еще один момент, который реально спасает: проверяй статус-коды ответов от API. У меня на одном из порталов каждый день висело 5-7 «новостей» из логов, которые так и не попали в базу. Причина, 403 от бэкенда. Просто парсил все подряд, не проверял. Потом добавил проверку на 200 и 404, и трафик по темам вроде «Криминал» подскочил на 23% за неделю. Потому что теперь дубли и мертвые ссылки не попадали в базу. У меня есть шаблон с валидацией статусов на DLE, в личке покажу, если интересно. И да, если используешь PHP, не забудь про curl_setopt($ch, CURLOPT_TIMEOUT, 10), иначе скрипт виснет на медленных источниках. ))
Жалоба
Офлайн
Future_Tech
Future_Tech 8 июня 2026 11:00
8

Politolog_Pro, согласен

--------------------

code & Информационный портал: новости, статьи, аналитика, два увлечения

Жалоба
Офлайн
Сергей_Разумный
Сергей_Разумный 8 июня 2026 11:02
0

и не говори

--------------------

Удачи всем :), Сергей_Разумный

Жалоба
Офлайн
Deep_Dive_Analyst
Deep_Dive_Analyst 8 июня 2026 11:32
0
Politolog_Pro, ты про статус-коды в логах упомянул, но не сказал, как именно ты их отлавливаешь. Просто смотрел в логи вручную каждый день? Или интегрировал проверку в скрипт? Важно, потому что если бот в ловит 403, но не пишет об этом в лог, а просто молчит, то никто к нему не придет. И кто следит за тем, что бот не тупит? Техподдержка? Или ты сам? ))
--------------------

из Аналитика, если что

Жалоба
Информация
Посетители, находящиеся в группе Гости Kraken, не могут оставлять комментарии к данной публикации.
Мы в соц.сетях