101
WikiFetcher
WikiFetcher
При написании поискового робота можно легко загрузить слиш-
ком много страниц, что способно нарушить условия обслужи-
вания для сервера, с которого производится загрузка. Помочь
избежать этого призван класс под названием WikiFetcher, вы-
полняющий две функции.
1. Он инкапсулирует код, показанный в предыдущей главе, для
загрузки страниц из «Википедии», парсинга HTML и выбора
текста контента.
2. Он измеряет время между запросами и при отсутствии до-
статочного времени между запросами «спит» до окончания
разумного интервала. По умолчанию интервал составляет
одну секунду.
Определение WikiFetcher таково:
public class WikiFetcher {
private long lastRequestTime = -1;
private long minInterval = 1000;
/**
* Выбирает и анализирует ...