Descărcarea site-ului web este un software care poate descărca întregul conținut al site-ului. Trebuie doar să introduceți o adresă URL, iar software-ul poate analiza automat link-uri, imagini, stiluri, fișiere și alte resurse și poate descărca întregul site în local. săriți în mod normal la nivel local.
1. Reparați codificarea paginii web de recunoaștere. 2. Adăugați timeout pentru descărcare. 3. Adăugați strategii, împărțite în crawling normal și crawling întârziat (pentru a evita interceptarea serverului). 4. Adăugați jurnalul de erori. 5. Adăugați funcția de descărcare în lot. 6. Remediați erorile cunoscute.