crawlers

4e30de90 · Renán Sosa Guillen · 4be13ddf · 4e30de90 · 4e30de90 · 4e30de90
Commit 4e30de90 authored Mar 05, 2018 by Renán Sosa Guillen
7 changed files
--- a/descarga_por_dia/foraneos/diarioCoLatino/diarioCoLatino/__init__.pyc
+++ b/descarga_por_dia/foraneos/diarioCoLatino/diarioCoLatino/__init__.pyc
--- a/descarga_por_dia/foraneos/diarioCoLatino/diarioCoLatino/items.pyc
+++ b/descarga_por_dia/foraneos/diarioCoLatino/diarioCoLatino/items.pyc
--- a/descarga_por_dia/foraneos/diarioCoLatino/diarioCoLatino/pipelines.pyc
+++ b/descarga_por_dia/foraneos/diarioCoLatino/diarioCoLatino/pipelines.pyc
--- a/descarga_por_dia/foraneos/diarioCoLatino/diarioCoLatino/settings.py
+++ b/descarga_por_dia/foraneos/diarioCoLatino/diarioCoLatino/settings.py
@@ -19,7 +19,7 @@ NEWSPIDER_MODULE = 'diarioCoLatino.spiders'
 #USER_AGENT = 'diarioCoLatino (+http://www.yourdomain.com)'

 # Obey robots.txt rules
-ROBOTSTXT_OBEY = True
+# ROBOTSTXT_OBEY = True

 # Configure maximum concurrent requests performed by Scrapy (default: 16)
 #CONCURRENT_REQUESTS = 32

--- a/descarga_por_dia/foraneos/diarioCoLatino/diarioCoLatino/settings.pyc
+++ b/descarga_por_dia/foraneos/diarioCoLatino/diarioCoLatino/settings.pyc
--- a/descarga_por_dia/foraneos/diarioCoLatino/diarioCoLatino/spiders/__init__.pyc
+++ b/descarga_por_dia/foraneos/diarioCoLatino/diarioCoLatino/spiders/__init__.pyc
--- a/descarga_por_dia/foraneos/diarioCoLatino/diarioCoLatino/spiders/noticias.pyc
+++ b/descarga_por_dia/foraneos/diarioCoLatino/diarioCoLatino/spiders/noticias.pyc