el Universal

spiders/daily/elUniversal/2024-10-01.json

+[
+{"title": "Habrá juego de NFL en España, El Bernabéu del Real Madrid será la sede | El Universal", "date": "2024-02-09T21:47:27.996Z", "topic": ["NFL", "madrid", null], "author": "Javier Maldonado", "text": "Hace unos momentos se acaba de anunciar que para la temporada 2025, España albergará un juego de temporada regular en la NFL. Será la primera vez que que la ciudad de Madrid sea anfitriona de esta liga.\nLee también Previo al Super Bowl, los 49ers entrenan en campo impropio\nLa sede será el Estadio Santiago Bernabéu, perteneciente al Real Madrid.\nPeter O'Reilly, vicepresidente ejecutivo de la NFL, negocios de clubes, eventos de liga e internacionales, hizo el anuncio en conferencia de prensa en el hotel Mandalay Bay, y aseguró que el anuncio es un gran paso para la expansión global de este deporte.\n\"Estamos orgullosos de anunciar, que, en la temporada de 2025, la NFL irá por primera vez a España, en colaboración con el Real Madrid\" comentó O'Reily.\n\"Recibir un partido de NFL es una enorme satisfacción. Es el comienzo de una relación muy larga, esperemos que dure muchos años, tenemos mucho respeto por la NFL\", expresó la leyenda del Madrid, Emilio Butrageño.\nAún no están definidos los equipos, aunque se rumora que los Dolphins de Miami o los Bears de Chicago podrían jugar como locales.\nVIDEO: Aquí puedes ver en vivo el Super Bowl LVIII entre los 49ers de San Francisco y los Chiefs de Kansas City\nEspaña se une a la lista de naciones de expansión global de la NFL, entre ellos se encuentra Londres, Alemania, Brasil y México, aunque tras la remodelación del Estadio Azteca, no ha habido juegos en tierras aztecas desde 2022.\nLee también Allegretti, con el gran reto de custodiar a Patrick Mahomes\n", "url": "https://www.eluniversal.com.mx/deportes/habra-juego-de-nfl-en-espana-el-bernabeu-del-real-madrid-sera-la-sede/"},
+{"title": "Yalitza Aparicio lleva sudadera y chamarra de mezclilla con estilo", "date": "2024-02-09T22:21:15.002Z", "topic": ["Yalitza Aparicio", "Mezclilla", "Moda", "chamarra", null], "author": "Marisol Carmona", "text": "La actriz mexicana Yalitza Aparicio no solo comparte imágenes en sus redes sociales luciendo sus atuendos más elegantes. Algunos de sus outfits casuales también suelen encontrar espacio en sus publicaciones. Recientemente, mostró en sus historias de Instagram una foto donde luce un total look de mezclilla, en el que lleva una chamarra denim con una sudadera; combinación en tendencia que tomará mucha fuerza durante la transición hacia la primavera.\nYalitza Aparicio compartió imágenes portando un conjunto conformado por una falda y una chamarra de mezclilla de la marca Levi's. Su outfit juega con las proporciones. Luce una falda corta y una chamarra oversize creando una armonía perfecta. En la chamarra denim destaca un original y creativo corazón sonriente a la altura del hombro.\nEn cuanto llega la primavera, las minifaldas de mezclilla se convierten en las prendas favoritas de las fashionistas como Yalitza. Además de ser muy femeninas, son cómodas y se pueden combinar de muchas maneras. La chamarra de mezclilla luce también muy bien con otras prendas como playeras y vestidos, además, es una pieza atemporal que se puede llevar en cualquier época del año.\nAunque la chamarra —no solo la de mezclilla— y la sudadera hacen una dupla increíble que tiene tiempo destacando en el street style, especialmente en las temporadas en las que se desea vestir en capas (el famoso layering), la firma Miu Miu ha impulsando esta tendencia en los últimos meses.\nLeer también: Ideas de maquillajes lindos para celebrar el 14 de febrero\nLa sudadera es una de las prendas más usadas en el mundo. Se compone de una estructura suave y abrigadora. Brinda un aire desenfado y casual a quien la porta, la de Yalitzia Aparicio es de color lila, un tono en tendencia para esta primavera 2024.\nExisten diferentes tipos de sudaderas: con capucha (hoodie), con cierre completo o con bolsillos. Las más combinables son aquellas en colores neutros como blanco, negro o gris. Sin embargo, las coloridas son perfectas para salir de la rutina y para llenar las calles con estilo urbano.\nAparicio complementó su outfit con bolsa y tenis blancos. Pero si quieres crear un look más sofisticado con tu chamarra y falda denim, podrías apostar por unos zapatos de tacón.\nAl igual que Yalitza, te sugerimos darle personalidad a tu chamarra con parches o estampados, lograrás una prenda única. Porta tu chamarra de mezclilla con una sudadera lila o cualquier tono pastel, ya que es perfecto para darle un toque juvenil y fresco a tu outfit. Además, te sentirás cómoda en todo momento.\nAhora que ya viste este outfit de Yalitza Aparicio, ¿te sumarías a esta tendencia?\nLeer también: Guía de las mejores cremas para la cara en México 2024\nRecibe todos los viernes Hello Weekend, nuestro newsletter con lo último en gastronomía, viajes, tecnología, autos, moda y belleza. Suscríbete aquí: https://www.eluniversal.com.mx/newsletters\n\n", "url": "https://www.eluniversal.com.mx/de-ultima/yalitza-aparicio-lleva-sudadera-y-chamarra-de-mezclilla-con-estilo/"},
+{"title": "Super Bowl LVIII: ¿Cuánto ha dejado Taylor Swift a la NFL? | El Universal", "date": "2024-02-09T21:47:53.514Z", "topic": ["Super Bowl", "NFL", "Taylor Swift", null], "author": "Javier Maldonado", "text": "Las Vegas.— Si la NFL pudiera, le daría el premio a la Jugadora Más Valiosa de la temporada a Taylor Swift, y aunque le guste o no a los fanáticos del futbol americano, los swifties se han adentrado en el mundo de este deporte.\nSólo bastó que Taylor apareciera en el palco del estadio Arrowhead, apoyando a Travis Kelce —ala cerrada de los Chiefs de Kansas City—, para convertirse en noticia mundial... O, como diría en su canción Mastermind: “Puse las bases, y las fichas de dominó cayeron”.\nLee también Las Chivas ya tienen un plan para jugar con futbolistas no nacidos en México\nLa presencia de la Mastermind ha significado para la NFL y los Chiefs ganancias de hasta 331.5 millones de dólares, de acuerdo con datos de Apex Marketing Group, empresa líder en servicios de consultoría en publicidad y marca.\nVIDEO: Aquí puedes ver en vivo el Super Bowl LVIII entre los 49ers de San Francisco y los Chiefs de Kansas City\nLos jerseys con el dorsal de Kelce (87) aumentaron sus ventas en un 400 por ciento, colocándose en el Top 5 de camisetas solicitadas y superando incluso a Patrick Mahomes, quien es la máxima figura de los Chiefs: “¿Y si te confieso que nada de eso fue accidental?”.\nLee también Toto' Salvio y su molestia por jugar al medio día con Pumas: \"Es lo peor que hay\"\nLa NFL identificó un área de oportunidad para captar más personas que no sean estrictamente amantes de los deportes, fórmula que sólo aplicaban para el show de medio tiempo en el Super Bowl.\nLa intérprete de Blank Space viajará desde Japón a Las Vegas, para apoyar a su pareja en el partido más importante del año. ¿Será el amuleto que le haga conseguir el bicampeonato a los Chiefs?\nLee también Liga MX: ¿A qué hora y dónde ver los partidos de este viernes 9 de febrero por el Clausura 2024?\n", "url": "https://www.eluniversal.com.mx/deportes/super-bowl-lviii-cuanto-ha-dejado-taylor-swift-a-la-nfl/"},
+{"title": "5 ideas de outfits para lucir fabulosa en San Valentín", "date": "2024-02-09T23:42:39.974Z", "topic": ["San Valentín", "Moda", "14 de febrero", null], "author": "Marisol Carmona", "text": "¿Ya sabes qué vas a lucir el día más romántico del año? Si planeas salir a tomar una copa a un restaurante lujoso, ir al cine o caminar a un museo, no te preocupes, aquí te ayudamos a encontrar el outfit perfecto para San Valentín. Los colores rojo y rosa predominan, y se pueden llevar en combinaciones de diferentes estilos este 14 de febrero.\nPara una cena memorable, puedes apostar por un atuendo elegante y romántico. Un vestido rojo es infalible para lograr un outfit de diez. Después de todo, es el color del amor y la sensualidad. El largo juega un papel muy importante para conservar la elegancia. Aunque si usas un vestido corto, puedes acompañarlo con unas medias de corazones. Las zapatillas pueden ser rojas o negras.\nLas faldas son tan imprescindibles en tu guardarropa como unos jeans. Ya sea que tengas pareja o que pienses celebrar el día con tus amigas, puedes salir a tomar una copa de vino utilizando una falda midi plisada en color negro y una blusa roja para unirte al estilo de la fecha. Acompáñala con un par de tacones o botines altos.\nLeer también: Las codiciadas botas hasta los muslos de Adela Micha\nEl Día de San Valentín siempre es increíble para llevar prendas en rojo y rosa. Hay muchas combinaciones, no tengas miedo de mezclar texturas y patrones. Lucirás increíble con un suéter rosa con corazones rojos, que puedes llevar con un pantalón rojo o una minifalda rosa o roja. ¡Será las más dulce del lugar!\nLos vestidos florales son perfectos para la primavera, pero también para que te sientas más linda que nunca este día de San Valentín. Puedes llevar tu vestido con unos tacones, incluso con tenis si van más con tu estilo. Luce joyas o accesorios románticos. Pueden ser moños, flores o corazones.\nEl encaje crea un look romántico al instante. Además brinda un toque elegante y sofisticado. Es la opción perfecta para este 14 de febrero si tienes un compromiso formal. Si eliges un vestido en tonos como los de la imagen, puedes llevar zapatos en tono nude. Luce accesorios minimalistas y delicados. Si no quieres recurrir a un vestido, puedes probar con una bonita blusa de encaje, con olanes o moño, mantendrás un estilo romántico.\nAhora que ya conoces estos outfits para San Valentín, ¿ya sabes cuál es tu favorito?\nLeer también: Guía de las mejores cremas para la cara en México 2024\nRecibe todos los viernes Hello Weekend, nuestro newsletter con lo último en gastronomía, viajes, tecnología, autos, moda y belleza. Suscríbete aquí: https://www.eluniversal.com.mx/newsletters\n", "url": "https://www.eluniversal.com.mx/de-ultima/5-ideas-de-outfits-para-lucir-fabulosa-en-san-valentin/"}
+]
\ No newline at end of file

spiders/daily/elUniversal/elUniversal/items.py

+# Define here the models for your scraped items
+#
+# See documentation in:
+# https://docs.scrapy.org/en/latest/topics/items.html
+
+import scrapy
+
+
+class EluniversalItem(scrapy.Item):
+	# define the fields for your item here like:
+	# name = scrapy.Field()
+	date = scrapy.Field()
+	title = scrapy.Field()
+	text = scrapy.Field()
+	location = scrapy.Field()
+	author = scrapy.Field()
+	topic = scrapy.Field()
+	url = scrapy.Field()

spiders/daily/elUniversal/elUniversal/middlewares.py

+# Define here the models for your spider middleware
+#
+# See documentation in:
+# https://docs.scrapy.org/en/latest/topics/spider-middleware.html
+
+from scrapy import signals
+
+# useful for handling different item types with a single interface
+from itemadapter import is_item, ItemAdapter
+
+
+class EluniversalSpiderMiddleware:
+    # Not all methods need to be defined. If a method is not defined,
+    # scrapy acts as if the spider middleware does not modify the
+    # passed objects.
+
+    @classmethod
+    def from_crawler(cls, crawler):
+        # This method is used by Scrapy to create your spiders.
+        s = cls()
+        crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)
+        return s
+
+    def process_spider_input(self, response, spider):
+        # Called for each response that goes through the spider
+        # middleware and into the spider.
+
+        # Should return None or raise an exception.
+        return None
+
+    def process_spider_output(self, response, result, spider):
+        # Called with the results returned from the Spider, after
+        # it has processed the response.
+
+        # Must return an iterable of Request, or item objects.
+        for i in result:
+            yield i
+
+    def process_spider_exception(self, response, exception, spider):
+        # Called when a spider or process_spider_input() method
+        # (from other spider middleware) raises an exception.
+
+        # Should return either None or an iterable of Request or item objects.
+        pass
+
+    def process_start_requests(self, start_requests, spider):
+        # Called with the start requests of the spider, and works
+        # similarly to the process_spider_output() method, except
+        # that it doesn’t have a response associated.
+
+        # Must return only requests (not items).
+        for r in start_requests:
+            yield r
+
+    def spider_opened(self, spider):
+        spider.logger.info('Spider opened: %s' % spider.name)
+
+
+class EluniversalDownloaderMiddleware:
+    # Not all methods need to be defined. If a method is not defined,
+    # scrapy acts as if the downloader middleware does not modify the
+    # passed objects.
+
+    @classmethod
+    def from_crawler(cls, crawler):
+        # This method is used by Scrapy to create your spiders.
+        s = cls()
+        crawler.signals.connect(s.spider_opened, signal=signals.spider_opened)
+        return s
+
+    def process_request(self, request, spider):
+        # Called for each request that goes through the downloader
+        # middleware.
+
+        # Must either:
+        # - return None: continue processing this request
+        # - or return a Response object
+        # - or return a Request object
+        # - or raise IgnoreRequest: process_exception() methods of
+        #   installed downloader middleware will be called
+        return None
+
+    def process_response(self, request, response, spider):
+        # Called with the response returned from the downloader.
+
+        # Must either;
+        # - return a Response object
+        # - return a Request object
+        # - or raise IgnoreRequest
+        return response
+
+    def process_exception(self, request, exception, spider):
+        # Called when a download handler or a process_request()
+        # (from other downloader middleware) raises an exception.
+
+        # Must either:
+        # - return None: continue processing this exception
+        # - return a Response object: stops process_exception() chain
+        # - return a Request object: stops process_exception() chain
+        pass
+
+    def spider_opened(self, spider):
+        spider.logger.info('Spider opened: %s' % spider.name)

spiders/daily/elUniversal/elUniversal/pipelines.py

+# Define your item pipelines here
+#
+# Don't forget to add your pipeline to the ITEM_PIPELINES setting
+# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html
+
+
+# useful for handling different item types with a single interface
+from itemadapter import ItemAdapter
+
+
+class EluniversalPipeline:
+    def process_item(self, item, spider):
+        return item

spiders/daily/elUniversal/elUniversal/settings.py

+# Scrapy settings for elUniversal project
+#
+# For simplicity, this file contains only settings considered important or
+# commonly used. You can find more settings consulting the documentation:
+#
+#     https://docs.scrapy.org/en/latest/topics/settings.html
+#     https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
+#     https://docs.scrapy.org/en/latest/topics/spider-middleware.html
+
+BOT_NAME = 'elUniversal'
+
+SPIDER_MODULES = ['elUniversal.spiders']
+NEWSPIDER_MODULE = 'elUniversal.spiders'
+
+FEED_EXPORT_ENCODING="utf-8"
+# Crawl responsibly by identifying yourself (and your website) on the user-agent
+#USER_AGENT = 'elUniversal (+http://www.yourdomain.com)'
+
+# Obey robots.txt rules
+ROBOTSTXT_OBEY = False
+
+# Configure maximum concurrent requests performed by Scrapy (default: 16)
+#CONCURRENT_REQUESTS = 32
+
+# Configure a delay for requests for the same website (default: 0)
+# See https://docs.scrapy.org/en/latest/topics/settings.html#download-delay
+# See also autothrottle settings and docs
+#DOWNLOAD_DELAY = 3
+# The download delay setting will honor only one of:
+#CONCURRENT_REQUESTS_PER_DOMAIN = 16
+#CONCURRENT_REQUESTS_PER_IP = 16
+
+# Disable cookies (enabled by default)
+#COOKIES_ENABLED = False
+
+# Disable Telnet Console (enabled by default)
+#TELNETCONSOLE_ENABLED = False
+
+# Override the default request headers:
+#DEFAULT_REQUEST_HEADERS = {
+#   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
+#   'Accept-Language': 'en',
+#}
+
+# Enable or disable spider middlewares
+# See https://docs.scrapy.org/en/latest/topics/spider-middleware.html
+#SPIDER_MIDDLEWARES = {
+#    'elUniversal.middlewares.EluniversalSpiderMiddleware': 543,
+#}
+
+# Enable or disable downloader middlewares
+# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
+#DOWNLOADER_MIDDLEWARES = {
+#    'elUniversal.middlewares.EluniversalDownloaderMiddleware': 543,
+#}
+
+# Enable or disable extensions
+# See https://docs.scrapy.org/en/latest/topics/extensions.html
+#EXTENSIONS = {
+#    'scrapy.extensions.telnet.TelnetConsole': None,
+#}
+
+# Configure item pipelines
+# See https://docs.scrapy.org/en/latest/topics/item-pipeline.html
+#ITEM_PIPELINES = {
+#    'elUniversal.pipelines.EluniversalPipeline': 300,
+#}
+
+# Enable and configure the AutoThrottle extension (disabled by default)
+# See https://docs.scrapy.org/en/latest/topics/autothrottle.html
+#AUTOTHROTTLE_ENABLED = True
+# The initial download delay
+#AUTOTHROTTLE_START_DELAY = 5
+# The maximum download delay to be set in case of high latencies
+#AUTOTHROTTLE_MAX_DELAY = 60
+# The average number of requests Scrapy should be sending in parallel to
+# each remote server
+#AUTOTHROTTLE_TARGET_CONCURRENCY = 1.0
+# Enable showing throttling stats for every response received:
+#AUTOTHROTTLE_DEBUG = False
+
+# Enable and configure HTTP caching (disabled by default)
+# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html#httpcache-middleware-settings
+#HTTPCACHE_ENABLED = True
+#HTTPCACHE_EXPIRATION_SECS = 0
+#HTTPCACHE_DIR = 'httpcache'
+#HTTPCACHE_IGNORE_HTTP_CODES = []
+#HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'
+
+# Set settings whose default value is deprecated to a future-proof value
+REQUEST_FINGERPRINTER_IMPLEMENTATION = '2.7'
+TWISTED_REACTOR = 'twisted.internet.asyncioreactor.AsyncioSelectorReactor'

spiders/daily/elUniversal/elUniversal/spiders/__init__.py

+# This package will contain the spiders of your Scrapy project
+#
+# Please refer to the documentation for information on how to create and manage
+# your spiders.

spiders/daily/elUniversal/elUniversal/spiders/noticias.py

+"""
+	Spider for eluniversal.com.mx
+	Author: Mario Chirinos Coluga
+	Usage:scrapy crawl noticias --nolog -O 2017-04-23.json -a year=2017 -a month=4 -a day=23 
+
+"""
+import scrapy
+import re
+from elUniversal.items import EluniversalItem
+import datetime
+from datetime import timedelta
+#-------------------------------------------------------------------------------
+TAG_RE = re.compile(r'<[^>]+>')
+def remove_tags(text):
+	return TAG_RE.sub('', text)
+#-------------------------------------------------------------------------------
+
+
+class NoticiasSpider(scrapy.Spider):
+	name = 'noticias'
+	allowed_domains = ['eluniversal.com.mx','api.queryly.com']
+	start_urls = ['http://eluniversal.com.mx/']
+	#-----------------------------------------------------------------------
+	def start_requests(self):
+		year = getattr(self, "year", None)
+		month = getattr(self, "month", None)
+		day = getattr(self, "day", None)
+		sDate = datetime.datetime(int(year), int(month), int(day))
+		self.date = sDate.strftime("%Y-%m-%d")
+		sd = sDate.strftime("%m/%d/%Y")
+#		ed = (sDate+timedelta(days=1)).strftime("%m/%d/%Y")
+		self.queryURL = 'https://api.queryly.com/json.aspx?queryly_key=000ca78dce0f4c6b&query=*&batchsize=200&daterange='+sd+','+sd
+#		print(self.queryURL)
+		yield scrapy.Request(url=self.queryURL, callback=self.parseJSON)
+	#-----------------------------------------------------------------------
+	def parseJSON(self, response):
+#		print(response.json()['items'][0])
+		for i in response.json()['items']:
+			yield scrapy.Request(url="http://eluniversal.com.mx"+i['link'], callback=self.parse_item)
+	#-----------------------------------------------------------------------
+	def parse_item(self, response):
+#		print(response.url)
+		item = EluniversalItem()
+		text = ''
+		for p in response.xpath('//section/p').extract():
+			tt  = remove_tags(p)+ "\n"
+			text+=tt
+				
+		item['title'] = response.xpath('//meta[@property="og:title"]/@content').extract_first()
+		item['date'] = response.xpath('//meta[@name="fecha_publicacion"]/@content').extract_first()
+		item['topic'] = response.xpath('//div[@class="sc-tags__items"]/a/@data-tags').extract()
+		item['topic'].append(response.xpath('//meta[@name="category"]/@content').extract_first())
+		item['author'] = response.xpath('//span[contains(@class, "sc__author--name")]/text()').extract_first()[0:-2].strip()
+		item['text']=text
+		item['url']= response.xpath('//link[@rel="canonical"]/@href').extract_first()
+		
+		print(item['title'])
+		yield(item)

spiders/daily/elUniversal/scrapy.cfg

+# Automatically created by: scrapy startproject
+#
+# For more information about the [deploy] section see:
+# https://scrapyd.readthedocs.io/en/latest/deploy.html
+
+[settings]
+default = elUniversal.settings
+
+[deploy]
+#url = http://localhost:6800/
+project = elUniversal