#!/bin/bash


for y in `seq 2016 2016`;
do
	if [ ! -d $y ]; then
	  mkdir -p $y;
	fi
	cd $y
	for m in $(seq -f "%02g" 1 12)
	do
		if [ $m -eq 1 -o $m -eq 3 -o $m -eq 5 -o $m -eq 7 -o $m -eq 8 -o $m -eq 10 -o $m -eq 12 ]; then
			for d in $(seq -f "%02g" 1 31)
			do
				scrapy crawl noticias -t json -o $y-$m-$d.json -a year=$y -a month=$m -a day=$d
				[ -s $y-$m-$d.json ] || rm $y-$m-$d.json  # revisa si el archivo contiene informacion, sino lo elimina
			done
		fi
		if [ $m -eq 4 -o $m -eq 6 -o $m -eq 9 -o $m -eq 11 ]; then
			for d in $(seq -f "%02g" 1 30)
			do
				scrapy crawl noticias -t json -o $y-$m-$d.json -a year=$y -a month=$m -a day=$d
				[ -s $y-$m-$d.json ] || rm $y-$m-$d.json
			done
		fi
		if [ $m -eq 2 ]; then
			for d in $(seq -f "%02g" 1 29)
			do
				scrapy crawl noticias -t json -o $y-$m-$d.json -a year=$y -a month=$m -a day=$d
				[ -s $y-$m-$d.json ] || rm $y-$m-$d.json
			done
		fi
	done
	cd .. 
done