upload 09

09-TextProcessing.ipynb

@@ -4,8 +4,30 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "# 3. Herramientas\n",
-    "## 3.1 Django (Instalacion, apps y vistas)"
+    "# 9. Procesamiento de Lenguaje Natural\n",
+    "\n",
+    "\n",
+    "## Contenido de la Presentación\n",
+    "\n",
+    "https://docs.google.com/presentation/d/1TYSbrhAfTvW8uuK1_nZiuoqgyOCkHxXrXCz9bVVP39Y/edit?usp=sharing\n",
+    "\n",
+    "\n",
+    "#### 9.1 Presentación de la Línea de investigación:\n",
+    "    - Procesamiento de Lenguaje Natural\n",
+    "    - Minería de Textos y Reconocimiento de patrones\n",
+    "\n",
+    "\n",
+    "#### 9.2  Presentación de dos estudios de caso:\n",
+    "    - Recuperación, procesamiento y clasificación de tuits\n",
+    "    - Reconocimiento de Entidades Nombradas Georeferenciables\n",
+    "    \n",
+    "\n",
+    "#### 9.3  Instrumentos metodológicos:\n",
+    "    - Datos y corpus lingüísticos como Instrumentos metodológicos de la Minería de Textos\n",
+    "    - Técnicas de recolección de datos\n",
+    "        - Repositorios\n",
+    "\t    - Crawling\n",
+    "        - Crowdsourcing\n"
    ]
   },
   {
@@ -19,7 +41,109 @@
    "cell_type": "markdown",
    "metadata": {},
    "source": [
-    "## 3.2 Django (Templates y HTML5)"
+    "# Ejemplos "
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Repositorios\n",
+    "\n",
+    "### 20 Newsgroups\n",
+    "\n",
+    "https://archive.ics.uci.edu/ml/machine-learning-databases/20newsgroups-mld/20newsgroups.data.html\n",
+    "\n",
+    "https://archive.ics.uci.edu/ml/machine-learning-databases/20newsgroups-mld/mini_newsgroups.tar.gz\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Crowdsourcing\n",
+    "\n",
+    "### Entidades Nombradas Georeferenciables\n",
+    "\n",
+    "http://ner.geoint.mx/\n",
+    "\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "# Ejercicios"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Repositorios\n",
+    "\n",
+    "1. Generar una estructura de archivos y directorios similar a 20 Newsgroups pero con documentos en español y al menos cinco categorías\n",
+    "\n",
+    "2. Elejir y compilar al menos 100 documentos de cada categoría que serán utilizados en el proyecto final\n",
+    "\n",
+    "3. Subir el dataset generado al repositorio\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Crowdsourcing\n",
+    "\n",
+    "1. Ingrese a la plataforma de anotación de misoginia (Crowdsourcing)\n",
+    "\n",
+    "2. Haga el tutorial de la plataforma\n",
+    "\n",
+    "3. Realice 100 anotaciones de tuits siguiendo las instrucciones\n",
+    "\n",
+    "http://etiquetamisoginia.geoint.mx/\n"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Crawling\n",
+    "\n",
+    "REMERI es la Red Mexicana de Repositorios Institucionales\n",
+    "\n",
+    "El objetivo general de REMERI es integrar una red federada de Repositorios de acceso abierto de las Instituciones Mexicanas de Educación Superior (IES), con la finalidad de integrar, difundir, preservar y dar visibilidad a la producción científica, académica y documental del país.\n",
+    "\n",
+    "1. Ingrese a la plataforma REMERI y realice una búsqueda por palabra, por ejemplo: \"nopal\"\n",
+    "\n",
+    "http://www.remeri.org.mx/portal/REMERI.jsp?busca=nopal\n",
+    "\n",
+    "\n",
+    "2. Defina la Clase CrawlerRemeri() la cual tendra un método search(query, n=5) que realiza la búsqueda de la cadena query en REMERI y descarga n documentos resultantes de la búsqueda.\n",
+    "\n",
+    "3. modifique el método método search(query, n=5) para que cuando n sea negativo, descargue todos, los documentos resultantes de la búsqueda en REMERI\n",
+    "\n",
+    "\n",
+    "\n",
+    "#### Observaciones\n",
+    "\n",
+    "* utilice la biblioteca de python Requests para realizar las peticiones\n",
+    "* Sea cuidadoso ya que el sitio podría banear su IP en caso de que detecte un ataque"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "metadata": {},
+   "source": [
+    "## Referencias \n",
+    "\n",
+    "Pérez C. et al. (2016). Recuperación, procesamiento y clasificación de tuits para visualizar estructuras de interacción. Research in Computing Science Journal, 124 (1), 23-37. http://www.rcs.cic.ipn.mx/2016_124/Recuperacion_%20procesamiento%20y%20clasificacion%20de%20tuits%20para%20visualizar%20estructuras%20de%20interaccion.pdf\n",
+    "\n",
+    "\n",
+    "T. Joachims (1996). A probabilistic analysis of the Rocchio algorithm with TFIDF for text categorization, Computer Science Technical Report CMU-CS-96-118. Carnegie Mellon University.\n",
+    "http://rexa.info/paper/7c077ad01b1a7f0605ca075ead0193d4555c2619\n",
+    "\n",
+    "\n"
    ]
   },
   {
@@ -46,7 +170,7 @@
    "name": "python",
    "nbconvert_exporter": "python",
    "pygments_lexer": "ipython3",
-   "version": "3.6.8rc1"
+   "version": "3.7.1"
   }
  },
  "nbformat": 4,