Nota: (El Deep-Learning describe un método de aprendizaje automático que utiliza redes neuronales artificiales con numerosas capas intermedias entre la capa de entrada y la capa de salida. Es un método especial de procesamiento de información). Maneras de definir (Deep Learning) Aprendizaje profundo (Deep Learning) es un conjunto de algoritmos de aprendizaje-automático (en inglés, machine-learning) […]
Seguir leyendo
Nota: (Big-Data hace referencia al manejo y análisis masivo de datos, los cuales pueden estar en diferentes formatos o estructuras. Estos datos pueden ponerlos en valor por personas o empresas. Se encuentran con grandes volúmenes de datos, que de ser explotados correctamente son de gran utilidad para organizaciones para conseguir ventajas competitivas respecto a sus […]
Seguir leyendo
Nota: (Big-data es el término que describe los volumen de datos masivos (Macrodatos), que nos inundan masivamente todos los días a las empresa y corporaciones, big data es el analizado para obtener la información que oriente a tomar las mejores decisiones y acciones en los negocios) . Que son los Macrodatos -. Big-data , […]
Seguir leyendo
Nota : (En docker-compose ejecutando docker-compose –help desde el terminal visualizaremos la Información de uso la ayuda para docker-compose). CLI-(Docker-Compose) General y ayuda de las opciones de comando : In: root@juan-Aspire-ES1-512:/# docker-compose –help Nota : con estos comandos podemos definir y ejecutar las aplicaciones de los contenedores. Usage: docker-compose [-f <arg>…] [–profile <name>…] [options] […]
Seguir leyendo
Nota: (Las variables de entorno son variables configurables en los sistemas operativos que a menudo contienen rutas a programas o datos específicos, así como datos y configuraciones específicos que pueden usar varios programas. Por lo general, se trata de cadenas de caracteres) . Variables de Entorno -. Compose admite la declaración de variables de […]
Seguir leyendo
Nota: (Docker Compose configura una sola red para su aplicación de manera predeterminada, agregando cada contenedor para un servicio a la red predeterminada. Los contenedores en una sola red pueden alcanzar y descubrir cualquier otro contenedor en la red). Compose (Networking) -. Compose crea automáticamente una red para la aplicación. La red de su aplicación […]
Seguir leyendo
Nota: (Compose permite crear una aplicación en un contenedor o contenedores independiente de la plataforma. Este diseño es un conjunto de contenedores que funciona compartiendo recursos y las comunicaciones necesarias). Compose-(Modelo de Aplicación) -. Los componentes de una aplicación se llama (Servicios) . Un Servicio es un concepto abstracto implementado en plataformas mediante la […]
Seguir leyendo
Nota: (ponemos a prueba los conceptos clave de Docker Compose mientras se crea una aplicación web de Python la aplicación que usare es Flask y con un contador de visitas en Redis. (Este ejemplo esta basado en el que expone docs.docker). Escenario-Docker-Compose Nota: Flask es un framework minimalista escrito en Python que permite crear aplicaciones […]
Seguir leyendo
Nota: (creación de una images-docker-worker usare como base-python-pip-nano-java:latest d00fbf90b86b para usarla en proyectos de “Apache-Spark-Docker-Compose” ). Spark-Worker Nota: (Lo primero crear la carpeta my-dockerfile donde guardamos nuestros Dockerfile, con nano creamos Spark-worker.Dockerfile y pegamos el testo correspondiente“siempre con mayúscula .Dockerfile” ). In: root@juan-SATELLITE-C55-C-1JM:/# mkdir my-dockerfile In: root@juan-SATELLITE-C55-C-1JM:/# cd my-dockerfile Creamos un archivo dockerfile con nano […]
Seguir leyendo
Nota: (creación de una images-docker-master usare como base-jupyter:latest 04d1d2b17e54 para usarla en proyectos de “Apache-Spark-Docker-Compose” ). Spark-Master Nota: (Lo primero crear la carpeta my-dockerfile donde guardamos nuestros Dockerfile, con nano creamos Spark-Master.Dockerfile y pegamos el testo correspondiente“siempre con mayúscula .Dockerfile” ). In: root@juan-SATELLITE-C55-C-1JM:/# mkdir my-dockerfile In: root@juan-SATELLITE-C55-C-1JM:/# cd my-dockerfile Creamos un archivo dockerfile con nano […]
Seguir leyendo
Nota: (creación de una images-docker que nos sirva como base para otras aplicaciones como apache-spark, juncional para jupyterlab y jupyter-notebook). Images-Base-Jupyter Nota: (Lo primero crear la carpeta my-dockerfile donde guardamos nuestros Dockerfile, con nano creamos jupyter.Dockerfile y pegamos el testo correspondiente“siempre con mayúscula .Dockerfile” ). In: root@juan-SATELLITE-C55-C-1JM:/# mkdir my-dockerfile In: root@juan-SATELLITE-C55-C-1JM:/# cd my-dockerfile Creamos un […]
Seguir leyendo
Nota: La necesidad de tener una computación en paralelo en sistema distribuido en my-portatil sin necesidad de uso de servidores físicos o virtuales para nuestros proyectos y laboratorios, usando en este caso PySpark, tenemos interesantes proyectos en GitHub usaremos uno de ellos en este post. Spark-Standalone-Cluster-Docker Nota: GitHub, es un servicio de alojamiento de Internet […]
Seguir leyendo
Nota: SparkSession se ha convertido de hecho en un punto de entrada a Spark para trabajar con RDD, DataFrame y Dataset, desde Spark-2.0 (SparkContext era punto de entrada antes de salir SparkSession pero sigue usando) . Que es SparkSession -. SparkSession se esta convirtiendo en la puerta de entrada a PySpark para trabajar con RDD […]
Seguir leyendo
Nota: SparkContext esta presente a partir de la versión Spark-1, es el punto de entrada a Spark y PySpark, Crear SparkContext es lo primer que tenemos que hacer para usar RDD , Acumuladores y Variables de difusión en el clúster mediante programación, es el objeto sc es una variable predeterminada disponible en spark-shell y PySpark. […]
Seguir leyendo
Nota: En este post procederemos a la instalación en my-portatil en un entorno virtual de Python-venv de esta forma creamos marco-trabajo-aislado, sencillo de utilizar y evitamos cargar nuestro entorno de trabajo de cosas que usamos puntualmente. En el cual Instalar-Spark-Modo-Standalone con jupyter-notebook. Entorno virtual de Python (VENV) Nota: Crear otro entornos de Python ya […]
Seguir leyendo
Nota: (PyTorch es una biblioteca de aprendizaje automático de código abierto que se especializa en cálculos de tensor, diferenciación automática y aceleración de GPU. PyTorch es una de las bibliotecas de aprendizaje profundo se pone a la altura tanto con Keras como de TensorFlow por ser al paquete de aprendizaje profundo más utilizado). Que […]
Seguir leyendo
Nota: (En Computación y Ciencia de datos, pandas es una biblioteca de software escrita como extensión de Numpy para manipulación y análisis de datos para el lenguaje de programación Python. En particular, ofrece estructuras de datos y operaciones para manipular tablas numéricas y series temporales). Que es Pandas –. Pandas es una biblioteca escrita como […]
Seguir leyendo
Nota:(La libreria Scipy contiene varias cajas herramientas dedicadas para problemas en computación científica sus diferentes submódulos corresponden a diferentes aplicaciones, tales como interpolación, integración, optimización, procesamiento de imágenes, estadística, funciones especiales, etc). Que es SciPy -. SciPy es un entorno de software de código abierto basado en Python utilizado principalmente por científicos, analistas e ingenieros […]
Seguir leyendo
Nota: (NumPy librería especializada en el cálculo numérico y el análisis de datos, preparada para un gran volumen de datos, los Objetos (arrays) que permite representar colecciones de datos de un mismo tipo en varias dimensiones, Numpy en comparación con las listas predefinidas en Python es que el procesamiento de los (arrays) se realiza mucho […]
Seguir leyendo
Nota: (Matplotlib es una biblioteca de programas para el lenguaje de programación Python que le permite crear todo tipo de representaciones matemáticas). Que es Matplotlib -. Matplotlib es una biblioteca para la generación de gráficos a partir de datos contenidos en listas o arrays en el lenguaje de programación Python y su extensión matemática NumPy. […]
Seguir leyendo