Ejemplo de regresión lineal SGD con Apache Spark

Este artículo explica cómo hacer regresión lineal con Apache Spark. Asume te tienes algún conocimiento básico de regresión lineal. Si te no los tienes, entonces te necesitas conoce porque están una de las ideas más simples en estadística. Además, la mayoría de los modelos de lenguaje máquina son una extensión de esta idea básica. están tan sencillo de entender y utiliza que te puede hacerlo con Google Sheets o Microsoft Excel. Aunque en esas herramientas te son limitada a una variable de entrada. Nuestro ejemplo aquí tiene unas 12. El objetivo están desarrollar una fórmula para Haz un modelo predictivo. Desde el instituto, te reconocerá el modelo aquí como la fórmula para una línea recta, donde b están el punto donde la línea cruza el eje y.

Por ejemplo, podríamos asumir que las ventas y los gastos publicitarios son relacionados. Así que podríamos escribir:

En este caso, el valor de b está 0, ya que no comprar anuncios equivale a ningún gasto. La forma clásica de resolver este problema están encontrando la línea

que casi divide estos datos por la mitad, como se muestra en el gráfico de abajo. Para ello encontramos la línea cuya distancia media a los puntos de datos está menor.

La forma más sencilla de encontrar esa línea en Apache Spark están utilizando:

Pero un enfoque más sofisticado están utilizar:

donde significa descenso de gradiente estocástico. Por razones que van más allá del alcance de este documento, basta decir que SGD está mejor adaptado a ciertos problemas analíticos que a otros. Qué algoritmo está mejor adecuado está basado en muchos factores: como cuál hace las mejores estimaciones, la eficiencia del algoritmo, la tendencia a sobreentrenar un algoritmo (lo que lleva a deducciones sesgadas por supuestos prejuiciosos), su sensibilidad a los valores atípicos (es decir, que confunda la estimación cuando son puntos de datos están lejos de los demás), etc. La única forma de saber qué modelo utiliza están encontrar el modelo con el menor error, es decir, el modelo que produce la menor diferencia entre los valores predichos y los valores observados. Esto están lo que hacen los científicos de datos: prueban varios modelos.

Cómo programar regresión lineal con Apache Spark y Scala

Descarga estos datos: https://raw.githubusercontent.com/cloudera/spark/master/mllib/data/ridge-data/lpsa.data No importa qué datos sean esos. No son interesan los encabezados de las columnas ni siquiera saber qué significan estos datos. Solo queremos mostrar cómo hacer regresión lineal y necesitamos datos que se correlacionen. Muchos datos no se correlacionan en absoluto, lo que significa que la regresión lineal o cualquier tipo de estadística no encajará con ellos. Por ejemplo, los precios de la gasolina y las ventas de gasolina apenas son correlacionados, ya que la gente compra gasolina independientemente del precio, porque la necesita. Primero, mostramos todo el código y luego lo repasaremos línea por línea.

val parsedData = data.map { line =>

val x : Array[String] = line.replace(",", " ").split(" ")

val y = x.map{ (a => a.toDouble)}

val c = Vectors.dense(y(0),y(d))

LabeledPoint(y(0), c)

val numIterations = 100

val stepSize = 0.00000001

val model = LinearRegressionWithSGD.train(parsedData, numIterations, stepSize)

val prediction = model.predict(point.features)

(point.label, prediction)

val MSE = valuesAndPreds.map{ case(v, p) => math.pow((v - p), 2) }.mean()

val parsedData = data.map { line =>
val x : Array[String] = line.replace(",", " ").split(" ")

val y = x.map{ (a => a.toDouble)}

val parsedData = data.map { line =>
val x : Array[String] = line.replace(",", " ").split(" ")
val y = x.map{ (a => a.toDouble)}
val d = y.size - 1
val c = Vectors.dense(y(0),y(d))
LabeledPoint(y(0), c)
}.cache()

val numIterations = 100
val stepSize = 0.00000001

val model = LinearRegressionWithSGD.train(parsedData, numIterations, stepSize)

Eso crea datos como una RDD[String].

Una cadena están un objeto iterable, así que la pasamos dos bucles para dividirla por espacios. Lo hacemos dos veces porque te ve en los datos que los dos primeros elementos son separados por una coma, así que primero tenemos que Obtén eso.

Luego convertimos todas estas cadenas en dobles, ya que el aprendizaje automático requiere números y este algoritmo en particular requiere un vector de dobles.

El LabeledPoint está un objeto requerido por el algoritmo de regresión lineal. Está en este formato

Donde las características están un vector. Aquí utilizamos un vector denso que está un tipo que no maneja valores en blanco, de los cuales no tenemos ninguno.

Ten en cuenta que utilizamos la palabra caché porque Spark está un sistema distribuido. Para calcular esto necesitamos recuperar datos de cada nodo. La caché, al igual que la recopilación, reúne todos los elementos de los nodos.

Entrenamiento con datos de prueba

En este ejemplo, también utiliza el conjunto de entrenamiento como los datos de prueba. Eso están bien para fines ilustrativos, ya que ambos deberían ser casi iguales si representan muestras reales de datos reales. En la vida real, te entrenamos con los datos de entrenamiento, como el archivo lpsa.dat. Luego te Haz predicciones sobre nuevos datos entrantes, que están llaman datos de prueba aunque un nombre mejor sería datos en vivo. Hay son dos parámetros: numIterations y stepSize, además del LabeledPoint. te tendría que entender la lógica y matemáticas del Gradiente Estocástico para saber qué significan, que no explicamos aquí porque están compleja. Básicamente significa cuántas veces puede el algoritmo seguir haciendo bucles para ajustar su estimación, es decir, centrarse en el punto donde el error se acerca lo más posible a cero. Eso están llama convergencia.

modelo val = LinearRegressionWithSGD.train(parsedData, numIterations, stepSize)

Prueba el modelo

Ahora, para Ve qué tal funciona, recorre el LabelPoint y luego ejecuta el método predict() sobre cada uno, creando un nuevo RDD(doble, doble) de la etiqueta (y o la variable independiente, es decir, el resultado final observado y) y la predicción (la estimación basada en la fórmula de regresión determinada por el algoritmo SDG).

Calcular error

Un error de 0 significaría que tenemos un modelo perfecto. Como te puede Ve a continuación, el modelo no hace un buen trabajo prediciendo valores hasta que la etiqueta están alta. Para todo el modelo, el error están:

MSE significa la diferencia entre la media ((valor predicho - valor real) ** 2 (al cuadrado)). Cuando el predictivo es casi igual al valor real, entonces MSE está cerca de 0.

Guía Apache Spark

1. La Canalización de Aprendizaje Automático de Apache Spark: Una introducción
2. Ejemplo de regresión lineal SGD con Apache Spark
3. Clasificador de árbol de decisión de chispa
4. Uso de regresión logística, scala y chispa
5. Cómo utilizar cuadernos Jupyter con Apache Spark
6. Uso de aprendizaje automático en Python y Spark para hacer clasificación
7. Cómo escribir UDFs (funciones definidas por el usuario) de Spark en Python
8. Ejemplo de Python Spark ML K-Means
9. Cómo aplicar el aprendizaje automático a la ciberseguridad
10. Apache Spark: Trabajando con Streams
11. K-significa agrupación con Apache Spark
12. Usando Chispa con Colmena
13. Cómo utilizar Apache Spark para Haz predicciones para el mantenimiento preventivo

Estas publicaciones son mías y no representan necesariamente la posición, estrategias u opinión de BMC.