¿Cómo surgió la red neuronal?

En los últimos 10 años, gracias al método del llamado aprendizaje profundo, nosotros tenemos los mejores sistemas de inteligencia artificial - como reconocedores de voz en los teléfonos inteligentes o pasado Google traductor automático. formación en profundidad, de hecho, se ha convertido en una nueva tendencia en las redes neuronales conocidas, que se puso de moda dentro y fuera durante más de 70 años. La primera red neuronal ofreció Warren McCullough y Walter Pitts en 1994, dos investigadores de la Universidad de Chicago. En 1952 se trasladaron a trabajar en el Instituto de Tecnología de Massachusetts, a sentar las bases de la primera silla de la ciencia cognitiva.

¿Cómo surgió la red neuronal?

Las redes neuronales son un foco importante de la investigación en neurociencias y la informática hasta 1969, cuando, según la leyenda, que terminaron las matemáticas en el MIT, Marvin Minsky y Seymour Papert, que un año más tarde se convirtió en el co-responsables de la nueva Laboratorio de Inteligencia Artificial del MIT .

La reactivación de este método experimentado en la década de 1980, poco se desvaneció en el fondo en la primera década del nuevo siglo y con fanfarria de vuelta en la segunda, en la cresta de la increíble desarrollo de chips de gráficos y de su capacidad de producción.

"Se cree que las ideas de la ciencia - es como epidemia del virus", dijo Tomaso Poggio, profesor de la ciencia cognitiva y la ciencia del cerebro en el MIT. "No es, por lo visto cinco o seis principales cepas de virus de la gripe, y uno de ellos regresa con una regularidad envidiable en 25 años. Las personas se infectan, se vuelven inmunes y no se enferman los próximos 25 años. A continuación, aparece una nueva generación, listos para infectarse con la misma cepa del virus. En la ciencia, ya que la gente se enamore de la idea, es todo una locura, entonces fue golpeado hasta la muerte y se vuelven inmunes a ella - se cansa de ella. En tales ideas debería ser la frecuencia ".

cuestiones significativas

Las redes neuronales son una forma de aprendizaje automático, cuando el ordenador aprende a realizar ciertas tareas, analizando los ejemplos de entrenamiento. Por regla general, estos ejemplos están marcadas por la mano de antemano. sistema de reconocimiento de objetos, por ejemplo, puede absorber miles de imágenes que dispongan de coches, casas, tazas de café, y así sucesivamente, y luego ser capaz de encontrar las imágenes en estas imágenes que se correlacionan consistentemente con ciertas etiquetas.

red neuronal es a menudo comparado con el cerebro humano, que también tiene una red de este tipo que consiste en miles o millones de unidades de procesamiento simples, que están estrechamente vinculados. La mayoría de las redes neurales modernas se organizan en capas de nodos, y los datos se pasan a través de ellos en una sola dirección. nodo separado puede estar asociado con múltiples nodos de la capa debajo de ella, de la que recibe los datos, y múltiples nodos en la capa de arriba, en la que se transmite los datos.

¿Cómo surgió la red neuronal?

Cada uno de estos enlaces entrantes un nodo asigna un número - "peso". Cuando la red está activa, el nodo recibe diferentes conjuntos de datos - Diferentes números - para cada uno de estos compuestos, y multiplica el peso correspondiente. Luego se añade para obtener un resultado para formar un solo número. Si este número está por debajo del umbral, el nodo no transmitir datos en la siguiente capa. Si el número es superior al valor umbral, el nodo "activado" mediante el envío de un número - la suma de los datos de entrada ponderada - todas las conexiones salientes.

Cuando se entrena la red neuronal, todos sus valores de peso y de umbral se fijan inicialmente al azar. los datos de entrenamiento se proporciona a la capa inferior - la entrada - y pasan a través de las capas posteriores, multiplicando y sumando una manera compleja hasta que finalmente llegar, ya convertida en una capa de salida. Durante el entrenamiento con pesas, y ajustar constantemente los umbrales como datos de entrenamiento con la misma etiqueta no dará lugar a conclusiones similares.

La razón y máquinas

Las redes neuronales se describe McCullough y Pitts en 1944, y tenía un umbral, y el peso, pero no fueron organizados en capas, y los científicos no han pedido a cualquier mecanismo de formación específica. Pero McCullough y Pitts demostraron que la red neuronal podría, en principio, para calcular cualquier función, al igual que cualquier computadora digital. El resultado fue más de neurobiología de la informática: era necesario asumir que el cerebro humano puede ser considerado como el dispositivo informático.

Las redes neuronales siguen siendo una herramienta valiosa para la investigación neurobiológica. Por ejemplo, algunas capas de la red, o escalas de ajuste reglas y umbrales de reproducir las características observadas de las funciones cognitivas y la neuroanatomía humanos, y por lo tanto se refirieron a cómo el cerebro procesa la información.

La primera red neuronal entrenada, "Perceptron" (o "Perceptron"), se ha demostrado en el psicólogo de la Universidad de Cornell Frank Rosenblatt en 1957. Diseño "Perceptron" fue similar a la red neural moderno, excepto que era una sola capa con los pesos y umbrales ajustables, intercaladas entre las capas de entrada y de salida.

"Perceptrones" investigados activamente en psicología y ciencias de la computación hasta 1959, cuando Minsky y Papert publicaron un libro llamado "perceptrones", que mostró que el producto de un perceptrones de computación completamente convencionales era poco práctico en términos de tiempo dedicado.

¿Cómo surgió la red neuronal?

"Por supuesto, todas las restricciones desaparecen, por así decirlo, si hacemos el coche un poco más complicado", por ejemplo, en dos capas, "dijo Poggio. Pero mientras que el libro ha tenido un efecto negativo en el estudio de las redes neuronales. "Estas cosas deben ser vistos en un contexto histórico," dijo Poggio. "La prueba está construido para lenguajes de programación como Lisp. Poco antes, la gente en silencio el uso de computadoras analógicas. No era del todo claro en este momento qué va a hacer la programación. Creo que estaban un poco exageradas, pero, como siempre, no podemos compartir todo en blanco y negro. Si lo consideramos como una contienda entre el cálculo de cálculo analógico y digital, entonces luchaban por lo que se necesitaba ".

La ​​periodicidad

Por la década de 1980, sin embargo, los científicos han desarrollado algoritmos para modificar los pesos y umbrales de redes neuronales, que eran muy eficaces para redes con más de una capa, lo que elimina muchas restricciones, cierta Minsky y Papert. Esta área experimentó un renacimiento.

Pero con un punto de vista en las redes neurales de que falta algo razonable. Una formación suficientemente largo podría conducir a una revisión de los ajustes de la red hasta que empiece a clasificar la forma útil de datos, pero lo que significan estos ajustes? ¿Qué características de la imagen se ve objetos reconocedor y cómo les recoge en partes para formar una firma visual coches, casas y tazas de café? El estudio de los pesos de los compuestos individuales no dará una respuesta a esta pregunta.

En los últimos años, los informáticos han comenzado a dar con ingeniosos métodos para determinar las estrategias de análisis adoptados por las redes neuronales. Pero en la década de 1980, la estrategia de estas redes han sido incomprensible. Por lo tanto, a la vuelta del siglo, las redes neuronales han sido empujados máquinas de vectores, un enfoque alternativo para el aprendizaje automático basado en una matemática limpio y elegante. El reciente aumento del interés en las redes neuronales - un aprendizaje profundo revolución - está obligado a la industria de juegos de ordenador. Sofisticado componente gráfico y el rápido ritmo de los videojuegos modernos requieren hardware que es capaz de mantenerse al día con la tendencia, con el resultado de que apareció la GPU (unidad de procesamiento gráfico) con miles de núcleos de procesamiento relativamente simples en un solo chip. Muy pronto los científicos se dieron cuenta de que la arquitectura de la GPU se adapta perfectamente a las redes neuronales.

Los procesadores gráficos modernos están habilitados para construir la red de la década de 1960 y de dos y de tres capas de red 1980 en ramos de 10, 15 y 50 de red incluso capas de hoy. Aquí es responsable de lo que la palabra "profunda" en el "aprendizaje profundo". Por la profundidad de la red. Actualmente, una formación en profundidad es responsable de los sistemas más eficientes en prácticamente todas las áreas de investigación de la inteligencia artificial.

Bajo una campana

redes de opacidad todavía está preocupado teóricos, pero no hay avances en este frente. Poggio dirige un programa de investigación sobre los fundamentos teóricos de la inteligencia. No hace mucho tiempo Poggio y sus colegas publicaron un estudio teórico de las redes neuronales en tres partes.

La primera parte, que fue publicado el mes pasado en la Revista Internacional de Automática e Informática, se dirigió a una serie de cálculos que pueden ser llevadas a cabo en profundidad la formación de la red, y así sucesivamente, cuando las redes profundas tienen ventajas con respecto a poca profundidad. Partes dos y tres, que fueron lanzadas en forma de informes abordan los problemas de optimización global, es decir, garantizar que la red sería encontrar la configuración que mejor se adapten a sus datos de entrenamiento, así como los casos en los que la red está tan bien al tanto de los detalles de la formación de sus datos, que no se puede generalizar a otras manifestaciones de las mismas categorías. Todavía hay una gran cantidad de cuestiones teóricas, las respuestas a las que tendrán que ser determinado. Pero hay esperanza de que la red neuronal será capaz de romper finalmente el ciclo de las generaciones, que hunden en caliente y en frío.