일을 괴롭 히고있는 괴상한 물건으로 50 년대에부터 우리는 이상한 것들을 괴롭 혔습니다. 몇 년 전, Google은 신경망의 꿈이 악몽의 물건이라는 것을 우리에게 보여 주었지만, 최근에는 인간의 것과 구별 할 수없는 게임 캐릭터 동작을 제공하는 것에 대해 훨씬 더 많은 것을 보았습니다. 묘사, 자기 운전 차량에 대한 비전을 제공하고 훨씬 더 많은 설명을 설명합니다.
모든이 모든 것을 잘 수행 할 수 있고 때로는 인간보다 낫다는 것은 최근의 개발입니다. Photorealistic 사진을 생산하는 것은 단지 몇 개월입니다. 그래서 정확히이 모든 것이 어떻게 생겼습니까?
Perceptrons : 40 대, 50 대 및 60 대
페세 트론
우리는 20 세기 중반에 시작합니다. 당시의 초기 신경 네트워크의 한 가지 눈에 띄는 유형의 뉴런에서 뉴런에서 뉴런을 모방하려고 시도했다. 우리는 이미 Al Williams의 일련의 기사에서 자세하게 여기에서 자세히 설명했지만 간단히 다이어그램과 같이 쉽게 외모가 있습니다.
입력 값, 가중치 및 바이어스가 주어지면 0 또는 1 중 하나 인 출력을 만듭니다. NAND 입학 작업을 만드는 가중치와 바이어스에 대해 적절한 값을 발견 할 수 있습니다. 그러나 AL의 기사에서 포괄적 인 이유로 XOR 입구의 경우 훨씬 더 많은 층수를 요구합니다.
“Perceptrons”라는 잘 알려진 1969 개의 논문에서 Minsky와 Papert는 Perceptrons가 특정 문제에 대한 선호하는 서비스를 제공 할 수없는 다른 조건을 지적했습니다. 그러나, 그들이 설명하는 조건은 단일 페스 스 트론의 단일 층에만 사용됩니다. 당시에는 숨겨진 레이어라고 불리는 입력과 출력 사이에 훨씬 더 많은 층층을 첨가하여 XOR를 포함한 이러한 문제 중 많은 문제가 해결 될 수 있습니다.
이 문제에도 불구하고, 종이가 수많은 연구자를 낙담시키고 신경망 연구 연구가 10 년 동안 배경으로 퇴색했습니다.
Backpropagation 및 Sigmoid 뉴런 : 80 년대
1986 년 신경망은 David Rummelhart, Geoffrey Hinton 및 R.J의 “오류 전파로의 오류 전파로 학습”이라는 다른 유명한 종이로 인기로 복원되었습니다. 윌리엄스. 그 종이에서 그들은 수많은 연구자들을 돌려주는 단일 층 펜스 셉트 네트워크에 관해 이야기 한 이슈가 민간의 이야기를 다루는 수많은 실험 결과를 발표했습니다.
또한 Hinton에 따르면, 오늘날 신경망의 영역에서 필수적인 인물에 따르면, Rummelhart는 신경망 훈련을위한 효과적인 알고리즘을 재발견했습니다. 출력에서 입력으로 전파되는 것을 포함하여 델타 규칙이라는 것을 사용하여 모든 가중치에 대한 값을 설정합니다.
완전히 연결된 신경망과 시그 모이드
위의 Perceptron 다이어그램에 표시된 0 또는 1로 출력을 설정하기위한 계산 세트를 Neuron의 활성화 함수라고합니다. 그러나 Rummelhart의 알고리즘의 경우 활성화 기능은 파생물이 존재하는 것과 Sigmoid 기능을 이용하도록 선택된 것으로 선택되어야했습니다 (다이어그램 참조).
그래서, 출력이 선형 인 뉴런의 뉴런의 뉴런 인 뉴런이었습니다. 그러나 용어 다층 Perceptron (MLP)은 오늘날 논의 된 퍼센트 폰을 포함하여 네트워크를 포함하지 않고 시그모이드와 같은 비선형 뉴런 으로이 섹션에서 말하는 다층 네트워크에 종종 이용됩니다. 신음 소리, 우리는 알고 있습니다.
또한 프로그래밍을 쉽게하기 위해서는 바이어스가 자신의 뉴런이었습니다. 일반적으로 하나의 가치가 있고 자신의 가중치가 있습니다. 그 방법은 그것의 가중치, 그리고 따라서 간접적으로 그 가치는 다른 모든 무게와 함께 훈련 될 수 있습니다.
그래서 80 년대 후반에 신경망이 익숙한 모양을 훈련시키고 효과적인 알고리즘을 훈련 시켰습니다.
회수 및 풀링
1979 년 NeoCognitron이라는 신경망은 컨볼 루션 레이어의 개념을 도입했으며 1989 년 Backpropagation 알고리즘은 이러한 컨볼 루션 레이어를 훈련시키는 데 적용되었습니다.
컨볼 루션 신경망 및 풀링
컨벌루션 레이어는 어떻게 생겼습니까? 우리가 위에서 이야기 한 네트워크에서 각각의 입력 뉴런은 모든 숨겨진 뉴런에 대한 연결이 있습니다. 그런 레이어는 완전히 링크 된 레이어라고합니다. 그러나 컨볼 루션 층을 사용하면 컨벌루션 층의 각 뉴런이 입력 뉴런의 서브 세트에만 연결됩니다. 그리고 해당 서브 세트는 전형적으로 수평 및 수직으로 겹치고 있습니다. 다이어그램에서 컨벌루션 층의 각 뉴런은 입력 뉴런의 3 × 3 매트릭스, 선명도를 위해 색상으로 코딩되고 그 행렬은 하나씩 겹치게됩니다.
이 2D 배열은 이미지에 제한되지는 않지만 이미지에서 이미지의 기능을 발견하려고 할 때 많은 것을 지원합니다. 그림의 기능은 2D 공간에서 픽셀을 점령합니다.he diagram. You can see that one of the convolutional neurons is linked to a 3×3 subset of input neurons that contain a white vertical function down the middle, one leg of the ‘A’, in addition to a shorter horizontal function across the top on the 오른쪽. When training on various images, that neuron may become trained to terminate strongest when shown features like that.
But that function may be an outlier case, not fitting well with most of the pictures the neural network would encounter. having a neuron dedicated to an outlier case such as this is called overfitting. One service is to add a pooling layer (see the diagram). The pooling layer pools together several neurons into one neuron. In our diagram, each 2×2 matrix in the convolutional layer is represented by one aspect in the pooling layer. but what value goes in the pooling element?
In our example, of the 4 neurons in the convolutional layer that correspond to that pooling element, two of them have discovered features of white vertical segments with some white across the top. but one of them encounters this function much more often. When that a person encounters a vertical section and fires, it will have a higher value than the other. So we put that higher value in the corresponding pooling element. This is called max pooling, because we take the maximum value of the 4 possible values.
Notice that the pooling layer also reduces the size of the data flowing through the network without losing information, and so it speeds up computation. Max pooling was introduced in 1992 and has been a big part of the success of numerous neural networks.
Going Deep
Deep neural networks and ReLU
A deep neural network is one that has numerous layers. As our own Will Sweatman pointed out in his recent neural networking article, going deep enables for layers nearer to the inputs to discover simple features, just like our white vertical segment, but layers deeper in will combine these features into much more and much more complex shapes, until we arrive at neurons that represent entire objects. In our example when we show it an picture of a car, neurons that match the features in the car terminate strongly, up until lastly the “car” output neuron spits out a 99.2% confidence that we showed it a car.
Many advancements have contributed to the present success of deep neural networks. a few of those are:
the introduction starting in 2010 of the ReLU (Rectified Linear Unit) as an alternative activation function to the sigmoid. See the diagram for ReLU details. The utilize of ReLUs considerably sped up training. disallowing other issues, the much more training you do, the better the results you get. Speeding up training enables you to do more.
the utilize of GPUs (Graphics Processing Units). starting in 2004 and being used to convolutional neural networks in 2006, GPUs were put to utilize doing the matrix multiplication included when multiplying neuron firing values by weight values. This as well speeds up training.
the utilize of convolutional neural networks and other method to reduce the number of connections as you go deeper. Again, this too speeds up training.
the availability of big training datasets with tens and numerous countless data items. among other things, this assists with overfitting (discussed above).
Inception v3 architecture
Deep dream hexacopter
To provide you some concept of just exactly how complex these deep neural networks can get, shown right here is Google’s Inception v3 neural network written in their TensorFlow framework. The very first version of this was the one accountable for Google’s psychedelic deep dreaming. If you look at the legend in the diagram you’ll see some things we’ve discussed, in addition to a few new ones that have made a considerable contribution to the success of neural networks.
The example shown right here started out as a picture of a hexacopter in flight with trees in the background. It was then submitted to the deep dream generator website, which created the picture shown here. Interestingly, it replaced the propellers with birds.
By 2011, convolutional neural networks with max pooling, and running on GPUs had accomplished better-than-human visual pattern recognition on web traffic indications with a recognition rate of 98.98%.
Processing and creating Sequences – LSTMs
The long short Term Memory (LSTM) neural network is a very effective type of Recurrent Neural Networks (RNN). It’s been around since 1995 but has undergone numerous enhancements over the years. These are the networks accountable for the incredible developments in speech recognition, creating captions for images, creating speech and music, and more. While the networks we talked about above were great for seeing a pattern in a fixed size piece of data such as an image, LSTMs are for pattern recognition in a sequence of data or for creating sequences of data. Hence, they do speech recognition, or create sentences.
LSTM neural network and example
태도일반적으로 다른 유형의 층 및 수학적 연산을 포함하는 세포로 표시됩니다. 다이어그램에서 셀은 그 자체로 되돌아 가서 이름을 재발하는 신경망이라는 이름으로 가리 킵니다. 입력이 도착하면 셀이 출력을 생성하지만 다음 번 입력을 위해 다시 전달되는 정보도 도착합니다. 그것이 묘사하는 또 다른 방법은 똑같은 셀을 보여주는 것입니다. 시간이 다른 점에서 다른 점에서 다른 점이있는 여러 셀이 데이터 흐름을 보여주는 데이터 흐름이 진정으로 동일한 셀을 스트리밍합니다. 다이어그램에서 예제는 우리가 인코더 셀을 한 번에 하나씩 일련의 단어로 제공 한 결과, 결과는 궁극적으로 “생각 벡터”가 될 것입니다. 이 벡터는 적절한 응답을 출력하는 디코더 셀을 한 번에 공급합니다. 이 예는 Google의 현명한 회신 기능입니다.
LSTMS는 정적 사진을 분석하는 데 사용할 수 있으며, 지금까지 우리가 보는 다른 종류의 네트워크에 대한 이점을 갖추고 있습니다. 해변 공을 비롯한 정전기 사진을 봐주는 경우 해변에 대한 비디오의 한 프레임으로 그림을 볼 수있는 경우 바구니 공이 아닌 해변 공을 선택할 가능성이 훨씬 더 큽니다. 파티. LSTM은 해변 공의 현재 프레임만큼이나 모든 해변 축하의 모든 프레임을 보았고 이전에 공의 유형에 대해 평가하는 것으로 보이는 것을 활용할 것입니다.
GANS로 사진을 생성합니다
생성 적 적대 네트워크
아마도 가장 최근의 신경 네트워크 디자인은 2014 년에 생성 된 생성 적 적대 네트워크 (GANS)와 관련된 진정한 두 네트워크입니다. 생성자는 사람 네트워크가 데이터 (이미지, 음악, 연설)를 생성하는 것을 의미합니다. ) 그것은 훈련 된 데이터와 비슷합니다. 이 발전기 네트워크는 컨볼 루션 신경 네트워크입니다. 다른 네트워크를 Discriminator라고 부르며 사진이 정품인지 생성되었는지 여부를 알리기 위해 훈련 받았습니다. 발전기는 차별자를 속이는 동안 더 나은 점을 얻고 판별자가 속지 않도록 더 잘됩니다. 이 적련 경쟁은 발전기가있는 것보다 더 나은 결과를 만듭니다.
텍스트가있는 스택의 새
2016 년 후반에는 두 개의 누적 된 GANS를 활용 하여이 그룹이 훨씬 더 향상되었습니다. 선호하는 이미지에 대한 텍스트 설명을 제공하면 스테이지 -i GaN은 일부 세부 사항을 누락 한 저해상도 그림을 만듭니다 (예 : 부리 및 새들의 눈). 이 그림과 텍스트 설명은 누락 된 세부 사항을 추가하고 더 높은 해상도 인 사진 현실적인 이미지를 포함하여 사진을 더 향상시키는 스테이지 II GAN으로 전달됩니다.
결론
매주 매주 훨씬 더 괴상한 결과가 밝혀졌습니다. 신경망 연구 연구는 과학적 연구와 같은 점이 있기 때문에 지키기가 어려워지고 있습니다. 내가 커버하지 않은 다른 매혹적인 발전을 알고 있다면 아래의 의견을 이해하겠습니다.