Perceptron
perceptron은 다수의 신호를 입력으로 받아 하나의 신호를 출력한다.
아래는 2개의 입력을 받는 perceptron이다.
- $ x $ : 입력
- $ w $ : 가중치(weight)로 말 그대로 해당 입력이 얼마나 중요한지를 나타낸 값이다.
- 이 값이 크면 출력에 영향을 더 크게 미친다.
- $ b $ : 편향(bias)으로 해당 뉴런이 얼마나 쉽게 활성화될 수 있느냐를 조절하는 값이다.
- 이 값이 크면 입력이 작더라도 활성화될 수 있다.
- $ y $ : 출력
출력의 경우 노드에 전달된 값의 합이 0을 넘을 때 1을 출력하며, 0을 넘지 않으면 0을 출력한다.
그러면 이 임계값에 대해서는 아래와 같이 나타낼 수 있다.
$ y =
\begin{cases}
0 & \text{if } w_1x_1 + w_2x_2 + b \leq 0 \\
1 & \text{if } w_1x_1 + w_2x_2 + b > 0
\end{cases} $
Perceptron의 한계와 MLP(multi-layer perceptron)
논리 회로를 통해 perceptron의 한계에 대해 알아보고 다층 perceptron으로 이 한계를 극복하는 것에 대해 알아보자.
Logic gate
perceptron을 사용하여 논리 회로를 만들 수도 있다.
AND, NAND, OR gate를 perceptron으로 만들어보자.
AND gate
| 𝓧₁ | 𝓧₂ | 𝑦 |
| 0 | 0 | 0 |
| 0 | 1 | 0 |
| 1 | 0 | 0 |
| 1 | 1 | 1 |
def AND(x1: int, x2: int) -> int:
x = np.array([x1, x2])
w = np.array([0.5, 0.5])
b = -0.75
sum = np.sum(w*x) + b
return 1 if 0 < sum else 0
NAND gate
| 𝓧₁ | 𝓧₂ | 𝑦 |
| 0 | 0 | 1 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
def NAND(x1: int, x2: int) -> int:
x = np.array([x1, x2])
w = np.array([-0.5, -0.5])
b = 0.75
sum = np.sum(w*x) + b
return 1 if 0 < sum else 0
OR gate
| 𝓧₁ | 𝓧₂ | 𝑦 |
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 1 |
def OR(x1: int, x2: int) -> int:
x = np.array([x1, x2])
w = np.array([0.5, 0.5])
b = -0.25
sum = np.sum(w*x) + b
return 1 if 0 < sum else 0
XOR gate
다른 논리회로는 perceptron으로 만들 수 있는데, XOR gate의 경우 perceptron으로 만들 수가 없다.
| 𝓧₁ | 𝓧₂ | 𝑦 |
| 0 | 0 | 0 |
| 0 | 1 | 1 |
| 1 | 0 | 1 |
| 1 | 1 | 0 |
AND, NAND, OR gate 같은 경우 아래와 같이 $x_1, x_2$ 에 대해 직선(한 층의 perceptron)을 통해 출력을 구분할 수 있다.
하지만 XOR gate의 경우 직선을 통해 출력을 구분할 수가 없다.
즉, 한 층의 perceptron으로는 XOR gate를 구현할 수 없다.
-> 단층 퍼셉트론으로는 비선형 영역을 분리할 수 없다
하지만 직선이 아니라면 출력을 구분할 수가 있게 된다.
MLP로 XOR gate 구현
기존의 논리 회로를 조합하여 XOR gate를 만들 수 있다.
def XOR(x1, x2):
s1 = NAND(x1, x2)
s2 = OR(x1, x2)
return AND(s1, s2)
이를 perceptron으로 표현하면 아래와 같고, 이렇게 여러 층으로 perceptron을 구성한 것을 MLP(multi-layer perceptron)이라고 한다.
이처럼 단층 perceptron으로는 표현하지 못했던 것을 층을 늘려서 표현할 수 있게된다.