하이퍼파라미터 최적화에 대해 알아보자. 하이퍼파라미터(Hyperparameter)란? 신경망의 가중치, 편향과 같이 데이터를 학습하는 과정에서 모델이 스스로 값을 찾아내는 매개변수가 아니라 학습률, 배치 크기처럼 학습을 시작하기 전에 사람이 직접 지정해주어야 하는 값이다. 1. 검증 데이터 (Validation Data) 하이퍼파라미...

오버피팅 억제 기법들에 대해 알아보자. 오버피팅(Overfitting)이란? 모델이 학습 데이터에 너무 과하게 맞춰져서, 실제 처음 보는 새로운 데이터에 대한 예측 성능이 떨어지는 현상이다. 오버피팅은 공부할 때 기출문제 정답만 통째로 외워서 문제가 조금만 다르게 나와도 틀리는 것이라고 할 수 있다. 1. 가중치 감소 (Weight ...

신경망의 최적화 알고리즘들에 대해 알아보자. 신경망 학습의 궁극적인 목표는 손실 함수(Loss Function)가 최솟값을 갖도록 하는 가중치(Weight) 매개변수를 찾는 것이다. 이를 수학적으로는 최적화(Optimization)라고 부른다. 그 과정은 복잡하고 험준한 산맥에서 눈을 가리고 가장 깊은 골짜기를 찾아 내려가는 과정과 같다. 이러한 ...

MNIST데이터셋을 활용하여 신경망(Neural Network)의 미니배치 학습을 구현해보자. 신경망(Neural Network)은 학습을 통해 최적의 가중치(Weight)와 편향(Bias)을 찾아내야 한다. 손실 함수(Loss Function)가 최솟값일 때 가중치와 편향이 최적의 값을 갖는다. MNIST 데이터셋 MNIST(Modified Na...

손실 함수(Loss Function)와 경사 하강법(Gradient Descent Method)에 대해 알아보자. 신경망(Neural Network)은 학습을 통해 최적의 가중치(Weight)와 편향(Bias)을 찾아내야 한다. 손실 함수(Loss Function)가 최솟값일 때 가중치와 편향이 최적의 값을 갖는다. 손실 함수(Loss Functi...

간단하게 퍼셉트론(Perceptron)과 관련된 용어에 대해 알아보자. 위 그림은 입력으로 2개의 신호를 받은 퍼셉트론(Perceptron)이다. 그림의 원을 뉴런(Neuron) 혹은 노드(node)라고 부른다. $x_1$, $x_2$는 activation이라고 부르고 $w_1$, $w_2$는 가중치(weight)라고 한다. 출력값 $y$는 $...

Understanding Cryptography | Christof Paar로 암호학을 공부하던 중 억울하게도 라그랑주의 정리 보다 라그랑주의 따름정리를 먼저 보게 되었다. 나는 아직 군(Group)의 개념을 처음 본 상황 이였고 라그랑주 정리뿐만 아니라 부분군(subgroup)이 뭔지도 몰랐다. 내가 공부하고 있는 교재는 암호학 교재여서 학교에서 ...

DES를 두번 사용하는 암호학 문제를 meet-in-the-middle attack 을 활용하여 풀고있었다. 그러나 key 값이 마지막에 1비트씩 차이가 났었지만 정답은 맞는 상황이 발생했다. \xba\xc7\xb5\xf5는 문제에서 만든 key값이다. \xbb\xc7\xb4\xf4는 내가 찾은 key값이다. key의 값들이 최대 1비...

RSA 암호는 다음 4단계의 준비가 필요하다. $N$ 을 구한다. 임의의 두 소수 $p,q$ 에 대해서 $N = pq$ 이다. $\Phi(N)$ 을 구한다. $\Phi(N) = (p - 1)(q - 1)$ 이다. $e$ 를 구한다. ($e$는 공개키 이다.) $gcd(e, ...

DES Code #include <stdio.h> #include <string.h> #include <stdint.h> unsigned int IP[] = { ... unsigned int inv_IP[] = { ... unsigned int S[8][4][16] = { ... unsigned int E[] = {...