분류 전체보기

0813 ResNet 프로젝트

F(x) = H(x) -x 에서 시작했는데 F(x)가 0이라고 생각하면 H(x) 와 x가 같을 수 밖에 없다. 여기서 시작해서 문제의 논지를 바꾸면 H(x) = F(x) + x 이렇게 볼 수 있다. x값이 커지면 F(x)값도 민감하게 바뀔 수 밖에 없다. => 이것을 Skip connection 이라 부름. -> 스킵연결을 구현하는것은 덧셈 연산의 추가만으로 가능함. 이는 추가적인 연산량이나 파라미터가 많이 필요하지 않음. 또한 역전파 시에 그레디언트가 잘 흘러갈 수 있게 해준다는 장점이있다. 1x1이지만 다음에 곱해지는거에 따라서 사이즈가 달라짐 ==> 이과정을 병목레이어(bottleneck layer)라 부른다. # ResNet 블록 구조(bottleneck 구조) LayerBlock = namedt..

0813 CNN으로 MNIST 분류기 구현하기

import tensorflow as tf ## 다운로드 from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("/AI/tmp/data/", one_hot=True) ## cnn 모델을 정의/;///; ## 3차원으로 reshape x_image = tf.reshape(x, [-1, 28, 28, 1]) ## 1번째 컨볼루션층 W_conv1 = tf.Variable(tf.truncated_normal(shape=[5,5,1,32], stddev=5e-2)) b_conv1 = tf.Variable(tf.constant(0.1, shape=[32])) h_conv1 = tf.nn.relu(tf.n..

0812 ANN을 이용한 MNIST 숫자 분류기 구현

인공신경망 (Artificial Neural Networks import tensorflow as tf ## MNIST 데이터 다운 from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("/AI/tmp/data", one_hot=True) ## 원핫코딩 ## 학습을 위한 설정값 정의 learning_rate = 0.001 num_epochs = 30 batch_size = 256 display_step = 1 input_size = 784 hidden1_size = 256 hidden2_size = 256 output_size = 10 ## 입력값과 출력값ㅇ르 받기 위한 플레이스 홀더 정의 x..

0812 소프트맥스 회귀로 MNIST 데이터 분석하기

import tensorflow as tf ## MNIST 데이터 다운 from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("/AI/tmp/data", one_hot=True) ## 원핫코딩 ## 입력값과 출력값을 받기 위한 플레이스 홀더를 정의 x = tf.placeholder(tf.float32, shape=[None, 784]) y = tf.placeholder(tf.float32, shape=[None, 10]) ## 변수들을 설정하고 소프트맥스 회귀 모델을 정의 W = tf.Variable(tf.zeros(shape=[784, 10])) b = tf.Variable(tf.zeros(..

0812 텐서플로 기초

p.34~ tensorflow : 텐서를 흘려보내면서 데이터를 처리하는 라이브러리 텐서들은 계산 그래프구조를 통해 노드에서 노드로 이동 > 텐서플로 그래프 생성 - shape() 이라는 것은 스칼라 값을 의미함. - 사용할것이라고 선언만 한 것. 실행은 따로함! (-> 세션을 열어서 수행해야함) ## 그래프 노드를 정의하고 출력 node1 = tf.constant(3.0, dtype=tf.float32) ## 상수값을 표현 node2 = tf.constant(4.0) # 암시적으로 tf.float32 타입으로 선언될것 print(node1, node2) > 텐서플로 그래프 실행 ## 세션을 열고 그래프를 실행합니다. # 출력값 : [3.0, 4.0] sess = tf.Session() print(sess..

0812 LSTM 텍스트 생성모델 구현 (온도 샘플링)

1. 텍스트 뭉치 가져오기 import keras import numpy as np path = keras.utils.get_file( 'nietzsche.txt', origin = 'https://s3.amazonaws.com/text-datasets/nietzsche.txt') text = open(path).read().lower() ## 다 소문자로 바꿈 print('말뭉치 크기', len(text)) 2. 약 60만개의 말뭉치를 원핫인코딩함 - 시간이 엄~~~~~~~~~~~~~청 오래걸림 maxlen = 60 step = 3 sentences = [] next_chars = [] for i in range(0, len(text) - maxlen, step) : sentences.append(te..