딥러닝

0806 영화분류하기 - 과대적합, 과소적합 (GPU Tensorflow)

레이어가 늘어날수록 웨이팅계수가 많아지기때문에 시간이 더 오래걸림 ## 3-1 from keras.datasets import imdb (train_data, train_labels),(test_data, test_labels) = imdb.load_data(num_words=10000) ## 3-2 import numpy as np def vectorize_sequences(sequences, dimension=10000): # 크기가 (len(sequences), dimension)) 이고 모든 원소가 0인 행렬을 만듦 results = np.zeros((len(sequences), dimension)) for i, sequence in enumerate(sequences) : results[i, s..

0805 Tesorflow GPU 설정을 위한 환경 만들기

conda search python 위 코드로 어떤 버전이 설치되어있는지 쭉 보고 conda create -n python="버전이름" 버전이름에 설치할 버전과 -n과 python사이에는 만들 가상환경의 이름을 넣어준다 나의경우 py36으로 만들었음. 내가 만든 가상환경으로 접속하기 activate py36 텐서플로우 gpu, keras, jupyter notebook 다운받기 pip install tensorflow-gpu pip install keras pip install jupyter notebook 가상환경을 빠져나오고 싶을때는 deactivate

0805 신경망의 구조 - 용어들의 의미

Dense : 하나하나 끊어있지않고 완전히 연결 되어져 있는것 - 케라스는 호환 가능한 층들을 엮어 데이터 변환 파이프라인을 구성함으로 딥러닝 모델을 만든다 -> 알아서 내부적인 처리를 함 GPU, CPU = 프로세싱 처리 유닛 CPU로 해서는 처리속도가 떨어짐! 표현공간 = 자유도 - 자기만의 새로운 함수를 주고싶을때 optimizer에게 객체로 뭔가를 넣어줌! model.compile(optimizer=optimizers.RMSprop(lr=0.001), loss='binary_crossentropy', metrics=['accuracy']) * 내가 분류하려는 출력수보다 층이 더 커야함 model.add(layers.Dense(64, activation='relu')) model.add(layers..

0805 CNN익히기

* 지도학습시에는 항상 레이블이 존재해야함 ## 모델 최적화 설정 ## 모델 최적화 설정 import os from keras.callbacks import ModelCheckpoint, EarlyStopping MODEL_DIR = './model/' if not os.path.exists(MODEL_DIR) : os.mkdir(MODEL_DIR) modelpath = "./model/{epoch:02d}-{val_loss:.4f}.hdf5" checkpointer = ModelCheckpoint(filepath=modelpath, monitor='val_loss', verbose=1, save_best_only=True) early_stopping_callback = EarlyStopping(moni..

0802 keras 실습 [와인종류예측] - 베스트모델만들기

실습데이터 : 와인의 종류 예측 - 이번 실습을 위해 사용되는 데이터들은 레드와인 샘플 1,599개를 등급과 맛, 산도를 측정해 분석하고 화이트와인 샘플 4,898개를 마찬가지로 분석해 데이터를 만들었음. - sample() : 원본 데이터에서 정해진 비율만큼 랜덤으로 뽑아오는 함수 df_pre = pd.read_csv('./dataset/wine.csv', header=None) df = df_pre.sample(frac=1) 데이터의 확인과 실행 - from keras.callbacks import ModelCheckpoint, EarlyStopping 추가됨 - X : 특징 / Y : 레이블값 from keras.models import Sequential from keras.layers.core ..

0802 keras 실습 [초음파 광물 예측] - 과적합 피하기

과적합 이해하기 층이 너무 많거나 변수가 복잡하거나 테스트셋과 학습셋이 중복될 때 생김 -> 데이터셋과 테스트셋으로 나눠서 하는 것이 좋음 * 코드 추가 - model.save() 를 통해서 현재 모델을 저장하고 새로운 데이터에 사용 할 수 있음 - del model을 하는 이유는 혹시나 오류날까봐,, del 한뒤에 다시 load하여 모델을 사용함 * 결과화면 => 앞서 가지고 있는 데이터의 약 70%를 학습셋으로 써야 했으므로 테스트 셋은 겨우 전체 데이터의 30%에 그침 => 이 정도 테스트 만으로는 실제로 얼마나 잘 작동하는지 확신하기 쉽지않음 k 겹 교차검증 이러한 단점을 보완하고자 만든 방법! - 데이터셋을 여러개로 나누어 하나씩 테스트셋으로 사용하고 나머지를 모두 합해서 학습셋으로 사용하는법!..