AI
Keras : ImageDataGenerator 대신에 tf.data로 빠르게 학습하기 2
Keras : ImageDataGenerator 대신에 tf.data로 빠르게 학습하기 2
2021.04.121편 - [AI/Self-Study] - Keras : ImageDataGenerator 대신에 tf.data로 빠르게 학습하기 1 Keras : ImageDataGenerator 대신에 tf.data로 빠르게 학습하기 1 2편 - [AI/Self-Study] - Keras : ImageDataGenerator 대신에 tf.data로 빠르게 학습하기 2 Keras : ImageDataGenerator 대신에 tf.data로 빠르게 학습하기 2 Keras : ImageDataGenerator 대신에 tf.data로 빠르게.. lynnshin.tistory.com 참고 자료 : www.tensorflow.org/tutorials/images/data_augmentation 1편에서 tf.data API로 I..
Keras : ImageDataGenerator 대신에 tf.data로 빠르게 학습하기 1
Keras : ImageDataGenerator 대신에 tf.data로 빠르게 학습하기 1
2021.04.122편 - [AI/Self-Study] - Keras : ImageDataGenerator 대신에 tf.data로 빠르게 학습하기 2 Keras : ImageDataGenerator 대신에 tf.data로 빠르게 학습하기 2 Keras : ImageDataGenerator 대신에 tf.data로 빠르게 학습하기 1편 : lynnshin.tistory.com/26 Keras : ImageDataGenerator 대신에 tf.data로 빠르게 학습하기 1 이미지 분류 프로젝트 진행하면서 Keras의 Image.. lynnshin.tistory.com 이미지 분류 프로젝트 진행하면서 Keras의 ImageDataGenerator를 쓰는데 너무 느리다는 문제점이 발생했다. 구글링을 통해 Tensorflow의 tf..
Keras에서 predict와 predict_generator 가 다른 값을 내는 경우 (Image Data Generator)
Keras에서 predict와 predict_generator 가 다른 값을 내는 경우 (Image Data Generator)
2021.04.09stackoverflow.com/questions/58538135/keras-methods-predict-and-predict-generator-with-different-result Keras methods 'predict' and 'predict_generator' with different result I have trained a basic CNN model for image classification. While training the model I have used ImageDataGenerator from keras api. After the model is being trained i used testdatagenerator and stackoverflow.com Keras에서 Image ..
ArcFace - ResNetFace / SE-LResNet50E-IR
ArcFace - ResNetFace / SE-LResNet50E-IR
2021.04.09얼굴인식 분야에서 지금까지도 많이 사용되고 있는 ArcFace (ArcFace: Additive Angular Margin Loss for Deep Face Recognition) 논문에서 사용한 기존 ResNet을 얼굴인식 모델 학습에 최적화 되도록 변형한 ResNetFace / SE-LResNet50E-IR에 대해 알아보았다. 논문에는 we investigate a more advanced residual unit setting for the training of face recognition model 라고 나와있다. 1. Block Setting (IR Block = Improved Residual Unit) 기존 ResNet에서 쓰는 Residual Network 기본 구조에서 조금 변형한 BN..
K-Fold Cross Validation 딥러닝 (Keras, Image Data Generator)
K-Fold Cross Validation 딥러닝 (Keras, Image Data Generator)
2021.04.08캐글 머신러닝 문제들을 풀면서 K-Fold Cross Validation (교차검증)를 자주 사용했었는데, 이번에 딥러닝에서 쓸 일이 있어서 Keras 에서 Image Data Generator와 함께 사용해봤다. 교차검증 소개 글 (여러 교차검증 종류도 소개가 잘 되어있다~) : davinci-ai.tistory.com/18 머신러닝 (5) - Cross Validation(교차검증) Writer: Harim Kang 머신러닝 - 5. End-to-End Machine Learning Project (4) 해당 포스팅은 머신러닝의 교과서라고 불리는 Hands-On Machine Learning with Scikit-Learn & Tensor flow 책을 학습하며 정리하.. davinci-ai.tist..
RTX 3090 Ubuntu 18.04 CUDA, cuDNN (딥러닝 환경 구축)
RTX 3090 Ubuntu 18.04 CUDA, cuDNN (딥러닝 환경 구축)
2021.03.22velog.io/@skyfishbae/RTX3090-2%EB%8C%80-Ubuntu-18.04-%EB%94%A5%EB%9F%AC%EB%8B%9D-%ED%99%98%EA%B2%BD-%EA%B5%AC%EC%B6%95-1-Nvidia-driver-Cuda-cuDNN-%EC%84%A4%EC%B9%98 RTX 3090 2대, Ubuntu 18.04 딥러닝 환경 구축 (1) Nvidia driver, Cuda, cuDNN 설치 (1) Nvidia driver, Cuda, cuDNN 설치(2) Anaconda, Tensorflow, keras 설치2020년 11월에 GCP를 2주 AI대회 나간다고 썼는데 styleGAN을 써서 가상피팅해보니 거의 10일에 200만원 지출 (GCP, V100, velog.io m.bl..
tensorflow 모델 학습 시간 보기
tensorflow 모델 학습 시간 보기
2021.01.14model.fit 에서 나오는 ETA 는 estimated time of arrival로 학습시키는 동안 마다 계산되어 보여진다. ETA는 1 epoch 의 학습시간을 예상해서 보여준다. (즉, 모델을 학습시킬 때 나오는 ETA는 한 epoch 가 돌기까지 남은 시간을 보여준다) ETA는 정확히 학습을 완료하는데 (모든 epoch를 다 도는데) 걸리는 시간을 알려준다고 볼 수 없음 모델을 학습시키는데 걸리는 시간 보기 1. TensorFlow TQDM 사용하기 www.tensorflow.org/addons/tutorials/tqdm_progress_bar TensorFlow 애드온 콜백 : TQDM 진행률 표시 줄 | TensorFlow Addons 개요 이 노트북은 TensorFlow Addons에서 ..
EfficientNet 모델 구조
EfficientNet 모델 구조
2021.01.12EfficientNet 정리 글 : [AI Research Paper Review/More] - EfficientNet 정리 EfficientNet 정리 이전글 : [AI/Self-Study] - EfficientNet 모델 구조 EfficientNet 모델 구조 EfficientNet - B0 baseline 네트워크 구조 EfficientNet B0 전체 모델 구조 파악 MBConv1 Block 구조 (= mobile inverted bottleneck.. lynnshin.tistory.com EfficientNet - B0 baseline 네트워크 구조 EfficientNet B0 전체 모델 구조 파악 MBConv1 Block 구조 (= mobile inverted bottleneck convolu..
[11강] Detection and Segmentation
[11강] Detection and Segmentation
2020.12.19지난 시간에는 Recurrent Neural Networks를 소개했었다. 오늘은 Detection과 Segmentation등 Compuver Vision task들을 소개할 예정이다. Segmentation, Localization, Detection 등 다양한 Computer Vision Tasks와 이 문제들을 CNN으로 어떻게 접근해 볼 수 있을지 고민할 예정이다. Sementic Segmentation Sementic Segmentation 문제에서는 입력은 이미지이고 출력으로 이미지의 모든 픽셀에 카테고리를 정한다. 밑에 왼쪽 예제를 보면 입력은 고양이이고, 출력은 모든 픽셀에 대해서 그 픽셀이 "고양이, 잔디, 하늘, 나무, 배경"인지를 결정하는 것이다. Sementic Segmentatio..
[9강] CNN Architectures
[9강] CNN Architectures
2020.12.05오늘 수업에서는 CNN 아키텍쳐들을 알아볼 예정이다. 지난 시간에는 딥러닝 프레임워크들을 배웠다. PyTorch, Tensorflow, Caffe2등 다양한 프레임워크들이 있었는데 이들을 사용해서 NN, CNN과 같은 규모가 큰 computational graph를 아주 쉽가 구성할 수 있고, gradient를 쉽계 계산 할 수 있도록 도와주며, GPU에서 효율적으로 작동하는 것을 확인할 수 있었다. 프레임워크들은 보통 모듈화된 레이어를 통해 동작했고 모델 아키텍처를 구성하기 위해서는 그 레이어들을 하나의 시쿼스로 정의하고 묶어주면 됐다. 이렇게 아주 복잡한 아키텍처도 쉽게 구성할 수 있도록 해주는 것이다. 오늘은 최신 CNN 아키텍처들에 대해 배워볼 예정이다. 사람들이 가장 많이 사용하는 아키텍쳐들로,..
[8강] Deep Learning Software
[8강] Deep Learning Software
2020.11.28오늘 강의에서는 딥러닝 소프트웨어에 대해 이야기할 예정이다. 매년 많이 바뀌는 주제라 흥미로운 주제 중에 하나라고 한다. 지난 시간에는 SGD, Momentum, Nesterov, RMSProp, Adam 등 딥러닝 최적화 알고리즘에 대해 살펴보았다. 이 방법들을 모두 기본적인 SGD를 조금씩 변형시킨 방법이었는데, 구현이 간단한데, 네트워크의 수렴속도가 빨랐다. 그리고 regularization (일반화) 중에 특히 Dropout에 대해 배웠다. Dropout은 forward pass에서 네트워크의 임의의 부분을 0으로 설정하고, test time에서는 그 noise를 marginalize out 했었다. 또한 transfer learning (전이 학습)에 대해서도 배웠다. 어떠한 데이터셋에 대해 p..
[6강] Training Neural Networks I
[6강] Training Neural Networks I
2020.11.14CNN은 spatial structure를 보존하기 위해 convolutional layers를 사용하는 NN의 한 종류이다. (FC레이어는 이미지를 다루기 위해 이미지 행렬을 한 줄로 쭉 펴는 작업(Flatten)를 하는데 이미지에서 붙어 있던 픽셀들이 Flatten한 행렬에서는 서로 떨어진다 => 이미지의 공간적 구조(spatial structure) 무시. 반면에 CNN은 필터를 슬라이드함으로써 주위 픽셀들을 계산하면서 이미지의 공간적인 구조를 보존한다.) Conv 필터(weights)가 입력 이미지를 슬라이딩해서 계산한 값들이 모여 각 출력 Activation map을 만든다. Conv layer는 각 레이어 마다 다수의 필터를 사용할 수 있고, 각 필터는 서로 다른 Activation map을 ..