분류 전체보기
Keras에서 predict와 predict_generator 가 다른 값을 내는 경우 (Image Data Generator)
Keras에서 predict와 predict_generator 가 다른 값을 내는 경우 (Image Data Generator)
2021.04.09stackoverflow.com/questions/58538135/keras-methods-predict-and-predict-generator-with-different-result Keras methods 'predict' and 'predict_generator' with different result I have trained a basic CNN model for image classification. While training the model I have used ImageDataGenerator from keras api. After the model is being trained i used testdatagenerator and stackoverflow.com Keras에서 Image ..
ArcFace - ResNetFace / SE-LResNet50E-IR
ArcFace - ResNetFace / SE-LResNet50E-IR
2021.04.09얼굴인식 분야에서 지금까지도 많이 사용되고 있는 ArcFace (ArcFace: Additive Angular Margin Loss for Deep Face Recognition) 논문에서 사용한 기존 ResNet을 얼굴인식 모델 학습에 최적화 되도록 변형한 ResNetFace / SE-LResNet50E-IR에 대해 알아보았다. 논문에는 we investigate a more advanced residual unit setting for the training of face recognition model 라고 나와있다. 1. Block Setting (IR Block = Improved Residual Unit) 기존 ResNet에서 쓰는 Residual Network 기본 구조에서 조금 변형한 BN..
K-Fold Cross Validation 딥러닝 (Keras, Image Data Generator)
K-Fold Cross Validation 딥러닝 (Keras, Image Data Generator)
2021.04.08캐글 머신러닝 문제들을 풀면서 K-Fold Cross Validation (교차검증)를 자주 사용했었는데, 이번에 딥러닝에서 쓸 일이 있어서 Keras 에서 Image Data Generator와 함께 사용해봤다. 교차검증 소개 글 (여러 교차검증 종류도 소개가 잘 되어있다~) : davinci-ai.tistory.com/18 머신러닝 (5) - Cross Validation(교차검증) Writer: Harim Kang 머신러닝 - 5. End-to-End Machine Learning Project (4) 해당 포스팅은 머신러닝의 교과서라고 불리는 Hands-On Machine Learning with Scikit-Learn & Tensor flow 책을 학습하며 정리하.. davinci-ai.tist..
ssh: connect to host port 22: Connection timed out
ssh: connect to host port 22: Connection timed out
2021.04.08리눅스에서 서버간에 파일 복사를 하는데 scp [path/file] [user@destination_host]:[path_to_save_file] ==================================================== ssh: connect to host port 22: Connection timed out lost connection Connection timed out 에러가 났다. Allow ssh to ufw will solve the problem. Run the below command to allow. sudo ufw allow ssh # UFW - SSH 허용 destination host (파일 받을 서버) 터미널에서 위에 명령어를 치면 된다. * 우분투의 기본적인..
Densenet ArcFace
Densenet ArcFace
2021.04.07캐글 Shopee - Price Match Guarantee 대회 코드 리뷰 공개된 노트북 : https://www.kaggle.com/underwearfitting/pytorch-densenet-arcface-validation-training 간단한 대회 소개 Shopee 라는 e-commerce platform (전자상거래 플랫폼)에서 개최한 대회로 등록된 아이템들 중에 어떤 아이템들이 같은 제품인지 판별하는 대회이다 -> 평가 방식은 mean F1 score로 하나의 행마다 예측된 값에 대한 F1 score를 계산해서 평균을 내는 방식이다. 각 포스팅 아이디 별로 매칭되는 (같은 제품)인 포스팅 아이디들이 예측값이고, 제출시 test set은 70,000장으로 하나의 포스팅 아이디 마다 같은?비슷..
git clone git@github.com: Permission denied (publickey)
git clone git@github.com: Permission denied (publickey)
2021.04.02git clone 를 하려고 했는데 git@github.com: Permission denied (publickey) 이라는 에러가 났다. 해결방법은 매우 간단하다. cmd 창에 1. ssh-keygen 를 치고 Enter file in which to save the key (/c/Users/사용자/.ssh/id_rsa) 가 나오면 엔터를 두번인가 누르면 된다. $ ssh-keygen 2. ssh-key를 복사하고 $ cat ~/.ssh/id_rsa.pub 3. github 에 로그인 -> 오른쪽 상단에 프로필 클릭 후 Settings -> SSH and GPG keys -> New SSH key -> 제목 아무거나 쓰고key 부분에 복사한 key 붙여넣기 하면 해결된다~
리눅스 - 로컬/원격 파일 전송하기
리눅스 - 로컬/원격 파일 전송하기
2021.03.22twpower.github.io/138-send-file-using-scp-command [Linux] scp를 이용해 로컬과 원격에 파일 전송하기 Practice makes perfect! twpower.github.io
RTX 3090 Ubuntu 18.04 CUDA, cuDNN (딥러닝 환경 구축)
RTX 3090 Ubuntu 18.04 CUDA, cuDNN (딥러닝 환경 구축)
2021.03.22velog.io/@skyfishbae/RTX3090-2%EB%8C%80-Ubuntu-18.04-%EB%94%A5%EB%9F%AC%EB%8B%9D-%ED%99%98%EA%B2%BD-%EA%B5%AC%EC%B6%95-1-Nvidia-driver-Cuda-cuDNN-%EC%84%A4%EC%B9%98 RTX 3090 2대, Ubuntu 18.04 딥러닝 환경 구축 (1) Nvidia driver, Cuda, cuDNN 설치 (1) Nvidia driver, Cuda, cuDNN 설치(2) Anaconda, Tensorflow, keras 설치2020년 11월에 GCP를 2주 AI대회 나간다고 썼는데 styleGAN을 써서 가상피팅해보니 거의 10일에 200만원 지출 (GCP, V100, velog.io m.bl..
Linux SSD(USB) mount
Linux SSD(USB) mount
2021.03.12연결 전 확인 $ sudo fdisk -l 연결 후 확인 $ sudo fdisk -l # 인식된 /dev/sdb1 확인 $ mkdir /usb # 마운트 할 디렉토리 생성 $ mount /dev/sdb1 # usb mount $ umount /deb/sdb1 # 분리 jeongyd.tistory.com/47 Linux USB 인식(mount) 방법 Linux 에서 USB mount 방법을 정리해보겠습니다. 1. USB 인식 디바이스 확인 # fdisk -l USB 를 사용하기 전에는 파일시스템이 /dev/sda1 /dev/sda2 만 확인됩니다. USB 를 연결하여 인식이 되어 /dev/sdb4 가.. jeongyd.tistory.com
Docker 명령어
Docker 명령어
2021.03.12도커 컨테이너 접속 $ docker ps -a # 목록 확인 $ docker exec -it [134adb2ba12 혹은 my-container] /bin/bash # 컨테이너 접속 itholic.github.io/docker-enter-container/ [Docker] 도커 컨테이너 접속 및 빠져나오기 도커 컨테이너 접속 및 빠져나오기 itholic.github.io 도커 파일 복사 $ docker cp tmp_container:/root/data/test.md ~/data/ $ docker cp ~/data/test.md tmp_container:/root/data/ itholic.github.io/docker-copy/ [Docker] 도커 파일 복사 (로컬 컨테이너) 도커 파일 복사 itholi..
tensorflow 모델 학습 시간 보기
tensorflow 모델 학습 시간 보기
2021.01.14model.fit 에서 나오는 ETA 는 estimated time of arrival로 학습시키는 동안 마다 계산되어 보여진다. ETA는 1 epoch 의 학습시간을 예상해서 보여준다. (즉, 모델을 학습시킬 때 나오는 ETA는 한 epoch 가 돌기까지 남은 시간을 보여준다) ETA는 정확히 학습을 완료하는데 (모든 epoch를 다 도는데) 걸리는 시간을 알려준다고 볼 수 없음 모델을 학습시키는데 걸리는 시간 보기 1. TensorFlow TQDM 사용하기 www.tensorflow.org/addons/tutorials/tqdm_progress_bar TensorFlow 애드온 콜백 : TQDM 진행률 표시 줄 | TensorFlow Addons 개요 이 노트북은 TensorFlow Addons에서 ..
EfficientNet 모델 구조
EfficientNet 모델 구조
2021.01.12EfficientNet 정리 글 : [AI Research Paper Review/More] - EfficientNet 정리 EfficientNet 정리 이전글 : [AI/Self-Study] - EfficientNet 모델 구조 EfficientNet 모델 구조 EfficientNet - B0 baseline 네트워크 구조 EfficientNet B0 전체 모델 구조 파악 MBConv1 Block 구조 (= mobile inverted bottleneck.. lynnshin.tistory.com EfficientNet - B0 baseline 네트워크 구조 EfficientNet B0 전체 모델 구조 파악 MBConv1 Block 구조 (= mobile inverted bottleneck convolu..