[NLP] word embedding - CBOW
1. CBOW : Continuous Bag-of-Words Model CBOW 모델은 주변 단어를 이용해서 가운데 있는 misssing word를 predict 하는 Neural Network이고, 이 모델의 by-product로 word embedding vector가 생성된다. 문장을 window size 5로 train 한다고 하면 가운데 있는 단어를 양 옆 두개의 단어를 기준으로 prediction하는 모델이다. "I am ? becasue I" 에서 ?에 들어갈 단어를 찾아야 하는 것이다. 즉, X가 context word, Y가 center word로 아래의 표와 같이 train set을 생성할 수 있다. context vector를 하나의 single vector로 만들기 위해서는 각 단어..
1. dictionary key 이름 변경 : pop을 이용해 기존의 value를 꺼내서 새로운 key name에 할당 def change_key(x, name): ''' x : 기존의 dictionary name : {before key : after key} ''' for bf, af in name.items(): if bf in x.keys(): x[af] = x.pop(bf) return x # 예제 x = {'한국어':'안녕하세요','영어':'hello', '중국어':'ni-hao'} name={'한국어':'Korean','영어':'English'} change_key(x) # {'중국어': 'ni-hao', 'Korean': '안녕하세요', 'English': 'hello'} 2. dictio..
[PyTorch] 이미지 Classification - CNN (1) CIFAR10 dataset
1. 데이터 준비하기 torchvision에 built-in 데이터셋인 CIFAR10 dataset에 CNN모델을 이용한 이미지 classification을 진행해보자. CIFAR10 dataset은 32x32사이즈, (비행기, 차, 새, 고양이, 사슴, 개, 개구리, 말, 배, 트럭)으로 총 10가지 카테고리로 분류된다. 각 카테고리별 6천개, 총 6만개의 이미지이고 training image 5만개, test image 1만개로 구성되어 있다. from torchvision.datasets import CIFAR10 from torchvision.transforms import transforms from torch.utils.data import DataLoader 아래 링크에서 CIFAR10이외에..
[Snowflake] data insert 하는 방법 (1) snowlight worksheet SQL
snowflake 공식 문서의 chapter6에서는 3가지 방법으로 snowflake에서 data를 loading하고 unloading하는 방법을 다룬다. data loading은 insert를 뜻하는데, 그 중 첫번째 방법을 사용해봤다. snowlight worksheet를 통해 SQL insert문 사용하기 classic console에서 snow wizard 사용하기 snowSQL에서 CLI (command-line interface) 사용하기 (1) row 하나씩 insert 하기 (INSERT INTO) : structured / semi-structured data INSERT INTO, VALUE절을 통해 insert할 수 있다. --CREATE TABLE CREATE OR REPLACE T..