bro's coding

import numpy as np # upload data file imdb_tarin,imdb_test=np.load('imdb.npy') # decode -> remove text_train=[s.decode().replace(' ','') for s in imdb_tarin.data] text_test=[s.decode().replace(' ','')for s in imdb_test.data] y_train=imdb_tarin.target y_test=imdb_test.target from sklearn.feature_extraction.text import CountVectorizer vect=CountVectorizer() # train(train data) vect.fit(text_train,..

https://broscoding.tistory.com/203 sklearn.feature_extraction.text.CountVectorizer BOW(Bag of words) : 단어집 만들기 from sklearn.feature_extraction.text import CountVectorizer ss=['I am Tom. Tom is me!','He is Tom. He is a man'] vect=CountVectorizer() vect.fit(ss) ''' CountVector.. broscoding.tistory.com import numpy as np # upload data file imdb_tarin,imdb_test=np.load('imdb.npy') # decode -> remove..

# 단어집과 문장 대조하기 # for i in range(X_train[0].shape[1]): # if X_train[0,i]>0: # print(i,vect.get_feature_names()[i],X_train[0,i]) # get_feature_names을 반복문 안에 넣어놓으면 오래걸린다(따로 변수 선언) feature_name=vect.get_feature_names() for i in range(X_train[0].shape[1]): if X_train[0,i]>0: print(i,feature_name[i],X_train[0,i]) ''' 1723 actions 1 1741 actors 1 2880 almost 1 3375 and 2 3859 anything 1 4269 are 1 6512..

BOW(Bag of words) : 단어집 만들기 from sklearn.feature_extraction.text import CountVectorizer ss=['I am Tom. Tom is me!','He is Tom. He is a man'] vect=CountVectorizer() vect.fit(ss) ''' CountVectorizer(analyzer='word', binary=False, decode_error='strict', dtype=, encoding='utf-8', input='content', lowercase=True, max_df=1.0, max_features=None, min_df=1, ngram_range=(1, 1), preprocessor=None, stop_wor..

import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.datasets import load_files # 파일 읽기 imdb_tarin=load_files('data/aclImdb/train') imdb_test=load_files('data/aclImdb/test') # numpy로 저장(이후에 빨리 읽기 위해) np.save('imdb.npy',[imdb_tarin,imdb_test]) # numpy 파일 읽기 imdb_tarin,imdb_test=np.load('imdb.npy')

from sklearn.base import BaseEstimator, TransformerMixin class Myclassifier(BaseEstimator,TransformerMixin): def __init__(self,first_parameter=1,second_parameter=2): # __init__ 메소드에 필요한 모든 매개변수를 나열함 self.first_parameter=1 self.second_parameter=2 def fit(self,X,y=None): # fit 메소드는 X와 y매개변수만을 갖음 # 비지도 학습 모델이라도 y값을 받아야함 self.result # 모델 학습 print('모델 학습을 시작함!') return self def predict(self,X): # X만 ..

from sklearn.base import BaseEstimator, ClassifierMixin class Myclassifier(BaseEstimator,ClassifierMixin): def __init__(self): # __init__ 메소드에 필요한 모든 매개변수를 나열함 result=0 def fit(self,X,y): # fit 메소드는 X와 y매개변수만을 갖음 # 모델 학습 return self def predict(self,X): # X만 받음 pred_y=np.zeros(len(X))+self.result return pred_y score 등을 만들지 않아도 사용 할 수 있다. from sklearn.base import BaseEstimator, TransformerMixin ,..

편의성을 위해 사용 import numpy as np import pandas as pd import matplotlib.pyplot as plt from sklearn.preprocessing import MinMaxScaler from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split # data 준비 iris=load_iris() X_train,X_test,y_train,y_test=train_test_split(iris.data,iris.target) from sklearn.preprocessing import MinMaxScaler from sklearn.decomposition import..

정밀도 : 에측한거중에 얼마나 잘 맞춤 precision 재현율 : 실제 한거 중에 얼마나 잘 맞춤 recall p(positive) 예측값이 1 n(negetive) 예측값이 0 t(true) 맞았다 f(false) 틀렸다 TN : 예측값이 0인데 맞았다 FN : 예측값이 0인데 틀렸다 TP : 예측값이 1인데 맞았다 TN : 예측값이 1인테 틀렸다. # TN FP # FN TP

p(positive) 예측값이 1 n(negetive) 예측값이 0 t(true) 맞았다 f(false) 틀렸다 TN : 예측값이 0인데 맞았다 FN : 예측값이 0인데 틀렸다 TP : 예측값이 1인데 맞았다 TN : 예측값이 1인테 틀렸다. # TN FP # FN TP from sklearn.metrics import confusion_matrix cmat=confusion_matrix(y_test,pred_y) cmat array([[15, 0, 0], [ 0, 10, 3], [ 0, 0, 10]], dtype=int64) 0,0 기준 [23, 0] [0 ,15] 1,1 기준 [25 , 0] [3 , 10] 2,2 기준 [25, 3] [0 ,10] -기준으로 행 열 선 긋고 행에 해당 하는 수는 (1..