'미니프로젝트3'에 해당되는 글 1건

  1. 2019.10.11 :: 모델생성기

한국어 자연어 처리를 위해 KoNLPy를 설치하였습니다.

설치방법 (https://konlpy-ko.readthedocs.io/ko/v0.4.3/)

그 후, raw_data에서 파일을 가져와 데이터셋에 맞추어 질문과 답변을 추출합니다.

raw 데이터

추출된 질문 데이터

그 후, 문장을 토크나이징 및 벡터화 하여 문자열을 정수 인덱스로 변환 시킵니다.

답변 또한 토큰화를 시킵니다.

함수형 AIP를 통하여 모델을 생성합니다.

IN(Padding된 질문, 답변) target( 학습된 target 값) 학습을 한 후, 모델을 저장합니다.

모델 객체를 생성하여 입력데이터로써 레이어를 받은 상태에서 LSTM을 통해 얻은 hiddlen Layer와 Cell Layer를 받습니다. 그 후, 모델을 저장합니다.

 

전체 프로그램 코드는 차후 github에 올리겠습니다.

posted by 스노(Snow)
: