스노의 머신러닝 스터디 정리

출처 입니다.

http://www.mediapen.com/news/view/526524

내용 요약

각 금융들이 빅데이터 시장의 주도권을 잡기 위해 기존의 통계시스템 대신 머신러닝 기반의 AI 시스템을 도입한다고 합니다. 

로보 어드바이져 플랫폼

웹 또는 모바일 플랫폼을 통해 인간의 개입을 최소화하며, 자동화된 금융자문 서비스를 제공하는 것

머신러닝, 빅데이터 등의 IT 기술과 금융이론이 결합되어 컴퓨터가 자산을 관리하도록 하는 기술을 사용한 플랫폼입니다.

(주의 : 운용하는 회사마다 명칭이나 정의가 다릅니다.)

 회귀 모델을 만들 때 주어진 여러 변수 중, 어떤 변수를 설명 변수로 해야할 지는 모델링을 수행하는 사람의 배경 지식에 따라 결정됩니다.

하지만 이러한 배경 지식이 없거나, 배경 지식은 있어도 여전히 어떠한 변수들을 선택해야할지 정확히 결정하기 힘들다면, 변수의 통계적인 특성을 고려해 기계적으로 설명 변수를 선택하는 방법이 있습니다.

이러한 방법들을 통틀어서 변수 선택법이라고 합니다.

변수선택법에는 다음과 같은 알고리즘이 있습니다.

부분집합법(all subset) : 모든 가능한 모델을 고려하여 가장 좋은 모델을 선정하는 방법입니다. 번수의 개수에 따라 검증해야하는 회귀분석이 많아지기에 엑셀, R, 파이썬에서 모두 추천하지는 않지만, 변수의 개수가 적거나 최대한 설명력을 높이려면 생각해 볼 만 합니다.

후진제거법(Backward Eilmination) : 모든 변수를 넣은 모델에서 p 값을 기준으로 전체에서 1 개씩 제거하여 모든 변수가 유의미하며, 더 이상 제거할 변수가 없을 때 까지 제거하는 방법입니다. 파이썬과 액셀에서는 변수선택법 함수를 지원하지 않기에, 개인적으로는 이 방법을 추천드리고 싶습니다.

전진선택법(Forward Selection) : 절편만 있는 모델에서 기준 통계치를 가장 많이 개선시키는 변수를 차례로 추가하는 방법입니다.

단계적 선택법(Stepwise Selection) : 예측변수를 연속적으로 추가/삭제하면서 AIC (AIC 지표 : 회귀모델에 항을 추가할수록 불이익을 주는 지표)가 낮아지는 모델을 찾는 방법입니다. 후진제거법과 전진선택법이 가지고 있는 단점을 보완하기 때문에 가장 좋은 모델에 가까운 모델을 얻을 수 있는 방법이라고 생각하며, R에서 사용하는 것을 추천드립니다.

출처입니다~ 자세한 내용은 밑에 기사에서 확인해주세요^^

(https://news.samsung.com/kr/%ec%82%bc%ec%84%b1-ai-%ed%8f%ac%eb%9f%bc-2019-%ea%b8%b0%ec%88%a0-%ed%95%9c%ea%b3%84-%ea%b7%b9%eb%b3%b5%ec%9d%84-%ec%9c%84%ed%95%b4-%ea%b8%80%eb%a1%9c%eb%b2%8c-%ec%a0%84%eb%ac%b8)

내용요약

최근 AI 기술은 특정 알고리즘에 따라 주어진 데이터를 단순히 연산하는 것에 그치지 않고, 인간처럼 사고하고 행동하는 수준에 가까워지고 있습니다.

빅데이터가 확보되어, 딥러닝 기술과 AI의 발전을 과속화 시키고 있습니다.

AI전문가들에 의하면 기술 발전이 다음 단계로 넘어가기 위해서는

1. 알고리즘 효율화

2. 시스템 구축 비용 절감

3. 데이터 학습방식 개선

등을 꼽았습니다.

또한 미래 AI 기술의 방향성은

1. 무선 네트워크 제어

2. AI 자율성 증대

3. 적용 분야 확대

등을 제시했습니다.

GAN(Generative Adversarial Network, 생성적 적대 신경망)

생성적 적대 신경망(GAN)이란 두개의 네트워크로 구성된 심층 신경망 구조입니다. 최대한 진짜 같은 데이터를 생성하려는 생성 모델(generator)과 진짜와 가짜를 판별하려는 분류 모델(discriminator)이 각각 존재하여 서로 적대적으로 학습합니다.

GAN은 다음과 같은 동작으로 이루어집니다.

- 생성 모델이 임의의 수를 입력받아 생성한 이미지로 반환합니다.

- 이렇게 생성된 이미지와 실제 데이터 세트에서 가져온 이미지들을 분류 모델에 전달합니다.

- 분류모델에서는 실제 이미지와 가짜 이미지를 판별해 0과 1사이의 확률값으로 반환시킵니다.

( 1 : 실제 이미지, 0 : 가짜 이미지)

RNN(Recurrent Neural Network, 순환 신경망)

순환 인공 신경망(RNN)은 유닛간의 연결이 순환적 구조를 갖는 특징을 갖는 인공 신경망입니다.

이러한 구조를 가지고 있기 때문에 시계열 데이터와 같이 시간의 흐름에 따라 변화하는 데이터를 학습시킬 수 있습니다.

순환 신경망의 대표적인 예는 글자나 문장을 완성해주는 알고리즘입니다. 문장 데이터의 경우에 앞 뒤 데이터간의 연관성을 가지고 있습니다. 예를 들어, '안','녕','하' 다음에 나올 글자는 '세'일 확률이 크며, 그 다음으로 '요'가 나올 확률이 큽니다. 이렇게 RNN은 앞 뒤의 데이터 간에 연관성이 있는 데이터셋에 사용될 수 있습니다. 또한 필기체 인식이나 음성 인식과 같이 시변적 특징을 가지는 데이터를 처리할 때 사용할 수 있습니다.

GNN(Graph Neural Network)

GNN은 그래프 구조에서 사용하는 인공 신경망입니다. CNN이나 RNN 등의 인공 신경망들은 보통 벡터나 행렬 형태로 input이 주어지는데 반해서 GNN의 경우에는 input이 그래프 구조라는 특징을 가지고 있습니다. 

뉴스 출처입니다~ 자세한 내용은 밑의 기사에서 확인해주세요^^

(http://www.aitimes.com/news/articleView.html?idxno=121321)

AI와 외국어 교육 분야를 접목시킨 AI튜터 서비스가 올 하반기에 출시한다고 합니다.

관계자에 따르면 음성 AI 기술과 문장 유사도 알고리즘을 활용하여 비즈니스, 일상 상황 영어를 대화형 UX로 시공간의 제약 없이 스스로 학습할 수 있는 트레이닝 서비스라고 합니다.

문장 유사도 알고리즘

워드투벡터(Word2Vec)

단어 간 유사도를 반영할 수 있도록 단어의 의미를 벡터화하는 방법이 필요합니다. 그리고 이를 위해 사용되는 대표적인 방법이 워드투백터(Word2Vec)입니다.

Word2Vec에는 CBOW(Continuous Bag of Words)와 Skip-Gram 두 가지 방식이 있습니다.

CBOW는 주변에 있는 단어들을 가지고, 중간에 있는 단어들을 예측하는 방법입니다.

Skip-Gram은 중간에 있는 단어로 주변 단어들을 예측하는 방법입니다. 메커니즘 자체는 CBOW와 거의 동일합니다.

글로브(GloVe)

글로브는 카운트 기반과 예측 기반을 모두 사용하는 방법론입니다. 예측 기반의 Word2Vec의 단점을 보완한다는 목적으로 나왔으나 현재까지의 연구에 따르면 두 개 중 어느 것이 더 우수하다고 할 수 없다고 합니다.

출처입니다. 자세한 내용은 밑에 뉴스에서 확인해주세요~

(http://www.munhwa.com/news/view.html?no=2019110401031503009001)

내용 요약

카이스트와 서울대 교수분들이 3년째 '인간 작곡가와 연주자의 감성을 인공지능 피아노에 담는다는 주제를 목표로 하고 있다고 합니다. 기존 데이터와 비슷한 경과가 나오는 모방 기반의 생성 기술은 어렵지 않지만, 지금까지와 전혀 새로운 창작을 할 수 있을지는 의문이라고 하네요. 연구가 어려운 점으로는 음악 데이터의 부족과 시간과 돈의 제약 융합 미비라고 합니다. 그리고 과학자와 음악가들의 협업이 국내에선 덜 활발하다는 이야기도 있었습니다.

용어설명

GAN(Generative Adversarial Network, 생성적 적대 신경망)

생성적 적대 신경망(GAN)이란 두개의 네트워크로 구성된 심층 신경망 구조입니다. 최대한 진짜 같은 데이터를 생성하려는 생성 모델(generator)과 진짜와 가짜를 판별하려는 분류 모델(discriminator)이 각각 존재하여 서로 적대적으로 학습합니다.

GAN은 다음과 같은 동작으로 이루어집니다.

- 생성 모델이 임의의 수를 입력받아 생성한 이미지로 반환합니다.

- 이렇게 생성된 이미지와 실제 데이터 세트에서 가져온 이미지들을 분류 모델에 전달합니다.

- 분류모델에서는 실제 이미지와 가짜 이미지를 판별해 0과 1사이의 확률값으로 반환시킵니다.

( 1 : 실제 이미지, 0 : 가짜 이미지)

출처 (자세한 내용은 밑에 뉴스에서 확인해주세요.)

https://byline.network/2019/11/08-21/

내용 요약

17회 SAS 분석 챔피언십은 기업에서 실제로 사용하는 데이터를 통해 학생들에게 실제 비즈니스 툴과 데이터를 주어 데이터를 예측하는 대회입니다.

동국대학교 팀이 대상을 수상하였으며, 그 이유는 홈쇼핑에 대한 지식을 잘 쌓았으며, 이상치 제거 등도 함부로 하지 않고 높은 이유를 찾아냈습니다. 분석과 변수, 모델링이 활용방안과 연계된 것이 특징이라고 합니다.

모델링의 경우 SAS 비주얼 데이터 마이닝 앤드 머신러닝(SAS® Visual Data Mining and Machine Learning; SAS VDMML)을 사용하였습니다.

SAS 비주얼 데이터 마이닝 앤드 머신러닝

-  통합적인 시각화(프로그래밍) 인터페이스를 통하여 분석 라이프 사이클의 모든 작업을 처리하는 엔드 투 엔드(End-to-end)로 데이터 마이닝 및 머신런이 프로세스를 지원합니다.

- Python, R, Java 등의 다양한 프로그래밍 언어를 지원합니다. 다른 프로그래밍 언어를 통해 검증된 SAS 머신러닝 알고리즘에 액세스하여 강력한 성능을 경험할 수 있으며, 자동 생성된 SAS 스코어 코드를 사용하여 예측 모델을 신속하게 배포할 수 있습니다.

- 데이터 접근부터 정교한 모델의 적용까지 머신러닝이나 딥러닝 등의 인공지능 개발의 전 과정을 단순하고 직관적으로 이미지를 시각화합니다.

출처 (자세한 내용은 밑에 뉴스에서 확인해주세요~)

https://www.zdnet.co.kr/view/?no=20191015172242&re=R_20191101175626

내용 요약

더존비즈온에서 비즈니스 플랫폼 '위하고(WEHAGO)' 기반의 웹빌더 서비스를 이번달(2019.11) 중에 오픈한다고 합니다.

웹빌더는 홈페이지, 쇼핑몰 등을 전문적인 지식 없이도 손쉽게 제작하고 운영할 수 있도록 돕는 서비스입니다.

뉴스에 따르면, 더존비즈온에서 보유한 빅데이터, 인공지능 등의 첨단 기술과 전사적자원관리(ERP), 결제대행(PG) 등 핵심 솔루션과의 연계를 통해 이커머스 플랫폼을 성장시키겠다고 합니다.

위하고(WEHAGO)

더존비즈온이 개발한 빅데이터 활용 플랫폼 서비스

위하고 플랫폼은 메신저, 이메일, 문서작성프로그램, 클라우드 드라이브까지 각종 업무 기능을 통합적으로 사용할 수 있습니다.

세무회계 전문가용 버전으로 'WEHAGO T'가 있습니다.

전사적 자원관리(ERP) 시스템

경영 정보 시스템의 한 종류로 기업 내 생산, 재무, 회계, 구매, 재고 등 전반적인 경영 활동을 통합 관리하고 기업 정보를 공유해 새로운 정보 생성과 빠른 의사결정을 돕는 시스템입니다.

7월 1일부터 8월 31일까지 있었던 2019 창원 빅데이터 공모전에 참가하였었습니다.

(http://bigdata.changwon.go.kr/portal/board/notice/view.do?idx=1)

공모 주제는 개방된 데이터를 활용하여 창원시의 생활불편 해결 및 공공 이익 발전에 기여할 수 있는 자유주제였습니다.

저희 팀은 주제로 창원시 범죄분석을 통한 안전한 도시 만들기를 하였습니다.

제가 맡았던 역할은 CCTV와 보안등, 범죄등의 분석을 통하여 CCTV, 보안등, 셉테드(범죄예방 환경설계)의 추가 설치지역선정 입니다.

아쉽게도 수상은 하지 못 하였지만, 공공데이터 수집 및 가공하는 방법과 팀원들과 역할분담을 하여 효율적으로 작업하는 방법을 익힐 수 있어서 좋은 경험이었습니다. 그 공모전으로 인해 좀 더 데이터 공부를 열심히 해야겠다는 동기부여를 할 수 있게 되었습니다.