강화학습 겉햙기(2)[마르코프 결정 프로세스]

이번에는 강화학습이 풀고자 하는 문제에 대해 다뤄보도록 하겠습니다. 전 포스트에 설명드린 순차적 의사결정은 조금 추상적입니다. 이를 MDP(Markov Decision Process)를 통해 다뤄보도록 하겠습니다. 그림 1에서 보이는 것은 예시로 든 저의 오늘 행동 프로세스 입니다. 여기서 제가 할수 있는 행동은 총 5가지로 웹서핑, 연구, 독서, 과외, 취침이 있습니다. 여기서 저는 해당상테에서 1분씩 머무르게 됩니다. 그 후에 다음 상태로 상태 전이를 합니다. 여기서 보이는 숫자들은 확률로써 예로 들자면 제가 웹서핑을 한후에 연구를 할 확률 50%, 독서를 할 확률 20%, 다시 웹서핑을 할 확률이 30% 입니다. 이러한 프로세스를 정의하기 위해서는 어떤 요소들이 필요할까요? ● 상태의 집합 S : ..

스마트 비데 논문 리뷰(nature)

요즘에 새로운 프로젝트를 개인적으로 진행해보려고 여러가지를 찾아보고있다. 어느날 평소와 같이 기획자분들과 노가리(?)를 까던중 스마트 비데에 대해서 얘기가 나왔다. 여기서 되게 흥미로운 얘기가 진행되었었고, 이걸 검색해보고난후 실현 가능성이 보여 프로젝트로 진행해보려 하고있다. 이 기획의 바탕은 조선시대로 흘러가서, 매화틀에서부터 출발하는데 , 조선시대에서는 왕의 변을 보고난후 그 변을 체크하여 왕의 건강상태를 판단하였다. 이것은 검색해보니 굉장히 과학적인(?) 진행방식이였고, 그 조상님들의 지혜에 머리를 탁 치고 가야한다. 이것에 대해서 스탠포드 대학진과, 우리나라 서울 송도병원에서 논문을 썻다. 굉장히 흥미로운 내용들이었다. 이 논문을 간략하게 소개하자면 대변,소변을 통해 질병을 감지하는 비데시스템이..

ML 겉햙기 [Categorical data]

data 를 두개로 나눈다면 categorical data 와 numeric data 로 나눌수있다 그중 categorical data 의 특징은 numerical data 와 달리 data 간 뚜렷한 구별이 종종 나타나기때문에 아주 효율적으로 써먹을수 있다. Categorical data 는 크게 두가지로 나눌수 있다. 1. Ordinal data , 2. Norminal data 1. Ordinal data : 학점처럼 범주 사이의 순서에 의미가 있는 경우이다. 그래서 encoding 을 할때 onehotencoding 이나 , dummies 를 써서 하는것 보다 labelencoder 을 써야 맞는 경우이다. 2. Norminal data : 혈액형처럼 범주 사이의 순서에 의미가 없다. 그래서 en..

ML 겉햙기

이 글을 작성한 계기는 내가 이제까지 공부했던 인공지능을 점검해보고 정리보는 시간을 가지기 위해 적었다. 인공지능에 대해 관심이 있어 보는 용도가 아닌 전문가적인 지식, 경험, 판단을 잘 버무려서 혼잡한 형태를 띈 결과물일 것이다. 이 내용은 굉장히 주관적인 내용이 다소 있는 것이므로 재미로 보았으면 좋겠다. 인공지능은 현재 핫한 기술 분야중 한개이지만 과거로 돌아가면 그 역사가 아주 깊고 굉장히 그 깊이가 깊은 학문이기도 하다. 그래서 너무 넓기 때문에 그중 프로그래머 이자 머신러닝 엔지니어로써 인공지능을 어떻게 느끼는지에 적어보고 그 학습방법을 아주 세세하게 적어볼것이다(제발 ㅠㅠ) 우선 제일 먼저 AI 를 보면 그 처음 시작은 정교한 알고리즘의 개발이다. 프로그래머로써 코딩테스트를 통과하기위해 공부..