전체 글

금융권에서 시계열 분석은 중요한 역할을 하는데 외생변수가 너무 많다보니 예측에 제한이 많이 걸린다. 예를 들어서 다음날 주가를 예측할 때, $ y_{t+1} = y_{t} + x_{t} + e_{t}$로 $x_{t}$라는 feature들과 $e_{t}$라는 노이즈가 예측의 정확성에 큰 영향을 준다. 보통은 RNN, LSTM 계열의 모델을 많이 사용해왔지만 많은 사례에서 공통적으로 예측값이 오른쪽으로 밀리는 Lagging이 되는 현상을 심심치않게 목격한다 주가 예측의 경우 고려하는 feature에 비해 고려하지 못하는 노이즈의 양이 엄청 커버리게 되는데 고려하지 못하는 변수들의 사이즈가 커질 수록 모델은 한정적인 정보로 다이나믹한 예측을 할수 없게된다. 예를 들면 오너리스크가 터진 긴급한 상황에서 모델이 ..

물가연동국채(Inflation Linked Treasury Bond) 투자금과 이자에 물가상승률이 반영된 국채. 물가가 오르면 수익이 생긴다. 예시: 투자자 A는 표면 이율 1%짜리 일반국채 100만원을, 투자자 B는 표면 이율 1%짜리 물가연동국채를 사들였다. 연간 물가 상승률이 5%라고 했을 때, 투자자 A는 물가 상승과 관계없이 1만원의 이자를 상환받지만, 투자자 B는 투자 원금에 물가 상승률이 반영되고 해당 금액에 대한 이자를 상환받는다. 106.05만원 = 105$(조정된 원금)$ + 100*105/100*0.01$(이자)$ 따라서 두 투자자의 상환액 차이는 5.05만원이되고 물가 상승한 상황에서 승자는 B가 된다. 반대로 디플레이션일때는, 투자자B는 조정된 원금이 하락하기 때문에 손실을 보게된..

대전제 : 시장은 항상 적당한 가격으로 회귀한다 - 과매입 과매도를 이용하면 과매입상태일때팔고 과매도 상태일때 산다 - y_t+1 = 기술적 분석 + 인접 자산의 움직임 + 유동성 + etc... - 기술적분석: 대부분 lagging이 많이 일어남 (골든,데드크로스) -> 결과론적이다 -> 선행성 지표를 찾는 것이 중요 -> 차트의 움직임을 분석하는 것은 시장의 공포와 희열을 수반한다 -> 패턴은 반복된다 모든 경우는 아니다 - 합리적이지 않은 시장은 투자자의 참여를 기대할 수 없다. 남들과 다른 분석 다른 방법으로 가격을 예측할 수 있어야한다. - 다우이론 평균은 모든 것을 반영한다. 시장에는 동시에 세 가지의 변화추세가 존재한다. (단기, 중기, 장기) 가격추세에는 3가지 국면이 있다.(강세, 약세,..

성공은 누구나 원하지만 모두에게 돌아가진 않는다. 한국 사회에서 성공의 기준은 아무래도 재물, 지위가 주는 명예가 있을 것이다 우리는 1950년대의 절대 빈곤에서 지금까지 수 많은 발전을 거치며 성공해왔다. 생활, 문화, 여가. 사람이 살기에는 확실히 좋아진 세계가 된 것은 자명한 사실이다. 내 삶에 만족하는 사람들은 10여년 전에 비해서 많아졌음에도 OECD 평균보다 0.77점이나 낮다. 2013년과 비교했을때는 0.8 정도 차이가 나는데, 13년도부터 지금까지만큼 더 행복해져야 타 국의 평균치가 겨우 된다는 소리다. 당연하게도 무엇이 삶의 만족도에 영향을 끼치는지를 정확히 파악하기 어렵다. 경제수준의 향상으로 인한 행복은 분명 가난한 자들에게 영향을 끼치지만 한계 효용이 존재한다. 질병이 있으면 삶의..

인공지능이 실제 실무에서 어떻게 쓰이는지 공부도 할겸, 코엑스에서 열린 스마트테크 코리아 행사에 다녀왔다. 운송, 풀필먼트, 생산, 도소매, 로봇, 자율주행, 헬스케어 등등.. 인공지능이 스며든 산업이 없다시피할 정도로 다양한 도메인을 볼 수 있었다. 원래 행사 성격 자체가 B2B 성향이 강해서 나 같은 학생들은 행사장에 잘 보이지 않았고, 인도 형님들을 비롯한 외국 바이어나 관계자들이 많이 오셨다. 많은 부스를 돌아다녔는데 다들 친절하게 회사와 서비스 소개를 해주셔서 너무 감사했는데, 특히 인상 깊었던 서비스 몇개만 후기로 남겨보려한다. 아, 그 전에 전체적인 그림을 쭉 봤을 때, 현재 인공지능이 활발하게 쓰이는 산업은 확실히 컴퓨터 비전 쪽이 두드러졌다. 아무래도 딥러닝이라고 하는 기술 자체가 다른 ..

Overall Performance Comparision BERT4Rec 모델과 Baseline들을 모두 비교한 결과표를 보면, 인기순으로 정렬한 단순한 베이스라인인 POP는 모든 데이터셋에서 가장 안좋은 결과를 보였다. Sequential Model인 GRU, FPMC(MF+Markov Chain)은 matrix연산 기반의 BPR-MF와 NCF의 결과를 상회했다. 해당 결과는 행렬 기반의 풀이보다 유저의 행동 흐름을 고려한 모델이 더 효과적임을 보여준다. Sequential Model 중에서도 Caser가 FPMC보다 훨씬 좋은 성능을 보여줬는데, 두 모델 모두 Markov Chain을 사용했지만, Caser는 직전 시점을 포괄하는 더 이전 시점의 아이템들을 동시에 고려한 high-order Marko..

전반부에 이어서 적는 BERT4Rec 리뷰 Embedding Layer BERT 모델의 Embedding은 Input값과 Positional Encoding이 합쳐진 형태로 구성된다. 이들은 첫번째 Hidden state로 구성이되는데, $h_{i}^{0} = v_{i} + p_{i}$ 로 두 개의 인풋이 summation된 형태이다. Transformer는 RNN과 다르게 병렬적으로 학습하기 때문에 단어의 시퀀스를 인지할 수 없다. 때문에 각 포지션을 인지할 수 있게 Positional Encoding 작업이 추가되어야한다. (Positional Encoding 참고링크) 여러가지 방법으로 포지션을 할당할 수 있지만 해당 논문에서는 고정된 sinusoid 벡터가 아닌 '학습 가능한' 포지션을 부여하길 ..

오늘은 2019년에 나온 BERT4Rec 논문 리뷰다 BERT는 2018년 구글이 만들어낸 양방향 트랜스포머이며 Bidirectional Encoder Representations from Transformers라는 풀네임을 가지고있다. 이름에서 볼 수 있듯이 Transformer가 기존에 갖고있던 인코더-디코더 구조가 아닌 인코더만 존재하는 것을 알 수 있다.Transformer와 BERT의 가장 큰 차이점은 학습 방식에 있다 Transformer는 다음 단어를 예측하기위한 학습을 하는 반면,BERT는 마치 빈칸 넣기 문제처럼 MASK된 단어를 학습한다 GPT와 같이 BERT 역시 거대한 말뭉치를 가지고 자연어를 처리하기 위해 학습된 모델이다. 그런데 이 모델을 추천시스템에 적용하기 위해서 나온 논문이..