728x90 머신러닝3 [paper review] Isolation Forest (2009) Introduction기존 이상치 탐지 모델의 한계노말 인스턴스 프로파일을 먼저 만든 후에 그를 기준으로 이상치 여부를 탐지하기 때문에 많은 연산량일단 노말 인스턴스 프로파일을 제대로 구축하는 것이 목표이기 때문에 이상치 탐지에 최적화된 알고리즘이 아님 (cause too many false alarms)low dimension, small data size에 한함.Isolation Forest트리모델의 분기법에 착안이상치는 루트 노드에 가까운 지점에서 일찍이 분기된다는 특징 활용subsampling을 활용해 데이터셋을 여러 개로 분리하고, 각 데이터셋별로 트리를 만들어 평균적인 depth가 짧은 관측치를 이상치로 정의high dimension, big data size에도 적용 가능linear time.. 2025. 5. 22. [paper review] Attention Is All You Need (2017) 학과 스터디에서 주 1회 논문 리뷰를 돌아가며 하기로 했다. 첫 논문은 현재 생성형AI 발전의 근본이라고 볼 수 있는 transformer 소개 논문 "Attention is all you need". 이름부터 "어탠션이면 충분해"인 만큼 여타 아키텍처는 버리고 어탠션만 채택해 학습시간을 줄이고 정확도를 끌어올린 혁신적인 알고리즘이라고 할 수 있다. 사실 어탠션 매커니즘이 이때 등장한 게 아니라, self attention을 적극 활용했다는 점이 주의사항이기는 하지만, DNN --> RNN --> CNN 순으로 공부해 온 사람이라면 이쯤 해서 최신 모델에 적극 사용되는 transformer와 self multi-head attention에 대해서 숙지할 필요가 있다고 본다. Abstract:The do.. 2025. 5. 18. [딥러닝] 역전파 1. 역전파란 무엇인가?역전파(Backpropagation)는 인공신경망이 학습할 수 있도록 도와주는 알고리즘입니다. 신경망이 입력을 받아서 예측을 하고, 그 예측이 실제 정답과 얼마나 다른지를 계산한 뒤, 그 오차를 기준으로 각 가중치(weight)를 얼마나 조정해야 할지를 계산하는 과정이에요.핵심 아이디어는 간단합니다:"출력층에서 계산된 오차를 입력층 방향으로 거꾸로 전파해서, 각 층의 가중치를 조금씩 바꿔나가는 것"2. 왜 필요한가?신경망이 잘 작동하려면, 각 층의 가중치들이 좋은 값을 가져야 합니다. 그런데 문제는…어떤 가중치가 얼마나 잘못된 결과에 영향을 줬는지를 우리가 알 수 없다는 점이에요.예를 들어, 이미지 분류 모델이 고양이를 개로 잘못 분류했다면:1층에 있는 뉴런들이 잘못한 걸까?중간층.. 2025. 5. 8. 이전 1 다음 728x90
