728x90 99_DS10 [paper review] Isolation Forest (2009) Introduction기존 이상치 탐지 모델의 한계노말 인스턴스 프로파일을 먼저 만든 후에 그를 기준으로 이상치 여부를 탐지하기 때문에 많은 연산량일단 노말 인스턴스 프로파일을 제대로 구축하는 것이 목표이기 때문에 이상치 탐지에 최적화된 알고리즘이 아님 (cause too many false alarms)low dimension, small data size에 한함.Isolation Forest트리모델의 분기법에 착안이상치는 루트 노드에 가까운 지점에서 일찍이 분기된다는 특징 활용subsampling을 활용해 데이터셋을 여러 개로 분리하고, 각 데이터셋별로 트리를 만들어 평균적인 depth가 짧은 관측치를 이상치로 정의high dimension, big data size에도 적용 가능linear time.. 2025. 5. 22. [paper review] Attention Is All You Need (2017) 학과 스터디에서 주 1회 논문 리뷰를 돌아가며 하기로 했다. 첫 논문은 현재 생성형AI 발전의 근본이라고 볼 수 있는 transformer 소개 논문 "Attention is all you need". 이름부터 "어탠션이면 충분해"인 만큼 여타 아키텍처는 버리고 어탠션만 채택해 학습시간을 줄이고 정확도를 끌어올린 혁신적인 알고리즘이라고 할 수 있다. 사실 어탠션 매커니즘이 이때 등장한 게 아니라, self attention을 적극 활용했다는 점이 주의사항이기는 하지만, DNN --> RNN --> CNN 순으로 공부해 온 사람이라면 이쯤 해서 최신 모델에 적극 사용되는 transformer와 self multi-head attention에 대해서 숙지할 필요가 있다고 본다. Abstract:The do.. 2025. 5. 18. [딥러닝] 경사하강법의 응용 🔹 Momentum설명:Momentum은 말 그대로 "관성" 개념을 딥러닝에 적용한 기법입니다. 단순한 경사하강법은 현재 기울기만 보고 움직이지만, Momentum은 이전 방향의 움직임을 기억하여 관성을 유지하려고 합니다.이는 경사가 급한 방향으로는 빠르게, 흔들림이 많은 방향은 완화시켜줍니다.즉, 마치 공이 언덕 아래 굴러가듯 더 빠르게 최적점을 향해 이동하게 합니다. 🔹 Adagrad설명:Adagrad는 각 파라미터마다 학습률을 다르게 조정하는 방법입니다.많이 변화하는 가중치는 점점 학습률을 줄이고, 적게 변화하는 가중치는 학습률을 크게 유지합니다.덕분에 희귀한 특징(feature)을 잘 학습할 수 있지만, 학습률이 너무 작아져서 학습이 일찍 멈출 수 있습니다. 🔹 RMSprop설명:RMSpro.. 2025. 5. 8. [딥러닝] 역전파 1. 역전파란 무엇인가?역전파(Backpropagation)는 인공신경망이 학습할 수 있도록 도와주는 알고리즘입니다. 신경망이 입력을 받아서 예측을 하고, 그 예측이 실제 정답과 얼마나 다른지를 계산한 뒤, 그 오차를 기준으로 각 가중치(weight)를 얼마나 조정해야 할지를 계산하는 과정이에요.핵심 아이디어는 간단합니다:"출력층에서 계산된 오차를 입력층 방향으로 거꾸로 전파해서, 각 층의 가중치를 조금씩 바꿔나가는 것"2. 왜 필요한가?신경망이 잘 작동하려면, 각 층의 가중치들이 좋은 값을 가져야 합니다. 그런데 문제는…어떤 가중치가 얼마나 잘못된 결과에 영향을 줬는지를 우리가 알 수 없다는 점이에요.예를 들어, 이미지 분류 모델이 고양이를 개로 잘못 분류했다면:1층에 있는 뉴런들이 잘못한 걸까?중간층.. 2025. 5. 8. AI 기술의 진화: 프롬프트 엔지니어링부터 파운데이션 모델 트레이닝까지 AI 기술은 그동안 눈부신 발전을 이뤘습니다. 단순한 프롬프트 엔지니어링부터 시작하여, RAG, 에이전트 AI, 파인튜닝, 그리고 궁극적으로는 파운데이션 모델 트레이닝으로 이어지는 발전 단계를 통해 점점 더 인간과 유사한 지능을 구현하고 있습니다.오늘은 이 5단계를 그림과 함께 이해하기 쉽게 정리해보겠습니다.🧩 1단계: 프롬프트 엔지니어링 $(Prompt\,Engineering)$✅ 정의프롬프트 엔지니어링은 LLM에게 원하는 결과를 얻기 위해 입력 문장을 설계하는 기술입니다.예시:"이 문장을 요약해줘: ...""이 글을 마케팅 문구로 바꿔줘"📌 특징모델 자체를 변경하지 않음텍스트 입력만으로 다양한 응답 유도규칙 설계에 가까운 접근🔗 2단계: RAG $(Retrieval-Augmented\,Gener.. 2025. 5. 6. [성균관대 데이터사이언스융합학과] 심산장학금 어느덧 석사 과정 1기 중간고사를 마치고 후반부로 접어들었다. 매년 비슷한 시기에 공지되는 심산장학금 대상 메일이 왔다. 일반대학원 학과마다 다를 것 같으나, 데이터사이언스융합학과는 신입생 대상 장학금을 인원 수대로 균등분배하는 듯 하다. 이것이 성적장학금과 관련이 있는지는 모르겠으나, 일단 첨부된 사진의 금액 만큼 학기말에 장학금이 나오나보다. 연구활동계획서는 사실 1기생에게 크게 바랄 것이 없어 보이기 때문에, 입학 원서에 제출한 연구계획서를 불러와 진척된 내용이 있으면 보강해서 제출했다. 그나저나 마지막 줄을 보고 크게 상심했다... 22만원 꽁돈이 생기는 줄 알고 그 돈으로 모니터나 하나 장만하려고 했건만 ㅠㅠ 학자금대출 내돈내산 학생은 눈물을 머금고 장바구니에서 모니터를 뺀다... 2025. 5. 5. 이전 1 2 다음 728x90
