본문 바로가기

분류 전체보기24

[paper review] MLOps: Overview, Definition, and Architecture review date : 2025.05.24 학과 스터디에서 2주차 발표를 맡게 되었다. 준비 기간이 일주일로 짧았지만, 해당 논문을 한번 리뷰 했었고 그 후에 회사에서 구축 프로젝트에도 참여했기 때문에, 배경지식이 생긴 채로 다시 리뷰하면 어떨까 하고 첫 발표 제안을 승낙했다. Abstractthe final goal of ML project: 모델 개발 및 ‘빠른’ 상품화But, 프로세스 자동화와 운영은 대부분 기대 이하로 작동함.이를 해결하기 위해 MLOps가 제안되었으나, 모호한 term으로 남아있음.본 연구는 문헌 리뷰, 툴 리뷰, 전문가 인터뷰를 통해 MLOps의 필수 원칙, 구성요소와 역할, 아키텍처, 워크플로우에 대한 통합적인 overview를 제공한다.Introduction수많은 ML 프.. 2025. 5. 25.
전이학습과 파인튜닝 전이학습과 파인튜닝, 파운데이션 모델을 제대로 활용하려면요즘 인공지능 모델을 활용한 프로젝트를 하다 보면 '파운데이션 모델', '전이학습', '파인튜닝' 같은 용어들을 자주 접하게 된다. 특히 최근에는 거대한 사전학습(pretrained) 모델들이 다양한 작업에 재사용되면서, 이 개념들을 제대로 이해하는 것이 매우 중요해졌다.하지만 이 단어들이 비슷하게 쓰이다 보니 헷갈리는 경우가 많다. 이번 글에서는 전이학습과 파인튜닝이 각각 어떤 개념인지, 그리고 파운데이션 모델을 실제로 어떻게 활용할 때 어떤 방식을 선택해야 하는지 중심으로 정리해본다.파운데이션 모델이란?파운데이션 모델은 방대한 양의 데이터로 학습되어 다양한 작업에 범용적으로 사용할 수 있는 대형 사전학습 모델을 말한다. 대표적으로는 GPT, BE.. 2025. 5. 24.
[paper review] Isolation Forest (2009) Introduction기존 이상치 탐지 모델의 한계노말 인스턴스 프로파일을 먼저 만든 후에 그를 기준으로 이상치 여부를 탐지하기 때문에 많은 연산량일단 노말 인스턴스 프로파일을 제대로 구축하는 것이 목표이기 때문에 이상치 탐지에 최적화된 알고리즘이 아님 (cause too many false alarms)low dimension, small data size에 한함.Isolation Forest트리모델의 분기법에 착안이상치는 루트 노드에 가까운 지점에서 일찍이 분기된다는 특징 활용subsampling을 활용해 데이터셋을 여러 개로 분리하고, 각 데이터셋별로 트리를 만들어 평균적인 depth가 짧은 관측치를 이상치로 정의high dimension, big data size에도 적용 가능linear time.. 2025. 5. 22.
[paper review] Attention Is All You Need (2017) 학과 스터디에서 주 1회 논문 리뷰를 돌아가며 하기로 했다. 첫 논문은 현재 생성형AI 발전의 근본이라고 볼 수 있는 transformer 소개 논문 "Attention is all you need". 이름부터 "어탠션이면 충분해"인 만큼 여타 아키텍처는 버리고 어탠션만 채택해 학습시간을 줄이고 정확도를 끌어올린 혁신적인 알고리즘이라고 할 수 있다. 사실 어탠션 매커니즘이 이때 등장한 게 아니라, self attention을 적극 활용했다는 점이 주의사항이기는 하지만, DNN --> RNN --> CNN 순으로 공부해 온 사람이라면 이쯤 해서 최신 모델에 적극 사용되는 transformer와 self multi-head attention에 대해서 숙지할 필요가 있다고 본다. Abstract:The do.. 2025. 5. 18.
[딥러닝] 경사하강법의 응용 🔹 Momentum설명:Momentum은 말 그대로 "관성" 개념을 딥러닝에 적용한 기법입니다. 단순한 경사하강법은 현재 기울기만 보고 움직이지만, Momentum은 이전 방향의 움직임을 기억하여 관성을 유지하려고 합니다.이는 경사가 급한 방향으로는 빠르게, 흔들림이 많은 방향은 완화시켜줍니다.즉, 마치 공이 언덕 아래 굴러가듯 더 빠르게 최적점을 향해 이동하게 합니다. 🔹 Adagrad설명:Adagrad는 각 파라미터마다 학습률을 다르게 조정하는 방법입니다.많이 변화하는 가중치는 점점 학습률을 줄이고, 적게 변화하는 가중치는 학습률을 크게 유지합니다.덕분에 희귀한 특징(feature)을 잘 학습할 수 있지만, 학습률이 너무 작아져서 학습이 일찍 멈출 수 있습니다. 🔹 RMSprop설명:RMSpro.. 2025. 5. 8.
[딥러닝] 역전파 1. 역전파란 무엇인가?역전파(Backpropagation)는 인공신경망이 학습할 수 있도록 도와주는 알고리즘입니다. 신경망이 입력을 받아서 예측을 하고, 그 예측이 실제 정답과 얼마나 다른지를 계산한 뒤, 그 오차를 기준으로 각 가중치(weight)를 얼마나 조정해야 할지를 계산하는 과정이에요.핵심 아이디어는 간단합니다:"출력층에서 계산된 오차를 입력층 방향으로 거꾸로 전파해서, 각 층의 가중치를 조금씩 바꿔나가는 것"2. 왜 필요한가?신경망이 잘 작동하려면, 각 층의 가중치들이 좋은 값을 가져야 합니다. 그런데 문제는…어떤 가중치가 얼마나 잘못된 결과에 영향을 줬는지를 우리가 알 수 없다는 점이에요.예를 들어, 이미지 분류 모델이 고양이를 개로 잘못 분류했다면:1층에 있는 뉴런들이 잘못한 걸까?중간층.. 2025. 5. 8.

티스토리툴바