패스트캠퍼스 환급챌린지 36일차 : 30개 프로젝트로 끝내는 추천시스템 구현 초격차 패키지 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

https://abit.ly/lisbva

 

공부 시작

강의 종료

강의장

학습 인증샷

 

학습후기

 

DLRM의 기본 개념

 

DLRM(Deep Learning Recommendation Model)은 Facebook에서 제안한 대규모 추천 모델 구조로, dense feature와 sparse feature를 함께 처리하는 방식으로 구성되어 있음
dense feature는 연속적인 수치 데이터, sparse feature는 범주형 데이터로 각각 처리 경로가 다름
dense feature는 MLP를 통해 변환하고, sparse feature는 임베딩 처리 후 interaction layer에서 결합
interaction은 pairwise dot-product 방식으로 처리해 피처 간 상호작용을 학습
이후 다시 MLP를 거쳐 최종 예측값 출력
실제 대규모 광고/추천 서비스에서 활용됨

---

DLRM의 특징과 장점

 

모델 구조가 병렬처리에 유리하게 설계되어 있음
sparse feature가 많아도 embedding layer를 통해 연산량 조절 가능
interaction layer를 통해 단순히 피처를 연결하는 게 아니라 상호작용 관계를 학습함
CTR 예측이나 대규모 실시간 추천 상황에서 성능과 효율성 모두 확보 가능

---

DCN v2 구조 개요

 

Google에서 제안한 Deep & Cross Network의 개선 버전
cross layer와 deep layer를 병렬로 학습하고 마지막에 결과를 합침
cross layer는 피처 간 곱셈 기반 상호작용을 반복적으로 적용
DCN v2에서는 low-rank parameterization을 도입해 계산량과 학습 효율 개선
Deep tower는 일반적인 MLP 구조 사용

---

DCN v2의 핵심 차별점

 

기존 DCN보다 계산량이 줄고 일반화 성능 향상
cross layer를 통과하면서 피처 간 조합 정보가 깊이 있게 반영됨
모델 복잡도는 유지하면서 expressive power를 키운 구조
페이스북의 DLRM과 다르게 순차적 구조가 아닌 병렬적 구조 기반

---

모델 비교 및 선택 기준

 

DLRM은 대규모 sparse 데이터를 효율적으로 다루는 데 적합
DCN v2는 상대적으로 구조가 간단하면서도 성능 개선 효과를 얻을 수 있음
학습 시간이 짧고 구조가 단순한 쪽이 초기 도입에는 유리함
장기적으로는 둘 다 embedding 구조를 기반으로 하고 있어 피처 설계 역량이 더 중요

---

실무에서 적용 시 고려사항

 

모델 구조보다 먼저 서비스에서 사용할 피처 정의가 우선
임베딩 테이블 크기가 매우 커질 수 있으므로 embedding compression 고려
실시간 서빙을 위해 embedding precompute 또는 ANN 서치 방식 필요
cold-start 문제 해결을 위한 온보딩 피처나 유저 프로파일링 전략도 함께 설계해야 함
실제 서비스에서는 latency, scalability, update 주기를 함께 고려해야 함

 

모델 구조보다는 추천 시스템 전반의 흐름 이해가 우선
초기에는 simple concat 기반 구조로 시작해 gradually interaction layer 도입
feature engineering 경험을 통해 어떤 피처가 유의미한지 판단할 수 있어야 함
구조보다는 파이프라인 설계와 로그 수집, 지표 관리가 더 중요해질 수 있음
실습 환경에서는 public dataset 활용해 DLRM 또는 DCN v2 구조로 baseline 실험부터 시작