패스트캠퍼스 환급챌린지 7일차 : 30개 프로젝트로 끝내는 추천시스템 구현 초격차 패키지 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

https://abit.ly/lisbva

공부 시작

강의 종료

수강 인증

학습 인증샷

강의 후기

 

XAI(eXplanable AI)

 

성능이 높은 모델은 설명성이 떨어짐

신뢰성 있는, 설명가능한 추천시스템을 위해서는 XAI가 필요하다.

 

 

LIME(Local Interpretable Model-agnostic Explanations)

LIME은 원 데이터 중심을 기준으로 변형된 데이터를 생성하고 원 모델의 예측값을 얻어

그 샘플들에 대해 선형 학습을 한다.

그 선형 모델을 사용해서 설명 가능하게 한다.

 

 

SHAP(SHapley Additive exPlanations)

어떤 피처가 예측값에 얼마나 기여했는지를 계산한다.

셰플리 값(Shapley Value)을 AI에 적용

셰플리 값이란?

=> 

게임 이론에서 셰플리 값의 공정성 조건을 효율성, 대칭성, dummy, 선형성으로 정의한다.

효율성 - 모든 피어의 기여도를 합치면 전체 보상이 된다.

대칭성 - 동일한 기여를 한 피처는 동일한 셰플리 값을 가진다. (영향력이 같다면 보상도 같아야함)

dummy -  어떤 피처가 모델 결과에 영향을 주지 않았다면 기여도는 0이다.

선형성 - 모델 A와 모델 B가 있다면 이 둘을 합친 모델의 설명은 각각의설명을 더한 것과 같다.

이 개념을 기반으로 모든 피처가 예측값에 얼마나 공정하게 기여했는가를 설명할 수 있다.

 

Additive feature attribution 방식 사용

 

 

EBM(Explainable Boosting Machine)

 

트리 기반 모델이지만 예측값을 각각의 피처 단위로 분해 가능

GAM + boosting 방식

각 피처가 예측에 어떤 영향을 주는지 시각화 가능

높은 예측 성능과 설명력

 

단점은?

=>

GAM 기반이기 때문에 대부분 각 피처의 영향만 개별적으로 학습한다.

피처간 상호작용이 중요한 경우에는 성능이 떨어진다.

ex) "나이"와 "운전 습관"이 함께 영향을 미치는 보험 예측 문제 → EBM은 이걸 정확히 포착하기 어려울 수 있음

---

그렇다면 추천시스템에서 모델 선택은 어떻게 해야할까

 

성능 vs 설명력

성능이 최우선이라면 => 딥러닝 기반

설명력도 중요하다면 => EBM, SHAP 적용 가능한 트리 모델, Rule-based hybrid

둘 다 중요하다면 => 트리 + XAI 도구 조합 (EBM, LightGBM + SHAP), 혹은 GAM-like 모델

 

Cold Start 유무

Cold Start 있음 => Content-based, Hybrid 모델 (메타 정보 사용)

Cold Start 없음 => Collaborative Filtering 기반 모델 (MF, ALS 등)

 

실시간성/운영 난이도

실시간 추천 필요 => 경량 모델

리소스 제한적 => Matrix Factorization, LightGBM, EBM

 

데이터를 기반으로 추천시스템 모델 선택 가이드라인 feat. chatgpt