rank 4가 시작점으로 일반적인 건가요?
랭크 r은 태스크 복잡도 보고 실험적으로 정하는 게 맞는 방향이에요. 너무 낮으면 표현력 부족, 너무높으면 오버피팅리스크 있고
파라미터 6600만이면 풀 파인튜닝 서버 비용이 꽤 나오죠. 회사에서 LoRA 쓰는 이유가 이거였구나 싶어요
파라미터가 6600만개라는 게 처음엔 감이 없었는데요. 이 모델을 돌리려면 서버 사양이 어느 정도 필요한건지 궁금했어요. 일반 사내 서버로는 무리한 건지
면접에서 LoRA 대 전체 파인튜닝 비교가 나온다는 건 현실적으로 맞는 말인데, 실제로 랭크 값을 어떻게 정하는 건지가 더 궁금하더라고요. 경험 기반으로 정하는 건지 아니면 기준 같은 게 있는건지
저랭크 근사 설명이 직관적이네요. SVD랑 연결해서 설명하면 더 자연스러울 것 같은데, 그 연결은 안 다루네요