미세 조정에 대해 알아보기

학습 목표

이 유닛을 완료하면 다음을 수행할 수 있습니다.

• 미세 조정에 대해 설명할 수 있습니다.
  
• 미세 조정의 메커니즘에 대해 설명할 수 있습니다.
  

시작하기 전에

이 뱃지에는 자연어 처리 기초, 대용량 언어 모델 및 프롬프트 기초 뱃지에 설명된 용어와 아이디어가 포함되어 있습니다. 해당 뱃지를 먼저 획득하는 것이 좋습니다.

간단한 복습

OpenAI의 GPT 시리즈 모델과 같은 대규모 언어 모델(LLM)은 인간과 유사한 텍스트를 이해하고 생성하도록 학습된 대규모 신경망입니다. 이러한 모델은 방대한 양의 데이터에 대해 학습을 받았으므로 광범위하고 일반적인 지식 기반을 갖추고 있습니다.

미세 조정이란 무엇인가요?

미세 조정은 방대하고 광범위하며 일반적인 사전 학습된 언어 모델을 가지고 더 작고 구체적인 데이터 집합에 대해 추가 학습(또는 '조정')을 하는 프로세스입니다. LLM의 경우, 이는 범용 기본 모델을 특정 사용 사례에 맞는 전문 모델로 변환하는 것을 의미합니다. 이렇게 하면 모델은 특정 작업에 더욱 전문화될 수 있습니다. 미세 조정은 사전 학습된 모델에 가중치를 추가하고, 이를 수정하여 더 나은 성능을 달성합니다.

예를 들어, 거의 모든 요리에 만능인 디지털 어시스턴트가 있다고 가정해 보겠습니다. 디지털 어시스턴트는 어떤 기본적인 요리도 만들 수 있지만, 베니스 여행에서 기억에 남는 멋진 이탈리아 요리를 만들길 원할 수도 있습니다. 이 경우 먼저 이탈리아 요리의 특징을 마스터하는 것이 필요합니다. 이를 위해 어시스턴트는 더 많은 이탈리아 요리 레시피와 기술에 노출되어 기존 기술을 개선할 수 있습니다. 이것이 미세 조정 과정에서 일어나는 일과 유사합니다.

단발성 학습

단발성 학습은 프롬프트에서 소량의 작업별 예제를 사용하여 모델이 작업을 더 잘 수행할 수 있도록 미세 조정하는 한 유형입니다. 이 작업은 프롬프트 디자인과 기본 LLM을 통해 이미 수행할 수 있습니다. 여기 프롬프트에는 지침과 때로는 여러 개의 예제가 포함되어 있습니다. 어떤 면에서 이는 작업과 관련된 작은 데이터 집합을 프롬프트에 미리 제공하는 것과 같습니다.

미세 조정은 프롬프트에 들어갈 수 있는 것보다 훨씬 더 많은 예제 집합을 학습하여 단발성 학습을 개선합니다. 이렇게 확장된 학습을 통해 특정 작업에서 더 나은 성능을 얻을 수 있습니다. 모델을 미세 조정한 후에는 프롬프트에 많은 예제를 넣을 필요가 없어지므로 비용이 절감되고 요청과 응답이 더 빨라집니다.

미세 조정 메커니즘

LLM을 미세 조정하는 데 필요한 몇 가지 단계를 살펴보겠습니다.

특수 데이터 집합 선택하기

미세 조정의 첫 번째 단계는 관심 있는 특정 작업을 나타내는 데이터 집합을 선택하는 것입니다. 이 데이터 집합은 일반적으로 초기 학습에 사용된 것보다 훨씬 작습니다. 다음 주요 영역에 집중합니다.

• 선택한 데이터 집합은 관심 있는 특정 작업 또는 도메인에 적합해야 합니다. 예를 들어, 환자 정보를 기반으로 의료 진단 모델을 조정하는 경우, 데이터 집합은 관련 임상 정보와 해당 진단 정보로 구성되어야 합니다.
  
• 항상 데이터 품질과 전문화된 데이터는 중요합니다. 이를 위해 더 작고 더 집중된 데이터 집합이 필요한 경우가 많습니다. 그러나 특정 작업의 특성을 포착하기 위해서는 충분한 양의 데이터가 필요합니다. 오류 또는 관련 없는 정보로 가득 찬 정돈되지 않은 데이터는 미세 조정 프로세스를 방해할 수 있습니다. 따라서 데이터를 사전에 처리하고 정리하는 것이 중요합니다.
  

모델 조정하기

미세 조정되는 모델의 핵심 아키텍처는 동일하게 유지되지만, 학습 속도와 같은 특정 하이퍼파라미터는 새 데이터 집합의 특성에 맞게 조정될 수 있습니다.

학습 계속하기

처음부터 학습을 시작하는 대신 새 데이터 집합에서 사전에 학습된 모델을 계속해서 학습합니다. 모델은 이미 다양한 일반적 지식을 학습했기 때문에 새 데이터 집합의 구체적인 내용을 빠르게 학습할 수 있습니다.

정규화 기법 적용하기

모델이 새 데이터 집합에 과하게 적응되어 과적합 현상이 발생하지 않도록 드롭아웃이나 가중치 감쇠와 같은 기법을 사용할 수 있습니다.

요약

미세 조정은 대규모의 일반적인 모델을 특정 작업에 적용할 수 있는 강력한 도구입니다. 그러나 어떤 도구든 사용되는 기술과 적용 중 고려되는 사항에 따라 성공 여부가 달라집니다. 다음 유닛에서는 LLM을 미세 조정해야 하는 이유를 다뤄보겠습니다.

리소스

• OpenAI 설명서: 미세 조정