본 포스팅은 OpenAI Prompt Engineering document를 참고로 제작되었습니다. 프롬프트 엔지니어링이란? 요즘 거대 LLM 모델들이 많이 사용되고 있는데 대표적으로 ChatGPT가 있을 수 있다. 간단한 비유를 하자면 얘네들은 세상 지식들을 전부 깨우치고 있는 애들이지만 굉장히 수동적인 친구들이다. 그래서 이런 똑똑한 친구들을 사용자가 원하는 결과를 얻기 위해 최적화하는 과정이 프롬프트 엔지니어링이라고 생각하면 된다. 프롬프트 엔지니어링 잘하는 법 총 아래 6가지 지침을 따른다면 더 나은 답변을 얻을 수 있다. 1. 명확한 지침을 작성하라 2. 레퍼런스를 제공하라 3. GPT에게 "생각"할 시간을 줘라 4. 복잡한 작업을 하위 작업으로 분할하라 5. 외부 도구를 사용하라 6. 변경 사..

유전 알고리즘(Genetic Algorithm, GA)은 자연 선택과 유전학의 원리를 모방하여 문제의 해결책을 찾는 검색 알고리즘이다. 해당 알고리즘은 조금 더 복잡한 최적화에 중점이 맞춰져 있다. 또 재밌는점은 자연의 진화과정을 모방했다고 생각하면된다. 유전알고리즘의 구조 1. 초기 개체군 생성 - 임의로 생성한 일종의 데이터라고 생각하면됨 2. 초기 개체군의 적합도 평가 - 우리가 풀려고 하는 문제에서 얼마나 적합한지를 평가하는 것 3. 적합도를 바탕으로 더 높은 적합도를 가진 유전자를 선택 - 좋은 유전자끼리 묶어서 좋은 유전자를 자손에게 물려줘야 하기 때문에 4. 자손 생성 및 돌연변이 생성 - 지역 최적해에 빠지지 않게 만들기위해 5. 종료조건 확인 후 반복 단순하게 보면 이렇다. 하지만 이것도..

전 포스팅에서는 데이터 하나에 대한 손실함수만을 생각했다. 이제 훈련 데이터 모두에대한 손실함수를 구해보자 전 포스팅이 궁금하면 아래 링크로 들어가라 https://i-enable.tistory.com/24 [DL] Loss Function(손실 함수)란? 손실 함수의 정의 종류 등 연관이 깊은 배치에 대해 다뤄보자. 손실함수란? 사람들한테 "현재 행복하시나요?"라고 물어볼 때 대부분의 대답들은 "많이 행복해요", "적당히 행복한 거 같아요" 등등 i-enable.tistory.com mini batch(미니배치) 학습 대표적으로 MNIST 데이터셋은 훈련 데이터셋이 6만개인데 모든 데이터를 대상으로 손실 함수의 합을 구하는데는 오래걸린다. 또한 다른 데이터셋의 경우에는 몇억개 있을수도 있는거다. 이런 ..

손실 함수의 정의 종류 등 연관이 깊은 배치에 대해 다뤄보자. 손실함수란? 사람들한테 "현재 행복하시나요?"라고 물어볼 때 대부분의 대답들은 "많이 행복해요", "적당히 행복한 거 같아요" 등등의 답변이 일반적인 경우이다. 그런데 만약에 아래와 같이 대답한다면 어떤가? 내 행복지수는 3.23입니다. 이 사람은 하나의 지표를 가지고 행복을 수치적으로 판단한 것이다. (이런 사람 보이면 피하도록 하자) 이 이야기를 한 이유는 신경망과 관련이 있기 때문이다. 신경망 학습에서 하나의 지표로 표현되는 것은 "현재의 상태"이다. 그 지표를 좋게 만들어주는 것이 가중치 매개변수의 값을 탐색하는 것. 즉, 하나의 지표를 기준으로 최적의 매개변수 값을 탐색한다. 신경망에서 사용되는 지표는 Loss function(손실 ..