언어 모델(lm)1 [생성형 AI] 자연어 처리(NLP, Natural Language Processing) 개념 ㅁ자연어 처리(NLP, Natural Language Processing): 컴퓨터가 인간의 언어(자연어)를 이해하고 처리할 수 있도록 하는 기술텍스트 데이터에서 의미를 추출하고, 문장을 생성하는 등의 작업을 수행하며, 인공지능(AI)과 데이터 과학에서 중요한 분야이다. 그리고 이 NLP 분야에서 가장 주목받는 기술 중 하나가 바로 이 대규모 언어 모델(LLM, Large Language Model)이다. 1️⃣ 텍스트 전처리(Text Preprocessing)컴퓨터는 자연어를 직접 이해할 수 없기 때문에, NLP 작업을 수행하기 전에 데이터를 정제하는 과정이 필요하다1-1. 토큰화(Tokenization): 문장을 단어 또는 subword 단위로 분리e.g. "자연어 처리는 어렵다." → ["자연어".. 2025. 2. 14. 이전 1 다음
