transformer 구조3 [생성형 AI] GPT 개념 https://claremont.tistory.com/entry/LLM-LLM-%EB%B0%B0%EA%B2%BD-%EB%B0%8F-%EA%B5%AC%EC%A1%B0-%EC%9D%B4%ED%95%B4 [생성형 AI] 자연어 처리(NLP, Natural Language Processing) 개념ㅁ자연어 처리(NLP, Natural Language Processing): 컴퓨터가 인간의 언어(자연어)를 이해하고 처리할 수 있도록 하는 기술텍스트 데이터에서 의미를 추출하고, 문장을 생성하는 등의 작업을 수행하며, claremont.tistory.comhttps://claremont.tistory.com/entry/%EC%83%9D%EC%84%B1%ED%98%95-AI-Transformer-%EA%B5%AC%EC.. 2025. 2. 16. [생성형 AI] Transformer 구조 https://claremont.tistory.com/entry/LLM-LLM-%EB%B0%B0%EA%B2%BD-%EB%B0%8F-%EA%B5%AC%EC%A1%B0-%EC%9D%B4%ED%95%B4 [생성형 AI] 자연어 처리(NLP, Natural Language Processing) 개념ㅁ자연어 처리(NLP, Natural Language Processing): 컴퓨터가 인간의 언어(자연어)를 이해하고 처리할 수 있도록 하는 기술텍스트 데이터에서 의미를 추출하고, 문장을 생성하는 등의 작업을 수행하며,claremont.tistory.com ㅁTransformer 구조: 딥러닝 기반 자연어 처리 혁신 Transformer는 2017년 Google이 논문 "Attention is All You Nee.. 2025. 2. 16. [생성형 AI] 자연어 처리(NLP, Natural Language Processing) 개념 ㅁ자연어 처리(NLP, Natural Language Processing): 컴퓨터가 인간의 언어(자연어)를 이해하고 처리할 수 있도록 하는 기술텍스트 데이터에서 의미를 추출하고, 문장을 생성하는 등의 작업을 수행하며, 인공지능(AI)과 데이터 과학에서 중요한 분야이다. 그리고 이 NLP 분야에서 가장 주목받는 기술 중 하나가 바로 이 대규모 언어 모델(LLM, Large Language Model)이다. 1️⃣ 텍스트 전처리(Text Preprocessing)컴퓨터는 자연어를 직접 이해할 수 없기 때문에, NLP 작업을 수행하기 전에 데이터를 정제하는 과정이 필요하다1-1. 토큰화(Tokenization): 문장을 단어 또는 subword 단위로 분리e.g. "자연어 처리는 어렵다." → ["자연어".. 2025. 2. 14. 이전 1 다음
