AI · 머신러닝 · 딥러닝 · LLM 완전 정복 — 비전공자도 이해하는 네 가지 핵심 개념 -

요즘 하루에도 몇 번씩 마주치는 단어들이 있습니다. AI, 머신러닝(Machine Learning, ML), 딥러닝(Deep Learning, DL), LLM(Large Language Model), GPT(Generative Pre-trained Transformer), 모델(Model), 파라미터(Parameter), 파인튜닝(Fine-tuning), 강화학습(Reinforcement Learning from Human Feedback), 기반 모델(Foundation Model), 소버린 AI(Sovereign AI)… 뉴스에서도, 강연에서도, 직장 대화에서도 이 단어들이 쉴 새 없이 등장해서 우리의 눈과 귀를 어지럽힙니다.

이 수많은 단어들 중에 우리가 기억해야 할 가장 중요한 핵심은 AI, 머신러닝, 딥러닝, LLM 이 4가지가 거의 전부라고 해도 과언이 아닙니다. 그런데 솔직히 이 네 가지가 정확히 어떻게 다른지 명확히 설명할 수 있는 사람은 많지 않습니다.

저도 처음엔 그랬습니다. “대충 AI가 제일 먼저 고안됐고 그 다음 ML, 그다음 DL을 거쳐서 결과적으로 LLM이 나왔다.” 정도로 얼버무리며 넘어가곤 했습니다. 그런데 오늘날의 AI에 있어서 근본이 된 이 개념들이 어떤 관계인지, 각각이 무엇을 해결하는지 알아야 AI를 제대로 이해하고 활용할 수 있다고 생각합니다.

이 포스팅에서는 수식도, 코드도 없이 AI에서 시작해서 머신러닝, 딥러닝, LLM까지 — 각 단계가 이전 단계의 어떤 한계를 돌파해서 등장했는지를 함께 파고들어 봅니다.

첫 번째 층: AI — 지능을 기계로

1956년 여름, 미국 뉴햄프셔주 다트머스 대학.

수학자, 심리학자, 컴퓨터 과학자들이 한자리에 모여 당시로서는 황당한 질문을 진지하게 논의했습니다. “기계가 생각할 수 있는가?”

이 모임에서 존 매카시(John McCarthy)라는 수학자가 “Artificial Intelligence(인공지능)”라는 단어를 처음 공식 사용했습니다. 그로부터 70년이 지난 지금, 우리는 그 질문의 답에 한없이 가까워졌지만, 정작 AI가 뭔지 정확히 정의하는 건 여전히 까다롭습니다.

가장 간단하게는 이렇게 정의할 수 있습니다.

AI(인공지능): 인간의 지능적 행동 — 문제 해결, 추론, 언어 이해, 패턴 인식 — 을 컴퓨터로 구현하려는 학문과 기술의 총칭.

중요한 건 AI가 하나의 기술이 아니라 우산 같은 개념이라는 겁니다. 머신러닝도 AI고, 딥러닝도 AI고, LLM도 AI입니다. 길찾기 알고리즘도, 이메일 스팸 필터도 모두 AI입니다.

아래 그림은 AI, 머신러닝, 딥러닝, LLM이 어떤 포함 관계인지 보여줍니다. AI라는 집 안에 머신러닝이라는 방이 있고, 그 방 안에 딥러닝이라는 작은 방이, 그 안에 LLM이라는 금고가 있는 구조입니다.

이 그림 하나만 기억하세요. 앞으로 이야기할 모든 개념이 AI라는 큰 집 안에 들어있습니다.

두 번째 층: 머신러닝 — 데이터가 선생이 되다

AI가 막 태동하던 시기, 연구자들의 주요 접근법은 명확했습니다. 인간의 지식과 규칙을 컴퓨터에 직접 입력하는 것이었죠.

스팸 메일 필터를 만든다고 해봅시다. 규칙 기반(Rule-based) 방식이라면 이렇습니다.

“제목에 ‘무료’, ‘당첨’, ‘클릭’이 있으면 스팸. 발신자 도메인이 알 수 없는 .xyz면 스팸. 본문에 링크가 5개 이상이면…”

처음 100개 규칙을 만들고 나면 스팸 발송자들은 그 규칙을 피하는 새 문구를 씁니다. 규칙을 100개 더 만들면 또 피하죠. 이 게임은 끝이 없습니다.

머신러닝은 이 문제를 완전히 다른 방식으로 접근합니다.

규칙을 직접 쓰는 대신, 수백만 통의 스팸과 정상 메일 데이터를 보여주면 — AI가 스스로 패턴을 찾아냅니다.

좋은 요리사의 비유를 들어 보겠습니다. 레시피(규칙)를 달달 외워서 요리하는 사람과, 수백 번 직접 요리하면서 재료의 감과 불 조절 요령을 몸으로 익힌 사람. 전자는 레시피에 없는 상황에서 막히지만, 후자는 냉장고에 뭐가 있든 뭔가를 만들어냅니다.

머신러닝에서 “학습”이란 이 두 번째 요리사처럼, 경험(데이터)으로부터 규칙을 스스로 발견하는 과정입니다.

머신러닝의 세 가지 학습 방식

머신러닝 안에서도 “어떻게 학습하느냐”에 따라 크게 세 가지로 나뉩니다.

강화학습(Reinforcement Learning)은 “행동 → 보상”의 반복 구조로 학습합니다. Google DeepMind의 AlphaGo는 수백만 번의 바둑 대국을 거치면서 스스로 최적 전략을 찾아냈습니다. 인간이 “이 상황에선 이렇게 두어라”라고 가르친 게 아니라, 이기면 보상 지면 패널티를 주면서 AI가 직접 전략을 발견한 겁니다.

두 번째 층의 벽: 머신러닝이 막힌 곳

머신러닝은 규칙 기반의 한계를 돌파했지만, 한 가지 근본적인 문제가 남아있었습니다.

고양이 사진을 인식하는 AI를 만들고 싶다고 해봅시다. 머신러닝 방식으로 하려면 개발자가 먼저 이런 결정을 내려야 합니다.

“고양이를 구별하는 특징이 뭐지? 귀 모양? 수염? 눈의 형태? 털의 질감?”

이처럼 어떤 특징(feature)을 AI에게 줄지를 사람이 직접 선택하고 설계하는 과정을 특징 추출(Feature Engineering) 이라고 합니다. 문제는 이게 굉장히 어렵다는 겁니다.

고양이는 품종마다 귀 모양도 다르고, 각도마다 수염이 안 보일 수도 있고, 어두운 사진에서는 털 질감도 알 수 없습니다. 어떤 특징을 골라야 할지 정하는 것 자체가 전문가의 영역이었고, 특징을 잘못 고르면 AI 성능이 바닥을 쳤습니다.

“기계가 어떤 특징이 중요한지도 스스로 배울 수 없을까?” — 이 질문이 딥러닝의 출발점입니다.

세 번째 층: 딥러닝 — 기계가 특징을 스스로 찾다

딥러닝을 이해하려면 인공신경망(Artificial Neural Network)이라는 개념부터 시작해야 합니다.

이름이 무섭게 들리지만 핵심은 간단합니다. 뇌의 뉴런이 서로 연결되어 신호를 전달하는 방식을 수학적으로 흉내 낸 것입니다. 실제 뇌와 완전히 같은 건 아니지만, 핵심 아이디어는 빌려왔습니다.

취업 면접을 떠올려보세요. 1차는 서류와 기본 역량을 훑습니다. 통과하면 2차에서 직무 적합성을 더 깊이 파고들고, 최종 면접에서는 가치관과 잠재력까지 봅니다. 각 단계는 이전 단계의 결과를 받아 더 추상적인 질문으로 심화됩니다. 인공신경망도 똑같습니다 — 사진이 들어오면 1층이 픽셀의 밝기 차이(엣지)를 잡아내고, 2층은 그 엣지들로 형태를 파악하고, 3층은 눈·코·귀 같은 부위를 인식합니다. 각 층은 이전 층의 결과를 넘겨받아 점점 더 추상적인 특징을 찾아냅니다. 최종 결론 — “고양이다/아니다” — 은 그 끝에 나옵니다.

왜 “Deep(깊은)”인가

딥러닝에서 “딥”은 이 면접 층(Layer)의 수를 말합니다. 심층면접일수록 더 본질적인 것을 묻듯, 층이 깊을수록 더 복잡하고 추상적인 패턴을 학습할 수 있습니다.

고양이 이미지를 예로 들면:

딥러닝이 혁명적인 이유가 바로 여기 있습니다. 사람이 “귀 모양을 봐”라고 알려줄 필요 없이, 수백만 장의 고양이 사진을 보여주면 AI가 스스로 “귀 모양이 중요하다”는 걸 발견합니다.

ImageNet 대회 – AI 혁명의 시작점

2012년 이야기를 하려면 먼저 그 무대가 어떻게 만들어졌는지 알아야 합니다.

2000년대 중반, 스탠퍼드 대학의 페이페이 리(Fei-Fei Li) 교수는 AI 연구에서 근본적인 문제를 직감했습니다. 당시 AI 모델들은 수백~수천 장의 사진으로 학습했는데, 인간의 아이는 태어나서 수년간 수억 개의 시각 정보를 접하며 세상을 배웁니다. 데이터 규모 자체가 틀렸다는 생각이었죠.

그녀는 2007년부터 전 세계 크라우드소싱 작업자들을 동원해 이미지에 라벨을 붙이는 거대한 프로젝트를 시작했습니다. 완성된 ImageNet 데이터셋은 1,400만 장 이상의 이미지에 2만 2천여 개의 카테고리 라벨이 붙어있었습니다. 개 한 종류만 해도 품종별로 수천 장씩이었죠.

2010년부터는 이 데이터셋을 기반으로 ILSVRC(ImageNet Large Scale Visual Recognition Challenge) 라는 연간 이미지 인식 경진대회가 시작됐습니다. 세계 각국의 연구팀이 1,000개 카테고리의 이미지를 얼마나 정확하게 분류하는지를 겨루는 대회였습니다. 페이페이 리 교수가 이 대회를 통해 목표한 것은 단순한 경쟁이 아니었습니다. AI 연구자 전체가 같은 기준과 같은 데이터로 진보를 측정할 수 있는 공통의 벤치마크를 만드는 것이었죠.

2012년, 세상이 바뀐 순간

2012년 캐나다 토론토 대학의 Alex Krizhevsky, Ilya Sutskever, Geoffrey Hinton 팀이 AlexNet이라는 딥러닝 모델로 이 ILSVRC 대회에 출전했습니다.

당시 2위팀의 오류율이 26.2%였는데, AlexNet은 15.3%를 기록했습니다. 10.8%포인트 차이, 이건 경쟁 상대를 앞선 게 아니라 완전히 다른 차원의 결과였습니다.

이 한 번의 대회로 AI 연구의 방향이 완전히 바뀌었습니다. 이후 딥러닝 모델들은 해마다 오류율을 낮췄고, 2015년에는 오류율 3.57%로 인간의 인식 능력(약 5%)을 처음 초과했습니다.

이 폭발은 세 가지 조건이 동시에 무르익었기 때문에 가능했습니다.

조건	내용
💾 대규모 데이터	ImageNet: 100만 장 이상의 라벨링된 이미지
⚡ GPU 병렬 연산	NVIDIA CUDA로 훈련 속도가 수십 배 향상
🔬 개선된 알고리즘	ReLU 활성화 함수(Activation Function), Dropout으로 과적합(Overfitting) 방지

세 번째 층의 한계: 언어는 달랐다

딥러닝은 이미지를 인식하고, 소리를 분류하고, 바둑을 두는 데 탁월한 성과를 보였습니다. 그런데 언어 앞에서는 다른 벽에 부딪혔습니다.

이미지는 각 픽셀이 비교적 독립적입니다. 왼쪽 위 픽셀이 오른쪽 아래 픽셀에 의미적으로 얽혀있는 경우는 드물죠. 하지만 언어는 전혀 다릅니다.

“나는 어제 공원에서 그것을 주웠다.”

‘그것’이 무엇인지 이해하려면 앞 문장 전체를 다 알아야 합니다. 심지어 소설이라면 수십 페이지 전에 나온 내용이 ‘그것’일 수도 있습니다.

당시 사용하던 RNN(Recurrent Neural Network, 순환신경망)이라는 방식은 문장을 단어 하나씩 순서대로 처리했는데, 문장이 길어질수록 앞부분 정보를 잊어버리는 문제가 있었습니다. 마치 책을 읽는데 한 페이지 읽으면 이전 페이지 내용이 희미해지는 것처럼요.

“문장 전체를 한 번에, 모든 단어의 관계를 동시에 파악할 수 있다면?” — 이 아이디어가 Transformer의 출발점입니다.

네 번째 층: LLM — 언어를 이해하는 거대한 지성

Attention: “어디를 봐야 할지”를 스스로 결정

2017년 Google의 연구팀이 “Attention is All You Need”(비틀즈의 ‘Love is All You Need’의 패러디)라는 논문을 발표했습니다. 현재까지 17만 3천 회 이상 인용된, AI 역사상 가장 영향력 있는 논문 중 하나입니다.

핵심 아이디어인 Attention(어텐션) 메커니즘을 쉽게 설명하면 이렇습니다.

탐정 드라마에서 자주 보는 장면을 떠올려보세요. 벽 한 가득 사진과 메모가 핀으로 꽂혀 있고, 탐정이 관련 있는 것들 사이에 실을 연결합니다. 두 단서의 관계가 강할수록 실이 굵고, 약할수록 가늘죠. 중요한 건 이 연결이 벽 전체를 한 번에 펼쳐놓은 상태에서 이루어진다는 겁니다 — 하나씩 순서대로 보는 게 아니라. Attention도 똑같습니다. 문장의 모든 단어를 벽에 펼쳐놓고, 각 단어가 나머지 단어들과 얼마나 관련 있는지를 동시에, 병렬로 실로 잇습니다. 바로 아래 그림이 그 벽입니다.

중요한 점은 이 계산이 단어를 순서대로 처리하지 않고 문장 전체를 한 번에 병렬로 처리한다는 겁니다. 덕분에 이전 방식보다 훨씬 빠르게 훈련할 수 있었고, 긴 문맥도 잘 다룰 수 있게 됐습니다.

Attention이 메커니즘(부품)이라면, Transformer는 그 Attention을 핵심으로 설계된 신경망 아키텍처(완성품)입니다. 논문 제목 “Attention is All You Need”는 이를 선언한 것 — RNN의 복잡한 순차 구조 없이 Attention만으로 언어를 처리하는 아키텍처를 만들 수 있다는 주장이었습니다. 이 Transformer 구조가 이후 GPT, BERT, Claude 등 모든 현대 LLM의 설계 기반이 됩니다.

한 단어씩, 자기 자신을 보며 생성하다

LLM이 답변을 만드는 원리는 의외로 단순합니다. “지금까지의 텍스트를 보고 다음에 올 가장 그럴듯한 단어를 예측” — 이것을 끝없이 반복하는 것입니다.

“오늘 날씨가 맑아서 기분이”라는 입력이 들어오면, LLM은 다음 단어로 “좋다”, “상쾌하다”, “밝아진다” 등의 확률을 계산하고 하나를 선택합니다. 이번엔 “오늘 날씨가 맑아서 기분이 좋다”를 입력으로 받아 또 다음 단어를 예측합니다. 문장이 끝날 때까지 이 과정이 계속됩니다.

이를 자기회귀(Auto-regressive) 생성이라 합니다. 자신이 방금 예측한 출력을 다시 입력으로 받아 다음을 예측하기 때문입니다. ChatGPT가 답변을 한 글자씩 타이핑하듯 출력하는 이유가 바로 이것입니다 — 실제로 토큰(Token)이라 불리는 단위를 하나씩 순서대로 생성하고 있는 겁니다. 사전학습에서 “다음 단어 예측”을 수조 번 반복한 것도 이 생성 방식을 학습하기 위해서입니다.

한 가지 흥미로운 점이 있습니다. LLM은 항상 확률이 가장 높은 단어만 고르지는 않습니다. 약간의 무작위성을 더하는데, 이 덕분에 같은 질문에도 매번 다른 답변이 나오고 창의적인 문장도 만들어집니다. API에서 자주 보이는 Temperature 값이 바로 이 무작위성의 강도를 조절합니다.

낮은 Temperature (0~0.3): 확률이 높은 단어를 거의 항상 선택합니다. 답변이 일관되고 예측 가능하지만, 같은 질문을 반복하면 거의 똑같은 답이 나옵니다. 사실 기반 답변이 중요한 코드 생성, 데이터 추출, 정형화된 요약처럼 정확성과 재현성이 우선일 때 적합합니다.
높은 Temperature (0.7~1.2): 확률이 낮은 단어도 선택될 기회가 생겨 예상 밖의 조합이 나옵니다. 답변이 다양하고 신선하지만, 지나치게 높으면 문장이 맥락을 잃고 엉뚱한 방향으로 흐를 수 있습니다. 브레인스토밍, 창작, 마케팅 카피처럼 다양성과 창의성이 우선일 때 적합합니다.

결국 Temperature는 “얼마나 예측 가능한 답을 원하느냐”와 “얼마나 다양한 답을 원하느냐” 사이의 트레이드오프를 조절하는 손잡이입니다. 정해진 정답이 있는 작업엔 낮게, 열린 창작 작업엔 높게 설정하는 것이 기본 원칙입니다.

LLM은 어떻게 만들어지나

Transformer 아키텍처를 기반으로 현재의 LLM이 탄생했습니다. 그런데 ChatGPT 같은 모델이 어떻게 이렇게 자연스러운 대화를 할 수 있는 걸까요? 학습은 크게 세 단계로 이루어집니다.

① 사전학습(Pre-training): 언어 자체를 배우는 단계

사전학습의 목표는 단순합니다. “주어진 텍스트에서 다음에 올 단어를 예측하라.” 이것을 수조 번 반복합니다. 학습 데이터는 웹 크롤링(Common Crawl), 위키피디아, 수백만 권 분량의 책, 학술 논문, 소스 코드, 뉴스 아카이브 — 인터넷에 존재하는 글자들을 망라합니다. GPT-3는 약 4,500억 토큰을 학습했습니다.

“다음 단어 예측”이라는 단순한 목표만으로 어떻게 언어를 이해하게 될까요? 핵심은 예측을 잘하려면 언어에 관한 거의 모든 것을 알아야 한다는 역설에 있습니다. “오늘 날씨가 맑아서 기분이 “를 채우려면 날씨 어휘, 감정 표현, 인과 접속 구조를 알아야 합니다. “He said she would “의 다음 단어를 맞추려면 영어 시제 일치 규칙이 필요합니다. “파리는 프랑스의 ___”라면 세계 지리 지식이 있어야 합니다. 예측할 때마다 오차를 측정하고, 그 오차를 줄이는 방향으로 수백억 개의 파라미터를 조금씩 수정하는 과정을 수조 번 반복하다 보면 — 모델은 이 모든 지식을 파라미터 값의 형태로 스스로 쌓아 올립니다. 누가 “이게 문법 규칙이야”라고 알려준 것이 아니라, 더 잘 맞추려다 보니 자연스럽게 내면화된 구조입니다.

이 과정에서 모델 내부에 생겨나는 가장 중요한 것 중 하나가 임베딩(Embedding)입니다. 각 단어(토큰)는 수백~수천 개의 숫자로 이루어진 좌표값으로 표현되는데, 지도에서 비슷한 지역끼리 가까이 있듯 학습이 진행될수록 의미가 비슷한 단어들은 이 좌표 공간에서 가까운 자리에 모입니다. “왕”과 “여왕”은 가깝고, “뜨겁다”와 “차갑다”는 반대 방향에 놓이는 식입니다. 이 임베딩은 LLM 내부에만 머물지 않습니다. 텍스트를 좌표로 변환하는 능력 자체를 꺼내 외부에서도 쓸 수 있는데, 문서들을 임베딩 좌표로 변환해 저장해두면 나중에 “의미적으로 비슷한 문서”를 순식간에 찾아낼 수 있습니다. 이런 좌표를 전문적으로 저장·검색하는 저장소를 벡터 데이터베이스(Vector Database)라 합니다. Pinecone, Weaviate, Chroma 같은 제품이 여기에 해당하며, LLM이 학습 데이터에 없는 최신 정보나 사내 문서를 참조해 답변하게 만드는 RAG(Retrieval-Augmented Generation) 기법의 핵심 부품이 바로 이것입니다.

임베딩과 함께, 앞서 설명한 Attention도 사전학습을 거치며 역할이 분화됩니다. 처음에 무작위로 초기화됐던 여러 Attention 헤드들이 각자 다른 패턴을 담당하도록 전문화되는 겁니다. 어떤 헤드는 주어와 동사의 수 일치를 추적하고, 어떤 헤드는 “그것”이 앞 문장의 어느 명사를 가리키는지 파악하며, 어떤 헤드는 수십 문장 앞의 전제를 현재 문맥과 연결하는 식으로 분업합니다. 이 모든 구조 — 임베딩 좌표, Attention 헤드의 전문화, 언어와 세계 지식 — 가 수백억 개의 파라미터 값으로 녹아 분산 저장됩니다. 특정 지식이 특정 파라미터 하나에 따로 보관되는 것이 아니라, 수많은 파라미터가 협력해 하나의 지식을 표현하는 방식입니다.

사전학습이 끝난 모델을 기반 모델(Foundation Model)이라 부릅니다. 언어를 깊이 이해하지만 대화는 못 합니다 — 질문을 받으면 답변 대신 비슷한 텍스트를 계속 이어 씁니다. 언어는 알지만 대화 예절은 모르는 상태입니다. 또한 이 단계가 가장 많은 자원이 들어갑니다. GPT-4급 모델 하나를 사전학습하는 데 수천 개의 A100 GPU가 수 개월 동안 가동되며, 비용은 수천만~수억 달러로 추정됩니다. 이 때문에 오픈AI, 구글, 앤트로픽, 메타 같은 소수의 대형 기업만이 자체 기반 모델을 훈련할 수 있습니다.

② 미세조정(Fine-tuning / SFT): 대화하는 법을 배우는 단계

기반 모델은 언어를 알지만 “지시를 따르는” 법을 모릅니다. 미세조정은 사람이 직접 작성한 고품질 대화 쌍 — “질문: ~~, 이상적인 답변: ~~” — 을 수만~수십만 건 준비해, 기반 모델에게 “사람이 질문하면 유용한 답변을 생성하라”는 행동 양식을 학습시킵니다. 이 방식을 지시 조정(Instruction Tuning) 또는 지도 학습 미세조정(SFT, Supervised Fine-Tuning)이라 부릅니다. 사전학습보다 데이터 양은 훨씬 적지만 품질이 핵심입니다. OpenAI는 GPT-3를 InstructGPT로 변환하는 데 약 13,000건의 예시만 사용했습니다 — 수억 달러짜리 기반 모델을 소량의 고품질 데이터로 근본적으로 바꾼 셈입니다.

미세조정의 쓰임은 대화 능력에 그치지 않습니다. 의료·법률·금융 도메인에 특화된 모델, 특정 언어 성능을 높인 모델, JSON이나 SQL만 출력하는 형식 특화 모델, 특정 회사 어조에 맞춘 스타일 모델까지 — 기반 모델 위에 목적에 맞는 레이어를 얹는 방식으로 다양하게 활용됩니다.

③ RLHF: 사람이 좋아하는 답변을 배우는 단계

미세조정만으로도 쓸 만한 대화 모델이 됩니다. 그런데 “유용하다”는 기준이 모호합니다 — 두 답변 중 어느 쪽이 더 낫냐고 모델에게 물어볼 수는 없으니까요. 이 문제를 해결하는 것이 RLHF(Reinforcement Learning from Human Feedback, 인간 피드백 강화학습)입니다. 먼저 인간 평가자(Annotator)가 같은 질문에 대한 여러 답변에 선호도 순위를 매깁니다. 이 데이터로 “인간이 이 답변을 얼마나 좋아할까?”를 수치로 출력하는 보상 모델(Reward Model)을 학습시키고, 그 점수를 보상 신호로 삼아 본 LLM이 점수 높은 답변을 더 자주 생성하도록 PPO(Proximal Policy Optimization) 강화학습으로 파라미터를 조정합니다.

이 과정을 통해 모델은 “문법적으로 맞는 문장”을 넘어 “사람이 실제로 유용하다고 느끼는 답변” 방향으로 정렬(Alignment)됩니다. ChatGPT가 해로운 요청을 거절하고 모르는 것을 모른다고 말하는 것이 모두 RLHF의 결과입니다. Anthropic(Claude 개발사)은 이를 발전시킨 CAI(Constitutional AI)를 사용합니다. 인간 평가자 대신 미리 정의한 원칙(헌법)에 따라 AI 스스로 자신의 답변을 비판하고 수정하게 해, 인간 개입을 줄이면서도 일관된 안전 기준을 유지합니다.

파라미터: 모델의 크기를 재는 단위

LLM 뉴스를 보면 “1,750억 파라미터”, “1조 파라미터”라는 말이 나옵니다. 파라미터란 뭘까요?

파라미터의 정체: 신호의 강약을 결정하는 숫자들

신경망은 뉴런들이 연결된 그물망입니다. 한 뉴런의 출력이 다음으로 전달될 때 신호의 세기를 결정하는 숫자가 가중치(Weight), 각 뉴런의 기본 편향값이 편향(Bias)이며, 이 둘을 합쳐 파라미터라고 부릅니다. 레시피의 “밀가루 2컵, 설탕 1컵, 버터 0.5컵”처럼 비율 하나하나가 파라미터입니다. 학습 초기엔 이 값들이 모두 무작위로 초기화됩니다. 모델이 “다음 단어 예측”을 시도해 오차가 생기면, 그 오차를 역으로 추적해 잘못된 파라미터를 조금씩 수정합니다 — 이를 역전파(Backpropagation)라 합니다. 이 과정을 수조 번 반복하면서 수백억 개의 파라미터 값이 동시에 조정되며 모델이 완성됩니다. GPT-3 학습에는 수천 개의 GPU가 수십 일 동안 가동됐고, 비용은 수백만 달러로 추정됩니다.

파라미터 수 = 기억 용량이자 표현력

한 가지 짚고 넘어갈 오해가 있습니다. 파라미터 수는 학습을 반복한다고 늘어나지 않습니다. 모델 설계 시 레이어 수와 너비를 미리 정하면 파라미터 수가 고정되고, 이후 학습은 그 값들을 조정하는 과정입니다. 1,750억 파라미터 모델은 학습 전후로 파라미터 수가 똑같이 1,750억 개입니다. 파라미터가 많다는 것의 의미는 용량(capacity) — 표현할 수 있는 패턴의 공간이 얼마나 넓은가입니다. 파라미터가 적은 모델은 굵직한 문법 패턴만 담고, 많은 모델은 “이 문맥엔 반어법이 어울린다”, “이건 의학 논문 투다”처럼 훨씬 섬세한 패턴까지 포착합니다. 악보의 오선지 줄 수에 비유할 수 있습니다. 줄이 5개면 단순한 멜로디만, 수백 개면 오케스트라 총보도 적을 수 있습니다. 단어 간 미묘한 맥락, 문화적 뉘앙스, 분야별 전문 지식이 모두 이 숫자들 속에 인코딩됩니다. 인간의 뇌 시냅스가 약 100조 개임을 감안하면, 현재 가장 큰 LLM도 그 수십 분의 1 수준입니다.

실제 모델 크기 비교

모델	파라미터 수	특징
GPT-2 (2019)	15억 (1.5B)	당시 “너무 위험해서 공개 불가” 판정, 지금은 소형 모델 수준
GPT-3 (2020)	1,750억 (175B)	이 규모에서 창발적 능력(emergent ability)이 처음 관찰됨
LLaMA 2 70B (2023)	700억 (70B)	오픈소스, 고성능 GPU 서버에서 실행 가능
GPT-4 (2023)	~1.8조 추정	비공개, 전문가 혼합(MoE) 구조로 추정
Claude 3 Opus (2024)	비공개	복잡한 추론에서 최상위권

“파라미터가 많으면 무조건 좋다”고 단정하기 어려운 이유가 있습니다. 학습 데이터의 품질, 학습 방법, 파인튜닝 여부에 따라 훨씬 작은 모델이 특정 영역에서 큰 모델을 이기는 일도 흔합니다.

파라미터 수와 메모리·비용의 관계

파라미터 하나는 float16 기준 2바이트를 차지합니다. 이를 기준으로 7B 모델은 약 14GB, 70B 모델은 약 140GB, 175B(GPT-3급) 모델은 약 350GB의 VRAM이 필요합니다. 그래서 실무에서는 양자화(Quantization)를 씁니다. 파라미터를 4~8비트로 압축해 메모리를 절반~4분의 1로 줄이는 방식으로, 정확도가 약간 떨어지지만 로컬 PC에서도 고성능 모델을 실행할 수 있게 해줍니다. Ollama, llama.cpp가 이 방식을 사용합니다.

크다고 항상 좋은 건 아니다 — 트레이드오프

파라미터가 많아질수록 추론 속도가 느려지고 GPU 연산 비용이 비례해 올라갑니다. 학습 데이터 대비 파라미터가 지나치게 많으면 모델이 데이터를 “외워버리는” 과적합(Overfitting) 현상도 생겨, 새로운 상황에 일반화가 안 됩니다. 이런 트레이드오프 때문에 최근 연구는 무조건 크게 만들기보다 “같은 파라미터 수로 얼마나 효율적으로 학습할 수 있는가”에 집중합니다. DeepMind의 Chinchilla 논문(2022)은 “모델 크기를 두 배 늘리려면 학습 데이터도 두 배 늘려야 효율적”이라는 법칙을 제시하며 업계의 학습 방식을 바꿨습니다.

마무리: 네 층의 집, 당신이 살 곳은

지금까지 걸어온 길을 간략히 정리합니다.

AI — 지능을 기계로 구현하려는 학문의 총칭. 규칙 기반 시스템부터 최신 LLM까지 모두 포함.
머신러닝 — 규칙을 직접 쓰는 대신, 데이터에서 스스로 패턴을 찾는 방식으로의 전환.
딥러닝 — 특징 추출마저 AI가 스스로 학습하는 방식. 2012년 AlexNet으로 폭발적으로 성장.
LLM — Transformer 아키텍처로 “언어”를 학습한 거대한 모델. 텍스트 이해와 생성의 패러다임을 바꿨다.

각 단계는 이전 단계의 한계를 돌파하면서 등장했고, 서로를 대체하는 게 아니라 포함합니다.

각 개념이 서로 어떻게 연결되는지 이해가 됐다면, AI라는 큰 집 안에서 각 방이 어떤 문제를 해결하며 등장했는지를 기억해 두는 것이 좋습니다. 앞으로 어떤 AI 뉴스를 접하더라도 “이건 딥러닝 이야기구나”, “이건 LLM 이야기구나” 하고 자리를 잡을 수 있을 것입니다.

자주 묻는 질문

Q. AI와 머신러닝은 다른 건가요?
AI는 “지능적 행동을 기계로 구현한다”는 큰 개념이고, 머신러닝은 그 안에서 “데이터로 스스로 학습”하는 방식입니다. 머신러닝은 AI의 한 분야입니다.

Q. 딥러닝을 모르면 LLM을 사용할 수 없나요?
사용에는 전혀 지장이 없습니다. ChatGPT나 Claude를 활용하는 데 딥러닝 지식이 필요하지 않습니다. 다만 LLM이 왜 그렇게 동작하는지 이해하고 싶다면 딥러닝의 기본 개념이 도움이 됩니다.

Q. LLM과 GPT는 같은 말인가요?
다릅니다. LLM(Large Language Model)은 대형 언어 모델 전체를 가리키는 범주이고, GPT는 OpenAI가 만든 특정 LLM 시리즈의 이름입니다. Claude, Gemini, LLaMA도 모두 LLM입니다.

Q. 파라미터가 많으면 무조건 더 좋은 AI인가요?
파라미터 수는 표현 가능한 패턴의 범위(용량)를 나타내지, 성능 자체를 보장하지 않습니다. 학습 데이터 품질, 파인튜닝 방법, 특정 태스크에 따라 작은 모델이 큰 모델을 앞서는 경우도 흔합니다.

AI · 머신러닝 · 딥러닝 · LLM 완전 정복 — 비전공자도 이해하는 네 가지 핵심 개념

목차