AI for Everyone

SEARCH RESULTS

“LLM”

40건

LLM Observability

LLM 옵저버빌리티

개발 분야에서 쓰이는 LLM observability(대규모 언어모델 관측가능성)의 약자로, LLM 애플리케이션의 내부 상태를 그 출력으로 추적·이해·분석하는 체계입니다. 모델에 들어간 프롬프트, 나온 응답, 토큰 사용량, 지연, 비용, 그리고 중간의 검색·도구 호출을 트레이스 단위로 기록합니다. AI는 같은 입력에도 다른 답을 내는 비결정적 특성이 있어, 관측 도구 없이 디버깅하면 추측에 가까워집니다. 그래서 서비스에 올린 뒤 왜 이 답이 나왔는지 되짚고 품질을 감시하는 개발 공정으로 자리 잡았습니다.

AI 개발도구

AI 모델 분야에서 쓰이는 Large Language Model(거대 언어 모델)의 약자로, 수천억 단어의 텍스트를 미리 학습해 사람의 질문에 자연스럽게 답할 수 있도록 만든 대규모 인공지능 모델입니다.

엘엘엠에스 텍스트

웹사이트 루트에 두는 마크다운 안내 파일로, AI가 사이트의 핵심 콘텐츠를 쉽게 파악하도록 돕자는 제안 규격입니다. 2024년 9월 Answer.AI의 제러미 하워드가 제안했고, 앤트로픽·클라우드플레어 등 개발 문서 사이트를 중심으로 퍼졌습니다. 전체 문서를 한 파일에 담는 llms-full.txt 변형도 있습니다. 다만 구글은 자사 시스템이 이 파일을 쓰지 않는다고 밝혔고 주요 AI 기업의 공식 채택 발표도 없어, 실효성을 둘러싼 논쟁이 진행 중인 규격입니다.

엘엘엠 애즈 어 저지

LLM 평가 분야에서 쓰이는 기법으로, 강한 LLM(대규모 언어 모델)에게 다른 모델의 답변을 채점·비교·선택하게 해 사람 평가를 대신하게 하는 방법입니다. 이름 그대로 LLM을 심판(Judge)으로 세우는 방식입니다. 2023년 LMSYS 연구진이 MT-Bench 논문으로 용어를 대중화했고, GPT-4 판정이 인간 선호와 80% 넘게 일치한다는 결과가 출발점이 됐습니다. 정답이 하나로 정해지지 않는 개방형 답변을 대규모로 평가할 때 표준처럼 쓰입니다.

프롬프트·AI 활용

마케팅·검색 분야에서 쓰이는 Large Language Model Optimization(거대 언어 모델 최적화)의 약자로, ChatGPT·Perplexity 같은 AI 답변에 자신의 브랜드·콘텐츠가 인용되도록 만드는 마케팅 기법입니다.

비즈니스·마케팅

브이엘엘엠

LLM 추론·서빙 분야의 오픈소스 엔진으로, 같은 GPU에서 더 많은 요청을 처리하도록 메모리 관리를 최적화한 것이 핵심입니다. UC 버클리에서 시작했고, 운영체제의 가상 메모리에서 착안한 PagedAttention 기법으로 KV 캐시 낭비를 4% 미만으로 줄였습니다. 이름의 v도 가상(virtual)에서 왔습니다. 2023년 논문 기준 동급 지연시간에서 기존 서빙 시스템 대비 처리량을 2~4배 높였고, 지금은 사실상의 표준 오픈소스 추론 엔진으로 불립니다.

AI 개발도구

라이트엘엘엠

AI 개발도구 분야에서 미국 BerriAI가 2023년에 공개한 오픈소스 LLM 게이트웨이로, OpenAI 형식 API 한 줄로 100여 개 모델(Anthropic·Google·오픈모델 등)을 호출할 수 있게 통합해 줍니다.

AI 개발도구

Semantic Caching

시맨틱 캐싱

Semantic Caching은 글자가 똑같은 질문이 아니라 의미가 비슷한 질문까지 이전 답변을 재사용하는 캐시 방식입니다. 질문을 임베딩 벡터로 바꿔 저장해 두고, 새 질문이 들어오면 벡터 거리로 가장 가까운 항목을 찾아 기준값 안에 들면 저장된 답을 그대로 돌려줍니다. LLM 호출을 건너뛰므로 토큰 비용과 응답 시간이 함께 줄어듭니다. 대신 기준값을 느슨하게 잡으면 엉뚱한 답이 나가므로, 적중률과 정확도의 균형점을 찾는 일이 핵심입니다.

Dify는 LLM 앱과 에이전트, RAG 파이프라인을 시각적 워크플로 편집기로 만들고 배포하고 관측하는 오픈소스 플랫폼입니다. 프롬프트 작성, 모델 연결, 문서 검색, 도구 호출을 캔버스 위 노드로 조립한 뒤 웹 앱이나 API로 공개합니다 [1][3]. 실행 로그와 성능을 모니터링하는 LLMOps 기능도 함께 들어 있습니다 [1]. Docker Compose로 자체 서버에 셀프 호스팅할 수 있습니다 [1]. 라이선스는 순수 Apache 2.0이 아니라 멀티테넌트 운영 금지와 로고 제거 금지 조건이 덧붙은 수정본입니다 [2].

자동화·노코드

케이브이 캐시

LLM 추론 분야에서 쓰이는 Key-Value Cache(키-값 캐시)의 약자로, 언어 모델이 답을 생성할 때 앞 토큰들의 어텐션 계산 결과인 키와 값을 GPU 메모리에 저장해 두고 재사용하는 기법입니다. 매 토큰마다 전체 문맥을 다시 계산하는 낭비를 없애 생성 속도를 높입니다. 대신 문맥이 길어질수록 캐시가 메모리를 차지해, LLM 서빙 비용과 컨텍스트 길이 한계를 결정하는 핵심 변수가 됩니다. API 제공사의 프롬프트 캐싱 할인은 이 캐시를 재사용하는 상용화 형태입니다.

에이치비엠

메모리 반도체 분야에서 쓰이는 High Bandwidth Memory(고대역폭 메모리)의 약자로, D램 칩을 수직으로 쌓고 실리콘 관통 전극(TSV)으로 연결해 프로세서와 데이터를 초광폭 통로로 주고받는 메모리입니다. 국제 표준화 기구 JEDEC이 규격을 정하며, 2025년 4월 확정된 HBM4 표준은 2,048비트 인터페이스로 스택당 최대 2TB/s 대역폭을 냅니다. LLM 추론 속도가 메모리 대역폭에 좌우되면서 AI 가속기의 핵심 부품이 됐습니다.

오픈 웨이트 LLM을 내 컴퓨터나 서버에 명령어 한 줄로 내려받아 실행하게 해 주는 오픈소스 도구입니다. 2023년 7월 공개됐고, 라마·젬마 같은 공개 모델을 로컬에서 돌리는 사실상의 표준 실행기로 자리 잡았습니다. 데이터가 외부로 나가지 않아 보안이 중요한 환경에 맞고, 로컬 API 서버를 열어 다른 프로그램과 연결할 수도 있습니다. 2026년 7월 기준 GitHub 스타 약 17만 5천 개, 누적 개발자 890만 명 규모로 성장했습니다.

AI 개발도구

그래프래그

검색 증강 생성 분야에서 쓰이는 Graph Retrieval-Augmented Generation(그래프 기반 검색 증강 생성)의 약자로, 문서에서 LLM으로 개체와 관계를 뽑아 지식그래프를 만들고 이를 검색에 활용하는 RAG 방식입니다. 비슷한 개체끼리 묶은 군집(커뮤니티)별 요약을 미리 만들어 두기 때문에, 문서 전체를 관통하는 '이 데이터의 주요 주제는 무엇인가' 같은 전역 질문에 강합니다. Microsoft Research가 2024년 논문과 오픈소스로 공개하며 확산했습니다.

텍스트 투 에스큐엘

자연어로 쓴 질문을 데이터베이스에서 실행할 수 있는 SQL 쿼리로 자동 변환하는 기술입니다. 학술적으로는 시맨틱 파싱의 대표 과제로, 2018년 예일대의 Spider 벤치마크가 표준 평가 기준을 세웠습니다. LLM 등장 이후 정확도가 크게 올라, 개발자가 아닌 직군도 채팅으로 데이터를 조회하는 사내 도구로 확산하고 있습니다. 다만 깨끗한 벤치마크와 달리 실제 기업 데이터베이스 환경에서는 정답률이 크게 떨어져, 사람의 검증 절차와 함께 쓰는 것이 전제입니다.

LG AI연구원이 개발한 대형 언어 모델(LLM) 계열의 브랜드로, 'EXpert AI for everyONE(모두를 위한 전문가 AI)'에서 이름을 따 왔습니다. 2021년 초거대 모델로 출발해 2025년 7월 추론을 결합한 국내 첫 하이브리드 모델 4.0(32B·1.2B)을 오픈 웨이트로 공개했고, 2026년 1월에는 MoE 구조의 K-EXAONE(총 2,360억·활성 230억 파라미터)으로 정부 독자 AI 파운데이션 모델 1차 평가 1위에 올랐습니다. 병리 진단 AI 'EXAONE Path' 등 산업·의료 특화 모델로 확장 중입니다.

모델·서비스

하이퍼클로바 엑스

네이버가 개발한 한국어 중심 대형 언어 모델(LLM) 계열이자 이를 기반으로 한 생성형 AI 브랜드입니다. 2023년 8월 공개 이후 검색(AI 브리핑), 대화형 서비스(클로바 X), 기업용 클라우드 API로 확장됐고, 2025년에는 경량 모델 3종(SEED)을 상업용 오픈소스로, 추론 특화 모델 씽크(THINK)를 순차 공개했습니다. 한국어 데이터 비중이 높아 국내 언어·문화 맥락 이해에 강점이 있으며, 네이버 소버린 AI 전략의 핵심 자산입니다.

모델·서비스

컨텍스트 엔지니어링

Context Engineering

AI 엔지니어링 분야에서 쓰이는 용어로, LLM(대형 언어 모델)이 한 번에 읽는 컨텍스트 윈도우 안에 어떤 정보를 어떤 순서와 형태로 넣을지 설계하고 관리하는 기법입니다. 지시문뿐 아니라 도구 목록, 검색된 문서, 과거 대화 기록, 작업 메모까지 모델이 참고하는 모든 입력을 하나의 예산으로 보고 최적 구성을 찾습니다. 질문 문장을 다듬는 프롬프트 엔지니어링을 포괄하는 상위 개념으로, 2025년 이후 AI 에이전트 설계의 핵심 역량으로 자리 잡았습니다.

프롬프트·AI 활용

Prompt Chaining

프롬프트 체이닝

프롬프트·AI 활용 분야에서 쓰이는 용어로, 하나의 작업을 여러 단계로 쪼갠 뒤 앞 프롬프트의 출력이 다음 프롬프트의 입력이 되도록 연결하는 기법입니다. Anthropic 공식 문서는 각 LLM 호출이 앞 호출의 출력을 처리하는 순차 단계로 작업을 분해하는 것이라고 설명합니다. 목표는 지연을 감수하는 대신 정확도를 높이는 것입니다. 각 호출을 더 쉬운 과제로 만들기 때문입니다. 단계를 나누면 중간 결과를 검사하고 로깅하며 분기할 수 있는 점도 이점입니다.

프롬프트·AI 활용

개발 분야에서 쓰이는 말로, AI 모델이나 AI 시스템의 품질을 정해진 과제와 지표로 반복 가능하게 측정하는 평가 절차와 도구를 뜻합니다. 평가를 뜻하는 evaluations를 줄여 이밸(evals)이라 부릅니다. 정확도만 보지 않습니다. 효율·편향·유해성처럼 정확도 너머의 여러 축을 함께 잽니다. 표준 평가 하네스를 쓰면 같은 프롬프트로 여러 모델을 비교할 수 있어, 논문과 제품 사이에 재현성과 비교가능성이 생깁니다. LLM을 서비스에 올리기 전 품질을 확인하는 개발 공정의 한 단계입니다.

Knowledge Graph

널리지 그래프

현실의 개체(사람·장소·상품 등)를 점(노드)으로, 개체 사이의 관계를 선(엣지)으로 표현해 지식을 그물망 구조로 저장하는 방식입니다. '문자열이 아니라 사물'을 다루므로, 흩어진 데이터를 관계로 연결해 추론과 검색에 씁니다. 관계를 따라가며 여러 단계 떨어진 사실도 한 번에 찾을 수 있습니다. 검색엔진의 개체 정보 카드, 추천, 그리고 최근에는 LLM의 근거 데이터(GraphRAG)로 활용됩니다.

검색이 1차로 넉넉히 뽑아 온 후보 문서를, 질문과의 관련도를 더 정교하게 다시 계산해 순서를 매기는 2차 정렬 단계입니다. 보통 질문과 문서를 한 쌍으로 함께 읽는 교차 인코더(cross-encoder)를 써서, 빠르지만 거친 1차 검색의 순위를 바로잡습니다. 계산이 무거워 전체가 아니라 상위 후보 수십 개에만 적용합니다. RAG에서 상위 몇 개만 LLM에 넘길 때 정답 문서를 위로 끌어올리는 역할을 합니다.

AI 활용 분야에서 쓰이는 용어로, 보안 분야에서 빌려온 개념으로 출시 전에 사내·외부 평가자가 일부러 위험한 입력을 던져 LLM의 가드레일과 취약점을 적극적으로 찾아내는 평가 절차를 가리킵니다.

AI 모델 학습 분야에서 쓰이는 RLAIF(Reinforcement Learning from AI Feedback, 인공지능 피드백 기반 강화학습)의 약자로, 사람 대신 다른 LLM이 답안 두 개 중 더 나은 쪽을 골라 보상을 만들어 모델을 학습시키는 방법입니다.

AI 활용 분야에서 쓰이는 용어로, 키워드 일치 대신 LLM(Large Language Model, 거대 언어 모델)이 질문 의도를 이해하고 웹·문서를 검색해 출처와 함께 답변을 정리해 보여주는 새로운 검색 방식입니다.

비즈니스·마케팅

AI 활용 분야에서 Microsoft가 공개한 MCP(Model Context Protocol) 서버로, 브라우저 자동화 도구 Playwright를 LLM에 연결해 AI 에이전트가 웹사이트를 직접 띄워 클릭·입력·캡처할 수 있도록 만든 표준 도구입니다.

자동화·노코드

AI 활용 분야에서 독일 n8n GmbH가 2019년에 공개한 오픈소스 노코드 자동화 플랫폼으로, 셀프 호스팅 가능한 워크플로 도구에 LLM·에이전트 노드를 더해 AI 자동화 표준이 된 도구입니다.

자동화·노코드

AI 활용 분야에서 체코 Make(구 Integromat)이 운영하는 시각적 노코드 자동화 플랫폼으로, 1,500개 이상의 앱을 시나리오 캔버스로 연결해 분기·반복·LLM 단계를 한 화면에서 설계할 수 있게 합니다.

자동화·노코드

프롬프트 버전

AI 활용 분야에서 쓰이는 용어로, 운영 중인 프롬프트를 코드처럼 버전 관리해 변경 이력·롤백·A/B 테스트가 가능하게 하는 LLMOps 실무 기법입니다.

프롬프트·AI 활용

Persona Prompting

페르소나 프롬프팅

AI 활용 분야에서 쓰이는 용어로, LLM에 특정 인물·직업·성격 설정을 주입해 그 역할에 맞춘 어조와 시선으로 답하도록 유도하는 프롬프트 기법입니다.

프롬프트·AI 활용

AI 활용 분야에서 쓰이는 용어로, LLM이 한 대화 세션을 넘어 사용자의 이름·취향·기존 작업 내역을 지속적으로 기억하고 다음 대화에 자동으로 반영하는 장기 컨텍스트 기능을 가리킵니다.

프롬프트·AI 활용

AI 활용 분야에서 쓰이는 용어로, LLM API 호출 비용이 입력·출력 토큰 수 단위로 청구되는 구조와 그 단가를 일컫는 표현으로, 캐싱·배치·모델 선택으로 절감할 수 있습니다.

프롬프트·AI 활용

AI 활용 분야에서 쓰이는 용어로, LLM이 응답을 다 완성한 다음 한꺼번에 보내지 않고 토큰 단위로 생성되는 즉시 사용자 화면에 실시간으로 흘려보내는 출력 방식입니다.

프롬프트·AI 활용

제이슨 모드

AI 활용 분야에서 OpenAI가 2023년에 공개한 API 옵션으로, LLM 응답을 자유 텍스트가 아니라 JSON(JavaScript Object Notation) 형식으로 출력하도록 강제해 후속 코드가 안전하게 파싱할 수 있도록 한 모드입니다.

프롬프트·AI 활용

구조화 출력

Structured Output

AI 활용 분야에서 쓰이는 용어로, LLM 응답을 미리 정의한 스키마(JSON·Pydantic·TypeScript 등)대로 강제하여 후속 코드가 안전하게 파싱·검증할 수 있게 만든 출력 방식입니다.

프롬프트·AI 활용

Function Calling

AI 활용 분야에서 OpenAI가 2023년 6월에 공개한 API 기능으로, LLM이 답변 도중 미리 등록된 외부 함수를 JSON 인자로 호출하도록 만들어 도구·DB·실시간 데이터와 연결할 수 있게 한 방식입니다.

프롬프트·AI 활용

AI 활용 분야에서 쓰이는 용어로, LLM API 호출 시 모델이 한 번의 응답에서 생성할 수 있는 최대 토큰 수를 사용자가 직접 지정해 응답 길이·비용·지연 시간을 제어하는 파라미터입니다.

프롬프트·AI 활용

AI 활용 분야에서 쓰이는 용어로, LLM이 다음 단어를 고를 때 누적 확률이 정해진 임계값까지 도달하는 후보군 안에서만 단어를 뽑도록 강제하는 핵심 표본 추출 파라미터입니다.

프롬프트·AI 활용

AI 활용 분야에서 쓰이는 용어로, LLM이 다음 단어를 고를 때 확률 분포를 얼마나 평탄하게 만들지를 조절해 응답의 창의성과 일관성 사이를 사용자가 직접 제어하는 파라미터입니다.

프롬프트·AI 활용

Context Injection

컨텍스트 주입

AI 활용 분야에서 쓰이는 용어로, 사용자가 입력하는 일반 프롬프트 안에 LLM이 답할 때 참고할 사내 자료·실시간 데이터·문서 조각을 함께 끼워 넣어 답변 정확도를 끌어올리는 방식입니다.

프롬프트·AI 활용

제일브레이크, 탈옥

AI 활용 분야에서 쓰이는 용어로, 사용자가 LLM에 미리 걸린 안전 가드레일을 우회해 평소엔 거절하던 답변을 강제로 끌어내려고 시도하는 공격적 프롬프트 기법입니다.

프롬프트·AI 활용

플레이북 1

인사이트 장고 공동 창시자 사이먼 윌리슨이 말하는 LLM 활용 원칙 5가지

장고 공동 창시자이자 20년 차 기술 블로거 사이먼 윌리슨의 2024~2025년 글을 모아, 파워유저 도구·오류 검증·컨텍스트 관리·에이전트 정의·전문성 증폭의 다섯 원칙으로 재구성했습니다.

검색 · AI for Everyone