17건
AI 평가
AI Evals
개발 분야에서 쓰이는 말로, AI 모델이나 AI 시스템의 품질을 정해진 과제와 지표로 반복 가능하게 측정하는 평가 절차와 도구를 뜻합니다. 평가를 뜻하는 evaluations를 줄여 이밸(evals)이라 부릅니다. 정확도만 보지 않습니다. 효율·편향·유해성처럼 정확도 너머의 여러 축을 함께 잽니다. 표준 평가 하네스를 쓰면 같은 프롬프트로 여러 모델을 비교할 수 있어, 논문과 제품 사이에 재현성과 비교가능성이 생깁니다. LLM을 서비스에 올리기 전 품질을 확인하는 개발 공정의 한 단계입니다.
개발
Devin
데빈
Devin은 Cognition이 개발한 자율 코딩 에이전트입니다. 자체 셸과 코드 에디터, 브라우저를 갖춘 샌드박스 환경에서 작업을 통째로 위임받아 비동기로 수행합니다 [1]. 개발자는 이슈나 요구사항을 문장으로 지시하고, 결과로 올라온 풀 리퀘스트를 검토하고 수정해 병합합니다. 2024년 3월 공개되면서 실제 깃허브 이슈를 다루는 SWE-bench에서 13.86%를 스스로 해결했다고 발표했습니다 [1]. 다만 이 수치는 테스트셋의 무작위 25%인 570건만 평가한 값이라 발표 직후 해석을 두고 논란이 있었습니다 [2].
AI 개발도구
Solar
솔라
국내 AI 스타트업 업스테이지가 개발하는 거대언어모델 시리즈입니다. 2023년 말 작은 모델을 쌓아 성능을 높이는 뎁스 업스케일링 기법의 솔라 10.7B로 이름을 알렸습니다. 2025년 7월 솔라 프로 2가 글로벌 평가기관 아티피셜 애널리시스의 프런티어 모델 10종에 국내 모델 최초로 선정됐고, 같은 해 8월 정부 독자 AI 파운데이션 모델 사업의 5개 정예팀에 뽑혔습니다. 2026년 7월에는 가중치를 공개한 솔라 오픈 2를 내놓았습니다. 작은 파라미터로 높은 성능을 내는 효율 중심 전략이 특징입니다.
모델·서비스
Spec-Driven Development
스펙 드리븐 디벨롭먼트
AI에게 코드를 짜게 하기 전에 요구사항·설계·작업 목록을 담은 명세(스펙)부터 작성하고, 그 문서를 사람과 AI의 공통 기준으로 삼는 개발 방법론입니다. 우리말로는 스펙 주도 개발이라고 부릅니다. 감으로 프롬프트를 던지는 바이브 코딩의 비일관성을 보완하는 접근으로, 2025년 AWS의 IDE 키로(Kiro)와 깃허브의 오픈소스 툴킷 스펙 킷(Spec Kit)이 나오면서 확산됐습니다. 쏘트웍스 기술 레이더는 2025년 11월 이 방법론을 평가(Assess) 단계로 등재했습니다.
개발
Model Card
모델 카드
AI 모델의 용도·성능·한계·편향 평가 결과를 정해진 항목으로 정리해 모델과 함께 공개하는 문서 표준입니다. 구글 연구진(Mitchell, Gebru 외)이 2019년 공정성 학회 FAT*에서 논문 'Model Cards for Model Reporting'으로 제안했습니다. 식품 영양성분표처럼 모델의 성분과 주의사항을 표준 양식으로 밝히자는 취지입니다. 현재 허깅페이스 저장소의 문서 표준으로 자리 잡았고, OpenAI·앤트로픽의 시스템 카드처럼 안전 평가 보고서로도 확장됐습니다.
보안·윤리
LLM-as-a-Judge
엘엘엠 애즈 어 저지
LLM 평가 분야에서 쓰이는 기법으로, 강한 LLM(대규모 언어 모델)에게 다른 모델의 답변을 채점·비교·선택하게 해 사람 평가를 대신하게 하는 방법입니다. 이름 그대로 LLM을 심판(Judge)으로 세우는 방식입니다. 2023년 LMSYS 연구진이 MT-Bench 논문으로 용어를 대중화했고, GPT-4 판정이 인간 선호와 80% 넘게 일치한다는 결과가 출발점이 됐습니다. 정답이 하나로 정해지지 않는 개방형 답변을 대규모로 평가할 때 표준처럼 쓰입니다.
프롬프트·AI 활용
AI 리터러시
AI Literacy
인공지능(AI)을 이해하고, 결과물을 비판적으로 평가하며, 기회와 위험을 알고 활용하는 데 필요한 지식·기술·태도를 뜻합니다. 2024년 제정된 EU AI Act가 제3조에서 이 개념을 법적으로 정의했고, 제4조는 AI를 쓰는 조직에 임직원의 AI 리터러시 확보 조치를 의무화했습니다(2025년 2월 적용 개시). 한국도 2026년 1월 AI기본법 시행으로 AI 인력 양성과 윤리 교육 시책의 법적 근거를 마련해, 개인의 소양을 넘어 조직의 준수 사항으로 확장되고 있습니다.
기본
Text-to-SQL
텍스트 투 에스큐엘
자연어로 쓴 질문을 데이터베이스에서 실행할 수 있는 SQL 쿼리로 자동 변환하는 기술입니다. 학술적으로는 시맨틱 파싱의 대표 과제로, 2018년 예일대의 Spider 벤치마크가 표준 평가 기준을 세웠습니다. LLM 등장 이후 정확도가 크게 올라, 개발자가 아닌 직군도 채팅으로 데이터를 조회하는 사내 도구로 확산하고 있습니다. 다만 깨끗한 벤치마크와 달리 실제 기업 데이터베이스 환경에서는 정답률이 크게 떨어져, 사람의 검증 절차와 함께 쓰는 것이 전제입니다.
데이터·DB
EXAONE
엑사원
LG AI연구원이 개발한 대형 언어 모델(LLM) 계열의 브랜드로, 'EXpert AI for everyONE(모두를 위한 전문가 AI)'에서 이름을 따 왔습니다. 2021년 초거대 모델로 출발해 2025년 7월 추론을 결합한 국내 첫 하이브리드 모델 4.0(32B·1.2B)을 오픈 웨이트로 공개했고, 2026년 1월에는 MoE 구조의 K-EXAONE(총 2,360억·활성 230억 파라미터)으로 정부 독자 AI 파운데이션 모델 1차 평가 1위에 올랐습니다. 병리 진단 AI 'EXAONE Path' 등 산업·의료 특화 모델로 확장 중입니다.
모델·서비스
Human-in-the-Loop
휴먼 인 더 루프
자동화·노코드 분야에서 쓰이는 Human-in-the-loop(사람이 개입하는 순환 구조)의 약자로, AI나 자동화가 혼자 끝내지 않고 중요한 길목마다 사람이 검토·승인·교정하도록 사람을 작업 순환 안에 두는 방식입니다. AWS 공식 문서는 자동화 과정의 결정적 지점에 사람의 판단을 끼워 넣는 것이라고 설명합니다. 사람은 학습 데이터 라벨링, 모델 출력 평가, 확신이 낮은 사례 처리 같은 여러 지점에서 개입합니다. 목표는 정확성과 신뢰성을 높이되 사람 개입 비용을 최소화하는 균형입니다.
자동화·노코드
Red Teaming
레드 티밍
AI 활용 분야에서 쓰이는 용어로, 보안 분야에서 빌려온 개념으로 출시 전에 사내·외부 평가자가 일부러 위험한 입력을 던져 LLM의 가드레일과 취약점을 적극적으로 찾아내는 평가 절차를 가리킵니다.
보안·윤리
LTV
엘티브이
Lifetime Value의 약자로, 한 고객이 서비스 이용 전체 기간 동안 회사에 가져다 주는 총 매출을 의미하며 CAC와 함께 사업 건강도를 평가하는 가장 중요한 지표 중 하나입니다.
비즈니스·마케팅
ARR
에이알알
Annual Recurring Revenue의 약자로, 매년 반복적으로 들어오는 매출의 합계를 의미하며 SaaS 회사의 규모와 가치를 가장 표준적으로 보여 주는 지표이고 미국 SaaS 산업에서 회사 평가의 기본이 됐습니다.
비즈니스·마케팅
LangSmith
랭스미스
AI 개발도구 분야에서 LangChain팀이 2023년에 공개한 LLM 애플리케이션 관측·평가·디버깅 플랫폼으로, 프롬프트·체인·에이전트의 실행 기록을 한 화면에서 추적하고 회귀를 막아주는 도구입니다.
AI 개발도구
Constitutional AI
컨스티튜셔널 AI
AI 모델 학습 분야에서 Anthropic이 2022년에 공개한 RLHF 대체 기법으로, 사람이 매번 답안을 평가하는 대신 미리 정의된 원칙(헌법)에 따라 AI가 스스로 자기 답변을 비판·수정하도록 학습시키는 방식입니다.
AI 트렌드
SWE-bench
AI 모델 평가 분야에서 Princeton NLP팀이 2023년에 공개한 코딩 능력 벤치마크로, 실제 GitHub 이슈와 PR을 모아 LLM이 진짜 오픈소스 버그를 해결할 수 있는지 평가하는 표준 평가입니다.
기본
Benchmark
벤치마크
AI 모델 평가 분야에서 쓰이는 용어로, 서로 다른 인공지능 모델의 성능을 같은 잣대로 비교하기 위해 표준화된 시험 문제집을 모아 정답률·점수로 줄을 세우는 평가 방식입니다.
기본