Edge AI

NVIDIA는 Jetson을 "엣지 AI와 로보틱스를 위한 임베디드 컴퓨팅 플랫폼"으로 공식 정의하고 있으며, 가장 작은 Jetson Nano 모듈은 신용카드보다 작은 70×45mm 크기에 5~10W 전력으로 472 GFLOPs 성능을 제공합니다 ^[8]. 상위 라인업인 Jetson Orin은 동일 아키텍처 7개 모듈로 최대 275 TOPS까지 확장되고, 2025년 발표된 Jetson Thor는 최대 2,070 FP4 TFLOPS의 AI 연산력을 40~130W 범위에서 제공합니다 ^[8]. CCTV·드론·산업용 협동 로봇처럼 클라우드 왕복이 곤란한 장비가 주된 적용처입니다 ^[8].

현대자동차그룹 공식 매체는 'TADA 엣지 솔루션'을 "생산 현장에서 작업자가 직접 딥러닝 모델을 만들어 불량 검사를 수행하는 소형 검사 시스템"으로 소개했습니다 ^[9]. 기존 AI 비전 검사 시스템 대비 약 10% 비용으로 설치 가능하며, 별도 네트워크 구축이 필요 없어 설치·유지비를 모두 낮출 수 있다는 점을 공식적으로 명시했습니다 ^[9]. 전문 기술자 없이도 적용이 가능해 중소 협력사 라인에 직접 깔리는 방식입니다 ^[9].

arXiv 2025년 자율주행 관련 논문은 차량용 카메라 인지가 "클라우드 자원 없이 3ms 이내에 인식·판단을 끝내야 한다"고 정리했습니다 ^[10]. 시속 120km 환경에서는 왕복 지연 1ms가 정지 물체와의 거리 3cm, 두 차량 간 거리 6cm에 해당해, 클라우드 왕복 지연(수십~수백 ms) 자체가 안전 마진을 잠식합니다 ^[10]. Waymo 자율주행 차량은 하루 25TB 센서 데이터를 생성하며, 10ms 미만 지연 안에서 약 200 TFLOPS 상당의 엣지 연산이 요구된다고 보고됐습니다 ^[10]. 현대차그룹은 2025년 12월 포티투닷 '아트리아 AI'를 통해 카메라 8대·전방 레이더 1대만으로 서울 강남 도심 자율주행 데모를 공개했습니다 ^[9].

Cloudflare는 Workers AI를 "서버리스 GPU 기반 추론 플랫폼"으로 공식 발표하고, 전 세계 300여 개 엣지 거점에서 Llama·Mistral·Whisper 같은 오픈소스 모델을 호출할 수 있도록 제공합니다 ^[11]. 매장 영상 분석·POS 음성 주문·실시간 번역처럼 본사 데이터센터까지 왕복하면 100ms를 쉽게 넘기는 작업을 사용자와 가까운 거점에서 처리하는 용도입니다 ^[11]. 가격은 Mistral 7B 기준 1,000토큰당 0.00007달러, 무료 한도는 1일 1만 요청으로 책정돼 있어 소규모 매장 분석 PoC에도 부담이 작습니다 ^[11].