[엣지AI] 칩 제조사가 말하는 AI 성능(TOPS), 왜 그대로 믿으면 안 될까?

결론부터 짚고 넘어가자면, 칩 제조사가 발표하는 TOPS 수치만 보고 서로 다른 칩의 AI 성능을 일대일로 비교하는 것은 단순 참고 수준에 불과하며 사실상 큰 의미가 없습니다. 제조사마다 AI 성능을 계산하고 표기하는 기준 자체가 완전히 다르기 때문입니다.

 

 

요즘 새로 나오는 SoC(System on Chip) 프로세서들의 보도자료나 사양표를 보면 흔히 '45 TOPS'라거나 '1,200 TFLOPS(INT8)' 같은 식의 표기를 자주 보게 됩니다. 언뜻 보면 하나의 스펙처럼 묶여 있지만, 이 표기는 크게 세 가지 요소로 나누어 뜯어보아야 제대로 이해할 수 있습니다. 바로 단위 앞의 숫자와 TOPS나 FLOPS 같은 연산 단위, 그리고 괄호 안에 적힌 INT8이나 FP32 같은 데이터 정밀도입니다.

1. 숫자 자체의 맹점: "이 숫자는 어디서 더해진 것인가"

TOPS 혹은 FLOPS 단위 앞에 붙는 숫자는 1초 동안 처리할 수 있는 연산 횟수를 나타내므로, 상식적으로는 숫자가 클수록 성능이 더 뛰어나다고 생각하기 쉽습니다. 하지만 여기에는 제조사들이 자주 활용하는 계산 방식의 함정이 숨어 있습니다.

 

 

예를 들어 어떤 제조사에서 로보틱스 시장을 겨냥해 "최대 180 TOPS에 달하는 AI 프로세서를 출시했다"고 발표했다고 가정해 보겠습니다. 그런데 이 프로세서의 내부 구조를 열어보면 연산 장치는 크게 CPU, GPU, NPU로 나뉩니다. 이때 어떤 회사는 순수하게 NPU가 단독으로 처리하는 성능만 정직하게 떼어내어 발표하는 반면, 다른 회사는 CPU와 GPU, NPU의 성능을 전부 끌어모아 단순 합산한 총합을 내세우기도 합니다. 동일하게 180 TOPS라는 숫자가 찍혀 있더라도, NPU 혼자 내는 성능인지 칩 내부의 모든 연산 블록을 쥐어짜서 합쳐둔 수치인지에 따라 실제 개발 환경에서 체감하는 AI 처리 능력은 완전히 달라질 수밖에 없습니다.

 

2. 연산 단위의 차이: TOPS와 FLOPS는 환산되지 않는다

두 번째로 살펴볼 부분은 TOPS와 FLOPS라는 단위의 차이입니다.

• TOPS (Tera Operations Per Second): 1초당 1조 번의 정수(Integer) 연산을 처리할 수 있다는 뜻으로, 6 TOPS라면 1초에 6조 번의 연산이 가능하다는 의미입니다.
• FLOPS (Floating Point Operations Per Second): 1초 동안 처리할 수 있는 부동소수점(실수) 연산 횟수를 뜻합니다.

기술적인 차이를 아주 단순화하자면, 일반적으로 현장에서 AI 모델을 돌리는 '추론(Inference)' 성능을 다룰 때는 정수 기반의 TOPS를 주로 사용하고, 학습(Training)시키거나 정밀한 연산이 필요한 영역에서는 부동소수점 단위인 FLOPS를 씁니다.

 

 

문제는 1 FLOPS가 몇 TOPS에 해당하는지 일대일로 환산하는 공식 같은 것은 현실에 존재하지 않는다는 점입니다. 인터넷 커뮤니티나 기술 포럼에 가보면 나름의 계산 논리를 제시하는 글들이 종종 보이지만, 실제 하드웨어 아키텍처에 대입해보면 전혀 들어맞지 않습니다. 따라서 연산 단위 자체가 서로 다른 두 칩을 나란히 두고 숫자의 크기만으로 우열을 가리는 것은 무의미합니다.

 

3. 괄호 속 숫자의 비밀: INT8과 FP32가 의미하는 정밀도

마지막으로 눈여겨보아야 할 부분은 괄호 안에 들어가는 INT와 FP, 그리고 그 뒤에 붙는 비트(Bit) 수입니다. INT는 정수(Integer)를, FP는 부동소수점(Floating Point)을 뜻하는데, 정작 핵심은 바로 뒤에 붙은 숫자(8, 16, 32 등)에 있습니다.

 

이 숫자는 데이터를 몇 비트 크기로 나누어 연산하는지, 즉 '연산의 정밀도'를 보여줍니다. 예를 들어 INT8은 8비트 단위로 데이터를 쪼개어 계산하고, FP32는 32비트 단위로 연산합니다. 비트 수가 많아질수록 숫자를 훨씬 미세하고 정확하게 표현할 수 있지만, 그만큼 하드웨어가 한 번에 처리해야 하는 데이터양이 늘어나 연산 속도는 떨어지게 됩니다. 반대로 정밀도를 낮추면 정확도는 약간 희생되더라도 훨씬 가볍고 빠르게 계산할 수 있습니다. 32비트 연산보다 8비트 연산이 빠르고, 부동소수점(FP)보다 정수(INT) 연산이 빠른 이유가 여기에 있습니다.

 

만약 A 칩이 '10 TOPS(INT8)'이고 B 칩이 '10 TOPS(INT4)'라고 적혀 있다면, 겉으로 보이는 숫자는 둘 다 10으로 똑같지만 실제 처리 능력은 결코 같지 않습니다. 8비트짜리 데이터를 기준으로 동일한 연산 횟수를 뽑아내는 A 칩의 성능이 훨씬 더 높은 체급이라고 보아야 맞습니다.

 

결론은?

정리하자면, 프로세서의 AI 성능 표기는 단순한 연산 횟수뿐만 아니라 그것이 정수 연산인지 부동소수점 연산인지, 그리고 어떤 정밀도(비트 수)를 기준으로 측정했는지, 그리고 어느 칩의 숫자를 나타내는 것인지에 따라 그 실체가 완전히 달라집니다. 제조사마다 자사 제품의 강점이 보이도록 가장 유리한 수치와 단위를 선택하기에 따라서 데이터시트에 적힌 화려한 TOPS 수치만을 맹신하기보다는, 그 숫자가 어떤 연산 장치들을 합쳐서 나온 것인지, 어떤 정밀도 기준에서 측정한 결과인지를 한 겹 벗겨내어 꼼꼼히 확인해 볼 필요가 있습니다.