애플, NVIDIA GPU 안써… 구글 TPU로 학습한 애플 LLM 논문 공개

애플, 구글 TPU를 사용한 LLM 논문의 의미는?

 

애플은 엔비디아의 GPU 대신 구글 TPU를 사용하여 LLM 학습을 진행했어요.

 

학습에 사용된 클라우드 서비스는 구글 클라우드였고, 이는 이전에 애플이 사용해왔던 방식이죠.

 

해외 및 국내 언론에서 많은 관심을 받고 있는데, 이로 인해 투자자들 사이에서 엔비디아가 대체될 수 있는 우려와 기대가 동시에 존재하고 있어요.

 

그러나, 엔비디아의 기술적 우위는 여전히 강력하며, 주도권이 쉽게 바뀌지 않을 가능성이 높아요.

 

이번 발표는 AI 하드웨어 시장에서 구글과 협력하는 애플의 전략 변화를 보여주며, 향후 시장 동향에 중요한 시사점을 제공하고 있어요..

 

애플 머신러닝에 대한 내용 발표 내용은?

 

2021년 7월 29일에 발표된 애플의 머신러닝 리서치와 애플 인텔리전스 파운데이션 랭귀지 모델에 대한 내용이에요.

 

애플은 30억 개의 파라미터를 가진 모델과 대규모 서버를 사용해 작업하며 다양한 층위로 연구를 진행했어요.

 

프라이버시 보호를 고려해 훈련된 모델에 관한 세부 내용을 다루며, 데이터셋은 공개된 것과 애플 봇이 크롤링한 정보로 구성됐어요.

 

데이터 수집 시 프라이버시를 고려해 중요한 데이터는 최대한 배제한 것으로 설명되었어요..

 

애플의 인텔리전스 시스템과 하드웨어 구조는?

 

아이폰 및 맥북에서 사용되는 라이팅 툴과 같은 앱들은 퍼스널 인텔리전스 시스템으로 동작해.

 

온 디바이스 모델에서는 애플이 직접 만든 a70 Pro, M1, M2, M3 칩을 사용하여 동작하죠.

 

AI 모델을 학습하고 추론할 때에는 구글의 tpu를 활용하며, 애플은 이를 활용하기 위해 구글의 프레임워크를 사용했다고 해.

 

애플은 M 시리즈 울트라 칩을 사용하여 서버를 구축하는 계획을 갖고 있으며, 이 모델을 학습하고 추론하기 위해 구글의 tpu를 활용해..

 

애플이 M2 울트라로 구축중인 이유는?

 

애플이 구글 클라우드를 이용해 학습과 기능 개선을 지속 중이에요.

 

애플이 클라우드 기업이 아니라 서비스 중심으로 AI 모델을 제공할 예정이라고 하네요.

 

구글이나 AWS 클라우드를 이용해 역할을 수행하며, 애플은 사용자 중심 서비스에 초점을 맞추고 있어요.

 

애플은 AI 모델 개발은 하되 직접 클라우드 구축 대신 구글 클라우드를 활용하는 편이에요..

 

구글 클라우드의 TPU와 하드웨어 사양에 대해 알려주세요.

 

구글 클라우드에서는 TPU 버전 정보와 사용 사양이 상세하게 나와 있어요.

 

TPU V4는 HBM 2를 사용하고 최대 전력은 192w이며, 테라플롭스 성능은 275이에요.

 

BF 16는 인트 8보다 낮은 형태를 보이죠.

 

TPU V4 ES는 8*1024 칩 슬라이스와 6.3조의 토큰을 활용하여 태어난 1조 토큰의 GPU를 이용해요.

 

애플의 AFM(파운데이션 모델)은 온디바이스와 서버 모델로 나뉘며, 클라우드 TPU 버전으로 사용돼요..

 

하드웨어 업그레이드와 클라우드 서비스 경쟁의 중요성?

 

하드웨어 업그레이드로 v5e와 V5p 버전을 향상시켰고, HBM 2와 HBM 3의 사용이 언급되었어요.

 

Google은 TPU V6를 발표하여 하드웨어 학습에 집중하고 클라우드 서비스를 제공하는데, TPU의 성능은 HBM 2를 기반으로 하며, 애플과 같은 클라우드 서비스 고객을 유치하려는 경쟁에서 중요한 역할을 해요.

 

HBM 3을 향한 업그레이드도 예상돼요..

 

애플의 주력 전략은?

 

애플은 온 디바이스에 주력하면서 파운데이션 모델을 구축하고 afm 모델 V4, v5p로 훈련을 실시하고 있어요.

 

구글, AWS와 달리 애플은 클라우드가 아닌 엣지 디바이스에 특화된 전략을 세우고 있으며 M2 울트라 칩을 활용하여 센터를 구축할 예정이에요.

 

애플은 전성비가 높은 M2 울트라로 유저를 위한 디바이스 제작 및 나머지 활동은 클라우드에 맡길 계획이라고 해요..

 

애플과 구글의 인텔리전스 경쟁

 

애플과 구글 사이 인텔리전스 논란이 계속되고 있어요.

 

서비스 측면 경험성 확인을 위해 9월에는 아이폰 및 맥북을 구경해야 하죠.

 

구글은 엔비디아의 고객 중 하나로, 구글 클라우드에서 다양한 기술을 활용하고 있어요.

 

구글은 GPU 플랫폼에서 엔비디아 제품을 주로 판매하고 있습니다.

 

또한 애플이 TP를 활용한 구글과의 협력은 산업에 영향을 미칠 수 있어요..

 

AI 모델 학습을 비교하고 고민하는 상황은?

 

해석 시간이 필요하지만, 엔비디아의 절대성에 대한 생각이 변경될 수 있어요.

 

동도나 엔비디아의 AI 모델로 먼저 학습하고, 이후에 tpu 트레이닝을 한 부분은 미확인된 사실이므로 확인 후 자세히 파악할 필요가 있어요.

 

가설이 사실로 확인되면, 비디아로 먼저 학습 후 필요한 작업을 진행하는 차이점이 존재하죠.

 

추후 정확한 내용을 확인 후 공유 예정이에요..