https://www.youtube.com/watch?v=FnWWdgTVnu0
* 요약
- 세계적인 반도체 공학자 짐 켈러와 렉스 프리드먼의 인터뷰
Q : PC에서 모바일로 지배권이 넘어갈지 모르는 확실치 않은 상황 속에서 어떻게 과감하게 모바일로 피벗 할 수 있었나?
> 리더십 덕분이다. 스티브 잡스가 돌아온 후 그의 체제에서 애플은 수 차례 피벗 했다. 애플은 대단하다.
* 피벗 : 방향을 적절히 전환하면서 경영
Q : 엔비디아에 대해.
> 엔비디아는 HPC(고성능 컴퓨팅)을 위해 Cuda에 몇 년 동안 투자했고 이는 운이 좋게도 AI 트렌트에 맞는 일이었다.
Q : 하지만 당신이 보기에 엔비디아가 대대적으로 AI 트렌드에 맞게 기업을 수정하지 못할 거라 보는가? (GPU>SOMETHING)
> 그렇다고 본다. 대기업들이 얼마나 가끔 본질적으로 그들을 바꾸어내는지 지켜볼 일이죠
Q : 엔비디아에 일하는 사람들에 대해 얼마나 알고 있나요?
> 약간 알고 있다.
Q : 누가 딥러닝을 위한 하드웨어에 왕좌를 차지할까?
> 물론 엔비디아도 여러 번 스스로를 바꿔왔다. 하지만 그러면서도 모바일이나 무선 접속 네트워크 같은 기존 부분에 지나치게 투자하고 있다. 엔비디아는 본질적으로 GPU 기업에 머무르고 있다.
Q : 엔비디아는 AI에 맞게 기업을 바꾸려고 노력하는 걸로 보이는데 게이밍이나 자율주행 분야를 통해서, 엔비디아의 이러한 낯선 시도들은 개혁이라 보기 어려운가?
> 엔비디아가 내놓는 AI 하드웨어들은 기술적으로는 흥미롭다. 그러나 말도 안되게 소모전력랑(3000와트)가 높다.
Q : 기술적으로 흥미로운데 엔비디아가 개혁하는 것은 아니다는 뜻인가?
> 그들은 자율주행 솔루션을 위해 GPU를 '용도 변경'한 것이다. 그들은 처음부터 재구축하지 않았다. 피벗이 아니다. 테슬라의 내부 칩들은 모빌아이가 하는 것처럼 하드웨어의 값은 싸다.(하드웨어보다 소프트웨어에 치중하는 방식) 테슬라, 모빌아이는 하드웨어는 단순하고 고전적으로 작업한다.(HW < SW 치중) 테슬라, 모빌아이 vs 엔비디아는 자율주행 솔루션에 너무나 다르게 접근하고 있다. 모빌아이는 차량 비용과 폼팩터에 적합하다고 한다면, 엔비디아는 누구보다 연산력에서 크게 가자 자율주행에서 잘 돌아가게 해주겠다고 한 셈이다. 엔비디아의 이런 태도에 웨이모, 자율주행 신생기업들이 영향을 받았고 트렁크에 5000와트 서버를 싣기도 했다(기업들이 전력량 신경 덜 씀) 일론의 방식은 일단 하드웨어가 충분히 저렴해야 한다는 것. 모든 테슬라 차량들이 '나중에 자율주행 S/W를 살지 말지 관계없이요(일론은 값비싼 자율주행 H/W는 의미 없다는 뜻)
Q : 테슬라가 Dojo에 쏟아붓는 노력에 대해서 어떻게 생각하는가? 테슬라 전체보다 커질 수도 있는다. 처음부터 자체 신경망 훈련 하드웨어를 구축하려는 것과(Tenstorrent)것과 기업 자체를 딥러닝 기업으로 만들려는 혁신(테슬라 dojo) 면에서다.
- 먼저 이 시도들이 훌륭하다고 생각한다. 우린 많은 실험이 필요하다. 많은 기업들이 딥러닝에 뛰어들고 있고 각자의 것들을 추구하고 있다. dojo를 시작할 때 본인이 테슬라에 있었는데 이는 규모가 매우 큰 딥러닝 훈련 문제를 해결하기 위한 컴퓨터 솔루션과 같았다. Dojo를 작업하는 뛰어난 엔지니어들이 있는데 과연 어떤 결과물이 나올지 궁금하다. 내가 테슬라를 떠난 후 그들은 Dojo를 수 차례 피벗(수정)했기 때문에 뭔가 말해줄 수 있는 게 없다.
Q : 일론은 겉으로 좋아 보이는 대안이 있다 해도 현재 작업보다 훨씬 낫지 않는다면 그 대안을 채택하지 않는다는 표현을 했다. 발열 문제를 해결하기 위해 연산력을 떨어뜨리며 GPU를 부족하게 하지 않는다는 뜻이지 않겠는가?
> 또 다른 방면으로는 테슬라 자율주행 하드웨어는 하나의 소프트웨어 스택(S/W 개발을 위한 하위 시스템, 구성요소)만 제공한다. 그리고 HW팀 SW팀 긴밀히 연결되어 있다. 범용 인공지능 솔루션(Dojo)를 구축하면 그야말로 온갖 비즈니스에 사용할 수 있다. 10년 전만 해도 비전(시각정보) 추천과 언어는 완전히 다른 분야였다. 비전 데이터와 언어는 서로 말이 안 통하는 관계였고, 불과 3년 전만 해도 비전 데이터와 언어는 모두 신경망에는 속했지만 아주 다른 신경망이었다. 최근에는 이들이 한 세트의 네트워크에서 처리할 수 있게 되었다. 데이터가 크기와 출력에 따라 다양하지만 이 기술은 상당히 잘 수렴되었다.
Q : GPT-3 이후 이 트랜스포머들은 시각데이터에 적용할 수 있고, 다양한 분야에 적용할 수 있다고 본다. 게다가 간단하게.
> 말 그대로 문자를 픽셀로 대체하는 것과 같다. 비전 데이터를 문자로 대체할 수도 있다. 이건 놀라운 일이다. 그리고 데이터량이 딥러닝을 더 개선하면 더 많은 컴퓨팅을 통해 더 정교한 딥러닝을 얻을 수 있다. 데이터가 많을수록 더 좋은 결과를 얻을 수 있다. 데이터가 많은 것이 딥러닝에 근본적인 것일지도 모르지만, 많은 데이터는 딥러닝 연산에 대한 근본적인 이해를 돕기 위해 '거쳐가는' 또 다른 단계가 될지도 모른다.
* 요약
- 관련 분야에 하나도 관련 없는 삶(직종)과 살고 있는 내가 백 퍼센트 이해하기는 어렵지만 대략적으로나마 세상의 흐름을 좇기 위해 찾아보는 중. 백색 나무님이 있어서 그나마 다행이다. 부자 되기 쉽지 않다.
댓글