NPU(신경망처리장치, Neural Processing Unit)에 관한 이야기..

[파란토끼ll종원]

NPU(신경망처리장치, Neural Processing Unit)

NPU( 신경망처리장치, Neural Processing Unit)

신경망처리장치(NPU)

사람의 몸에서 자극을 받아들여 전달하고, 이에 대해 적절한 판단을 통해 반응 신호를 보내는 체계를 신경계라고 합니다.

그 중 뇌는 감각 기관에서 받아들인 자극을 종합·판단해 명령을 내리는데요.

이렇게 우리의 뇌처럼 정보를 학습하고 처리하는 프로세서를 신경망처리장치(Neural Processing Unit, NPU)라고 합니다. 😊

NPU는 셀 수없이 많은 신경세포와 시냅스로 연결되어 신호를 주고받으며 동시에 작업을 진행하는 인간의 뇌 신경세포와 유사한 작업을 진행합니다.

스스로 학습하고 판단할 수 있는 인공지능(AI) 등이 접목되어 일명 AI 칩이라고 불리기도 하죠.

기존에는 컴퓨터의 경우 중앙처리장치(Central Processing Unit, CPU)가 이와 같은 기능을 수행하며 데이터를 처리했습니다.

CPU 또한 모든 데이터를 처리하는 연산 능력을 갖고 있지만.. NPU는 동시다발적인 행렬연산에 최적화된 프로세서로 여러 개의 연산을 실시간으로 처리합니다.

그뿐 아니라 축적된 데이터를 기반으로 스스로 학습하여 최적의 값을 도출해냅니다.

이러한 특성 덕분에 NPU는 컴퓨터가 사람처럼 생각하고 배울 수 있는 기계 학습(Machine Learning) 기술을 뜻하는 딥러닝(Deep Learning)에 최적화된 기술로 평가 받고 있습니다. 🤗

삼성 최초로 NPU가 탑재된 AP 엑시노스(Exynos) 9820

삼성 최초로 NPU가 탑재된 AP 엑시노스(Exynos) 9820

삼성전자는 2018년 11월 프리미엄 모바일 애플리케이션 프로세서(AP, Application Processor) '엑시노스 9(9820)'을 공개했습니다.

인공지능 역할을 하는 NPU를 탑재해 인공지능 연산 능력이 기존 제품(9810) 대비 약 7배 향상되었는데요.

이러한 빠른 연산 속도는 증강현실(AR), 가상현실(VR)과 같이 인물과 사물의 특징을 빠르고 정확하게 파악해 역동적이면서도 재미있는 사용자 경험(User Experience)을 제공하는 기술에서 크게 발휘됩니다.

또한, 서버와 연결을 통해 수행하던 인공지능 연산 작업이 모바일 기기 자체적으로도 가능해져 보안적인 측면도 향상되었습니다.

삼성전자는 높은 카메라 수준으로 인해 엑시노스 9820이 출시되기 전까지.. NPU 없이도 실시간 보케를 척척 처리해냈고, 갤럭시노트 8부터 실시간 심도 조절(아웃포커싱 처리)을 할 수 있었습니다.

하지만, 실시간 처리나 안면인식, 생체인식을 통한 보안 이슈, 안정적인 AR 구동 등을 위해서 NPU에 관심을 갖고 개발을 진행하게 되었습니다. 😊

엑시노스 9820은 전통적인 성능(싱글코어 성능 20%·멀티코어 15%·전력효율 40% 개선) 개선도 이뤘지만 NPU 탑재로 인해 소프트웨어적인 사진 품질 개선도 이뤄졌다고 합니다.

AI 프로세서 NPU가 필요한 이유

AI 프로세서 기술이 적용된 스마트폰에 업계가 주목하는 이유는 무엇일까요?

NPU를 비롯한 AI 프로세서 기술이 적용된 스마트폰에 업계가 주목하는 이유는 다음과 같습니다.

1. 머신 러닝(Machine Learning)을 효율적으로 수행할 수 있기 때문입니다.

기존 스마트폰 AP와 GPU만으로는 머신 러닝을 빠르게 진행할 수 없고 배터리도 빨리 소모됩니다.

2. 머신 러닝에 특화된 AI 프로세서가 있으면 이미지, 영상, 음성 등을 인식, 학습해 자체적인 AI 능력을 갖추기가 더욱 쉬워집니다.

3. 빠른 속도를 지닌 NPU가 CPU, GPU의 작업을 도와줄 수 있기 때문에 성능을 대폭 향상시킬 수 있습니다.

AI 프로세서가 적용된 스마트폰, 메이트 10을 출시한 화웨이에 따르면, NPU가 CPU와 함께 동작할 때 최대 25배까지 성능이 향상된다고 합니다.

4. 보안상의 이유도 있습니다.

현재 스마트폰에 적용된 인공지능(AI) 서비스는 클라우드 컴퓨팅을 이용하는데 이럴 경우 해킹에 취약하다는 단점이 있습니다.

그래서 스마트폰이 자체적인 AI 프로세서를 통해 개인정보를 더 많이 처리해야 할 필요성이 높아지고 있습니다.

그렇다면.. 세계 최초의 NPU탑재 AP는 어떤 것일까요?

세계 최초로 NPU를 상용화한 애플의 모바일 AP, A11 프로세서

아이폰8 시리즈, 아이폰X에 들어가는 모바일 AP,  A11 바이오닉(Bionic)에는 인공지능 처리를 맡는 NPU가 탑재됐습니다. 그럼에도 불구하고 이전보다 AP칩의 크기가 30% 더 작아졌다고 하네요. 😳😳😳 

A11 바이오닉의 NPU와 GPU가 함께 동작하면서 더욱 강력한 머신 러닝 능력을 보여주고 있습니다. 이를 통해 아이폰X는 얼굴을 인식하고 분석해 시선만 돌리면 잠금을 해제할 수 있는 ‘페이스 ID’ 기능을 제공할 수 있게 되었습니다. 🤗

AP의 성능도 이전보다 더욱 좋아졌습니다.

한 벤치마크에 따르면, 아이폰X는 2017년형 13인치 맥북 프로와 대등한 성능을 보인 것으로 나타났습니다.

내가 먼저 발표했다고! 화웨이의 기린 970

독일 베를린에서 열린 IFA 2017에서 화웨이는 차세대 모바일 AP 기린(Kirin) 970을 공개했습니다. 발표 당시 세계 최초로 NPU가 탑재된 AP였습니다. 🤗

화웨이는 “NPU는 CPU보다 처리 능력은 25배, GPU의 6배, 에너지 효율은 50배 뛰어나다”고 밝혔습니다.

이 NPU를 통한 인공지능은 카메라에 포착된 사물을 인식한 뒤 자동으로 사진에 설정된 옵션을 적용해 최적의 사진을 찍을 수 있게 한다고 합니다.

화웨이는 실시간 번역이나 음성명령, 증강현실 콘텐츠에서도 강점을 나타낼 것으로 기대하고 있습니다.

우린 소프트웨어로 간다. 퀄컴 NPE

모바일 AP 부문 점유율 1위, 퀄컴은 자사의 모바일 AP, 스냅드래곤이 직접 AI를 처리할 수 있게 했습니다.

NPU 대신 소프트웨어 알고리즘인 NPE(Neural Processing Engine)를 적용한 것입니다.

이를 활용하면 CPU, GPU 등의 성능을 향상시켜 AI를 원활히 구현할 수 있다고 합니다.

다른 업체와의 제휴도 진행 중이라고 하네요.

2018년 6월, 퀄컴은 네이버와 인공지능 분야에서 전략적 협업관계를 구축했습니다. 이를 통해 네이버는 자사의 AI 플랫폼 ‘클로바’(Clova)를 퀄컴의 사물인터넷 프로세서에 탑재하게 되었습니다.

늦었다고 얕보면 안 되는 인텔

모바일과 인공지능 분야에서 뒤쳐졌던 인텔도 속도를 내고 있습니다. 인텔은 인공지능 스타트업 ‘너바나’(Nervana)를 인수한 뒤 AI 지향 신경망 프로세서를 개발하고 있습니다.

스스로 학습하는 기능을 갖춘 인공지능 칩, ‘로이히’(Loihi)도 개발 중인 것으로 알려졌는데요. 또 하나의 IT 괴물, 구글과도 협업을 시작했습니다.

구글이 출시한 스마트폰, 픽셀2, 픽셀2 XL에는 인텔과 구글이 공동으로 개발한 커스텀 이미지 프로세서가 탑재되었습니다.

이 프로세서는 이미지 프로세싱은 물론 애플리케이션에서의 AI 작업을 더욱 빠르게 처리한다고 합니다.

늦었지만..

삼성의 갤럭시 S10시리즈에 탑재된 엑시노스 9820

삼성에서도 2019년에 엑시노스 9820을 탑재한 S10시리즈가 출시되었습니다.

안타깝게도 아직까지는 NPU의 성능을 제대로 활용하지 못해서 연일 이슈가 되고 있는 것 같아요.. 😭😭

펌웨어 업데이트를 통해서..

빠른 시일내에..

그동안의 불명예를.. 

깨끗이 씻을 수 있기를 기대해 봅니다~ 🤗🤗

💡 삼성이 2000명 투입하겠다는 '뇌를 닮은 칩'은?

https://m.blog.naver.com/PostView.nhn?blogId=tech-plus&logNo=221566440595&navType=tl

📖 출처:

✔www.samsungsemiconstory.com/1966

✔https://byline.network/2018/11/20-32/

✔http://m.ilovepc.co.kr/news/articleView.html?idxno=18058

💡 질문하시기 전에 먼저 검색🔍부터 해보시면.. 질문하지 않고 원하시는 해결법과 답변을 얻으실 수도 있습니다. 😉

[홍여사 · Accepted solution]

좋은 정보 감사드려요~~^^

[파란토끼ll종원]

도움되셨길 바랍니다.. 홍여사님~ 🤗

[MINUHOME · Accepted solution]

공부하고갑니다 ! ㅎㅎㅎ

[파란토끼ll종원]

저도 열심히 공부했어요~ 솜브라님~ 🤗

[바견 · Accepted solution]

오호...NPU라는 프로세서의 존재는 이번에 처음 알고갑니다!!
딥러닝, AI에 연관된 게 이녀석이었군요😀
노트10이 더더욱 기대가 됩니다

[파란토끼ll종원]

네~ 바견님..
도움되셨길 바랍니다..

열심히 개발에 참여하고 계신 빅스비 캡슐..
빅스비와도 연관이 많은 프로세서예요..

노트10은 저도 기대기대 중입니당~ 🤗

[밤의휴식 · Accepted solution]

저렇게 홍보를 했는데 NPU 활용을 지금도 제대로 못하고 있으니 답답합니다. 소프트웨어 개발자분들 고생하는건 알지만 이왕 이렇게 늦은거 확실하게 성능 변화 보여주어 유저들 깜짝 놀라게 해줬으면 좋겠어요.

[파란토끼ll종원]

네.. 밤의휴식님.. S10시리즈를 직접 사용하고 있지는 않지만.. 개인적으로 많이 안타까운 부분입니다.
말씀처럼 개발자분들이 고생하시겠지만..
빠른시일내에.. 제대로 기능개선된 펌웨어가 딱!!!
나와주면 좋겠습니다~ 🤗🤗🤗

[블로썸 · Accepted solution]

잘읽구가요~!

[파란토끼ll종원]

네~ 긴 글 읽어주셔서 감사합니다~ 블로썸님~ 🤗

[green · Accepted solution]

삼성은 높은 수준의 카메라 품질 때문에 경쟁사에 비하여 스마트폰에 npu 탑재가 늦었습니다
그러다가 더 이상 늦출수가 없어 작년 11월에 npu를 적용한 엑시노스9820 칩셋을 개발하고 이를 갤럭시S10 모델에 처음으로 탑재한 바 있지만 기술적인 완성도와 최적화가 아쉬운 부분이 있었습니다
그러나 지금까지의 학습효과와 그동안 이루어졌을 기술개발의 진전으로 8월 출시가 확정된 갤럭시노트10에 탑재될 엑시노스 9825칩셋은 많은 발전이 있으리라 생각합니다

[GOLDPOOH]

저난 카메라와는 달리 개발과 투자의 시작이 늦었다고 생각합니다. 노트8부터 보테라는 기술로 기본적인 안면인식을 써오다가 안면인식에 대한 이슈가 많이 생겨 모바일ap의 보안강화를 좀 뒤늦게 깨달은 것 같더라구요. 기술적인 완성도는 몰라도 인공지능을 위해 npu가 탄생했는데 전작 s9과 크게 다를게 없는 것 같아 최적화가 절실히 느껴지긴 합니다.. 스타트를 늦게 끊었지만 이제는 비메모리 산업투자가 활발히 이루어지니 차기 갤럭시 모델들이 기대됩니다!!

[파란토끼ll종원]

네.. green님 말씀처럼..
경쟁업체들에 비해서는 NPU에 대한 관심이나 투자가 많이 늦은감이 있는 것 같습니다.

이유는 정확히 알 수가 없지만..
NPU고유의 기능을 제대로 활용하지 못하고 있는 것 같아서..
많이 아쉽고.. 안타깝기도 하구요..

후발주자이다보니.. 시간이 좀 필요할 것 같기도 합니다.
최근에 관련 기사들이 많이 나오고 있으니..
빠른 시일내에.. 따라 잡을 수 있을지도 모르겠다는..
생각이 들고.. 그래주면 좋겠습니다~ 🤗

[GOLDPOOH · Accepted solution]

제가 글쓰면서 아쉬웠던점을 다보여주셔서 시원하네요!!😊

[파란토끼ll종원]

자료가 많기는 한데..
이해하고.. 정리하기가 만만치 않더라구요.. 😅😅

시원하셨다니.. 다행입니다.. GOLDPOOH님~ 🤗

[GOLDPOOH]

딥러닝 자체가 사람들에게는 생소한 부분이라 저도 글쓰기에는 어려웠어요ㅎㅎ

[Rock23 · Accepted solution]

요 내용은 늘 관심이 많아서요
넘 잘 이해했습니다😂👍
좋은 글 올려주셔서 감사합니다💘🥳

[파란토끼ll종원]

이해하시고.. 도움도 되셨다니.. 다행입니다..
긴 글 읽어주셔서 감사합니다.. Rock23님~ 🤗

[포노思피엔 · Accepted solution]

파란토끼님의 지식나눔에 감사를 드립니다^^

이 난해한 걸 또 하나 알아갑니다 👍

[파란토끼ll종원]

원문 작성하신 분이.. 잘 써주셔서..
저는 뺄건 빼고.. 넣을 건 넣고..
조금 더 보기 편하게.. 추려서 적어봤습니다.

도움되셨다니.. 기쁩니다.. 포노사피엔님~ 🤗

[GalaxyWorld · Accepted solution]

잘보고가요 우리파란토끼님^^

[파란토끼ll종원]

네~ 긴 글 읽어주셔서 감사합니다~ 노트9사후지원님~ 🤗

[GalaxyWorld]

네^^😊

[마일로스 · Accepted solution]

하드웨어 관련 내용은...빨리 알 순 있더라도 그걸 풀어서 설명하기 어렵죠...ㅠ
글 잘 읽고 갑니다! 수고하셨습니다 😊

[파란토끼ll종원]

맞아요.. MYLOS님..
그래서 본인이 이해하지 못하면..
글쓰기도 더 어려운 것 같습니다.. 😊

다행히 원문을 쓰신 분들이.. 많이 이해하기 쉽게 써주셔서..
저는.. 불필요하고, 중복되는 내용들은 빼고..
좀 더 매끄럽게 수정하고.. 편집하는 일만 했답니다.. 🤗

사실 그것도 만만치는 않았지만요~ 😅

[Luminant · Accepted solution]

이제야 봤네요^^
좋은 정보 잘알아 갑니다~

[파란토끼ll종원]

도움되셨길 바랍니다~ Luminant님~ 🤗