Explore content

강당에서 야동보면 감흥이 다르긴 해😊

맺으며/ 최근에 0g에서 베니스의 파쿠리 모델을 만들면서 슬슬 베니스와 Dime의 구조라던지 비용문제에 대해 궁금해하는 니즈가 보이는거 같던데, 이건 설명하자면 기니까 나중에 시간나고 심심하면 조금 적어볼게요. 끗!

16/ 대~강 로컬AI 얘기 나온 김에 프라이버시 AI들의 니즈와 필요성, 그리고 수요에 대해서도 깔짝 얘기해봤어요. 로컬장비에 1억박는 사람은 대체 그 엄청난 사양으로 혼자 몰르 얼마나 음탕한걸 만들고 있을지 궁금한데, 아마 지금 이 순간에도 절대 남에게 말못할걸 몰래 집에서 만들고 있겠죠.. 1억 갈아넣을만큼 프라이버시가 중요할거고... 흠흠 아무튼 최

15/ 대충 정리를 하자면, 로컬 AI = 프라이버시와 보안적인 문제에 강하고 비용이 거의 들지 않지만 하드웨어 성능에 한계 존재 일반 클라우드 AI = 성능이 굉장히 좋지만 중앙화가 갖는 모든 문제점이 존재(보안, 사생활수집, 프라이버시, 유출, 검열등) Venice, iai등 = 비용을 지불하며 클라우드 AI를 이용하되, 프라이버시와 사용 자유도를 늘리

14/ 여기서 무검열과 프라이버시, 보안까지만 챙겨가고, 비용적인 부분에서 살짝 타협을 하고 싶다? 성능은 좋은채로 가져가고 싶다? 이럴 때 쓰게되는게 바로 베니스같은 걸로 대표되는 프로젝트들이에요. 모델에 따라, 방식에 따라 조금씩의 차이는 있지만 기존의 클라우드 AI를 사용하면서 검열문제나 프라이버시, 보안적인 문제들을 해결할 수 있습니다.

13/ 하~지만 모든 사람이 저 사람처럼 장비에 시원시원하게 큰 돈을 태울 수 있는건 아니니깐.... 무검열 - 프라이버시 - AI 사용시 토큰소모비용 이 세개 모두를 해결하기 원하지만 목돈이 없는 경우엔 그냥 평소 쓰던 장비에 깔아서 써야겠죠? 맥미니라던지.. 이러면 또 성능적인 부분에서 아쉬워집니다.

12/ 당장은 성능이 더 중요한 타이밍이긴 하지만 점점 로컬AI가 발전하게 될수록 - 모델이 내 기기에서 돌아가는지 - 아니면 외부 서버에서 돌아가는지 - 입력한 프롬프트가 저장이 될 수 있는지 - 요청이 끝난 뒤 내용이 완전히 제거되는지. 등등을 예민하게 따지는 사람들이 많아질거에요. 지금 NA 아저씨가 개인용 장비에 1억을 태우는 모습등을 보며 "와 저

11/ 예를 들어볼까요? 내가 매일 마운자로를 맞고 사진을 찍으며 내 AI와 눈바디를 함께 고민하고 있는데, 이게 오픈AI의 문제로 외부로 유출이 될 수 있다면? 구글이 점점 메마르는 돼지"라는 주제를 영상학습 시키는 용도으로 내 몸사진이 들어가고 있다면? 안그래도 친구들이랑 텔레그램에서 이야기하는 내용이 바로 유투브에 떠서 소름끼치는데 내 AI 사용이 개

10/ 계약서 검토, 작성한 글 교정, 고민상담, 언어번역, 그날그날 찍은 사진 자동 분류 및 저장 등등... 사실 우리가 AI를 자주 사용하는 용도들을 생각해보면, 그 중에는 그렇게 고성능이 필요하지도 않고, 혹시라도 유출되면 곤란한 내밀한 사생활에 관련된 내용들이 굉장히 많아요.

(다들 지구멸망을 대비해 전자사전에 오프라인 나무위키 받아두셨죠?)

9/ 그러면 로컬모델의 장점은 뭐냐? 일단은 비싼 구독비를 다달이 낼 필요없다는 점도 장점이겠지만, 더 중요한건 검열같은걸 신경 쓸 필요가 없다는 점, 그리고 보안좋고 프라이버시 측면에서 자유롭다는 점이겠죠. 중앙화 사업은 늘 기업측의 개인정보의 수집 가능성이 존재한다는 찜찜함이 기본적으로 내재되었을 뿐 아니라, 그렇게 저장되는 데이터가 유출되거나 악용될

8/ 현재 Mozilla 재단의 최신 글(State of Open Source AI)을 참고해보면, 모질라에서 추정하고 있는 오픈모델과 클로즈드 모델의 격차는 약 4.4개월정도라고 해요. 생각보다 격차가 그렇게 크지는 않다는거죠. 늘 하이라이트가 최 선두에만 맞춰져 있지만, 로컬모델들도 천천히 따라오고 있다는 이야기입니다.

7/ 그런데 최근에는 점차 로컬로 돌릴 수 있는 AI들의 성능도 정말 많이 올라온 편이에요. 비탈릭 부테린도 자기 노트북 콤퓨타에서 돌려본 Qwen 3.8 Flash 모델의 성능에 대해 "인상적이다" 라며 평가했을 정도.

6/ 이 글을 읽는 분들이면 다들 AI정도는 써봤겠지? 요즘 최신 AI들의 발전은 놀라운 편인데, 제미나이와 오픈AI가 앞서거니 뒷서거니 하더니 메타가 새로운걸 발표하고... 동영상도 이제 슬슬 불쾌한 골짜기도 잘 느껴지지 않는 수준이 나오기 시작했어요. 최근에 여행갔을 때는 발마사지하는 청년도 대화할 때 구글 번역 내밀었더니 웃으면서 "요즘 누가 이런걸

5/ 로컬AI의 단점은 뭐냐? 대표적으로 성능문제. 자기 PC로 돌리면 아무래도 대기업에서 최고급으로 장비 갖춰둔거 대비 성능이 더 떨어져요. PC성능도 PC성능이지만 오픈AI나 구글같은데서 기를 쓰고 개발하는 최신예 AI모델보다는 아무래도 한끗 더 떨어지는 성능의 모델을 사용할 수 밖에 없거든요

4/ 참, 여기서 "로컬AI'란건, 자기 PC로 직접 모델을 돌리는거 의미하는거에요. 우리가 지금 쓰는 제미나이, 클로드, GPT등은 전부 클라우드로 대신 돌리고 있는거잖아?

(지금같은 경우, 동영상 깎는 노인들끼리는 AI로 만든 개쩌는 영상을 보면 "이거 프롬프트가 뭐지?' 가 궁금하기보다 "아니 이 미친놈 대체 영상 하나에 얼마를 태운거지?" 부터 궁금해진다고 해요)

3/ 요즘 젊은이들은 이해 못할수도 있겠군. 그러면 그때는 왜 로컬모델을 사용했을까? 단순히 검열문제때문에? 그런데 그렇지가 않았어요. 사실 그때도 야짤 뽑는거 충분히 가능했어. 더 큰 문제는 바로 비용문제였어요. 지금이야 GPT가 너무 알잘딱으로 찰떡같이 뽑아주지만 초창기엔 애초 그림 퀄리티가 들쑥날쑥한데다가 프롬프트를 아무리 정교하게 넣어도 내가 원하는

2/ 기억할지 모르겠는데, AI 초반에는 이 로컬AI가 굉장히 핫했어요. 초반엔 주로 그림쪽이 핫했잖아? 그때는 집에서 스테이블 디퓨전이나 유출되었던 노벨AI 로컬모델을 가지고 집에서 하루종일 야짤깎는 노인들이 굉장히 많았답니다.