🗣️자유대화방

정치이야기, 사적인이야기 빼고 자유롭게!
yuli
요즘 연일 화제인 Deepseek이 증류 기술을 이용해 학습했다고 해서
증류에 대해 다루어보았습니다.
지식 증류 Knowledge Distillation - 📖AI 키워드/용어 - AI WORKERS
AI 기술의 증류 기술 AI 기술의 지식 증류(knowledge distillation)는 모델의 경량화와 성능 향상을 목표로 하며, 특히 대규모 데이터셋을 다루는 데 유용하다. 증류는 복잡한 AI 모델을 더 작고 효율적인 모델로 변환하는 기술이다. 증류 기술은 큰 모델의 성능을 유지하면서도 더 적은 자원을 사용한다. 즉, 경량화와 성능 향상을 목표로 한다. 증류는 일반적으로 더 큰 '교사' 모델의 지식을 더 작은 '학생' 모델로 전이하는 과정이다. 증류의 기본 원리 증류는 일반적으로 두 가지 모델을 사용한다. 교사 모델(Teacher Model): 대량의 데이터로 학습된 복잡한 모델 학생 모델(Student Model): 상대적으로 간단하고 경량화된 모델 교사 모델은 학생 모델이 학습할 수 있도록 필요한 정보를 제공하고, 학생 모델은 교사 모델의 예측 결과를 바탕으로 학습한다. 증류의 과정 1. 교사 모델 학습 먼저, 대규모 데이터셋을 사용하여 교사 모델을 학습한다. 이 모델은 정확도가 높고 구조가 복잡하다. 먼저, 대규모 데이터셋을 사용하여 교사 모델을 학습한다. 이 모델은 정확도가 높고 구조가 복잡하다. 2. 예측 결과 생성 학습된 교사 모델을 사용하여 새로운 데이터에 대한 예측 결과를 생성한다. 이는 학생 모델이 학습하는 데 필요한 '지식'이 된다. 이 예측은 단순한 결과뿐만 아니라, 각 선택지에 대한 확률 같은 추가적인 정보도 포함한다. 예를 들어, 고양이 사진을 보고 "고양이일 확률 90%, 개일 확률 5%, 토끼일 확률 5%" 같은 식이다. 3. 학생 모델 학습 학생 모델은 교사 모델의 예측 결과를 기반으로 학습한다. 이 과정에서 학생 모델은 교사 모델의 지식을 압축하여 파라미터에 반영한다. 4. 성능 평가 학습이 완료된 후, 학생 모델의 성능을 평가하여 교사 모델과 비교한다. 일반적으로 학생 모델은 경량화되었음에도 불구하고 상당한 성능을 유지한다. 증류 기술의 원리
slashpage.com
👍
4 Reactions
Reaction
Comment
Share
yuli
Kling에도 Pika 같은 이펙트 기능이 생겼습니다.
mochimochi와 boomboom 두 가지가 있어요.
👍
2 Reactions
Reaction
Comment
Share
디오
내 아이디어를 특허화 하는데 도움되는 GPTS 추천합니다.
타 커뮤니티에 올라온 글이라서, 직접 링크 공유합니다.
유용한 ChatGPT 스토어 앱 : KIPRIS Patent Search (특허 검색) : 클리앙
KIPRIS Patent Search (특허 검색) https://chatgpt.com/g/g-PRsamNVJU-kipris-patent-search-teugheo-geomsaeg 챗GPT 자체로 사용도 좋지만, 데이터의 신뢰나 원하는 데이터가 나오지 않아 부족한 답변이 나올때가 많습니다. 일찍이 오픈AI에서 야심차게 출시한 GPT 스토어가 있는데요 ChatGPT에서 왼쪽 탭에 GPT 탐색을 클릭하면, GPTs라 불리는 곳으로 갈 수 있습니다. https://chatgpt.com/gpts 원래는 유료사용자만 쓸수 있는걸로 알고 있는데, 최근에 무료사용자에게도 풀렸다는 얘기가 있습니다. (확인이 필요합니다) 오늘은 그중 제가 가장 쓸만하다고 생각하는 KIPRIS Patent Search (특허 검색)을 소개하겠습니다. 저는 지금까지 특허 3개를 등록했습니다. 그리고 3개는 출원을 검토하다, 비용문제로 접었고요 특허를 출원 -> 등록하기까지의 기본과정은 이렇습니다. 1. 특허 아이디어를 생각해냄 2. 변리사에게 간단한 아이디어 형태로 전달 (ppt 1-2장짜리로) 3. 변리사가 3-4일안에 특허 가능 여부 판별 4. 진행하기로 결정되면, 특허에 대한 문서 전달 (필요하면 미팅도) 5. 한달 안에 40page가 넘는 특허 문서 제작완료 6. 이때 전체 특허진행비의 절반 납부, 특허 출원(신청) 7. 급행으로 할건지 선택(많이 비쌈) 안하면 1-2년 기다림 8. 반려나 보완요청이 오면 추가비 들여 특허 문서 보완 9. 등록완료 10. 등록과 함께 나머지 특허비 납부 저는 이 과정에서 전체 350-400만원 들었습니다. (사실 직접 특허청에 등록하면 40만원정도 드는걸로 알고있는데 혼자 특허쓰는건 사실상 불가능에 가깝죠...) 여기서 가장 중요한게, 내가 생각해낸 아이디어가 특허로 가능하냐? 라는건데요 변리사분들은 이 노하우들이 있기에 특허검색 사이트에서 몇가지 키워드로 손쉽게 찾아냅니다. 그게 노하우죠. 제가 몇년전에 스마트워치에 온도센서로 집안에 냉난방 제어하는 특허를 생각했는데요 특허 초안을 변리사에게 전달하니 3-4일만에 관련 특허가 있다고 어렵다는 연락을 받았습니다. 이걸 검색해보겠습니다. GPTs에서 KIPRIS Patent Search (특허 검색) 을 검색하거나 https://chatgpt.com/g/g-PRsamNVJU-kipris-patent-search-teugheo-geomsaeg 이 링크를 클릭해 들어갑니다. ServiceKey값을 입력해야 동작합니다. ServiceKey값은 특허정보 활용서비스 사이트에 가입해서 API 키 발급 받을 수 있습니다. https://plus.kipris.or.kr/ 개인은 월 1000번 API호출이 무료입니다. 1000번이면 충분하죠.. 회원가입하고 데이터 서비스 - 서비스신청 - OpenAI 선택하면됩니다. 52개 항목이 있는데, 해외특허들도 찾는게 있는데 국내특허에 한정하고 싶어서 저는 1-8번항만 선택해 사용중입니다. 이렇게 담으면 90만원입니다. ... 가 아니라 무료 월 1000건 제한으로 사용하시면 됩니다 ㅎ 아래 서비스 신청정보는 적당히 쓰면됩니다. 그렇게 해서 마이페이지-API 키 관리에서 키를 받을 수 있습니다. 이렇게 받은 키를 GPTs에 넣어주면됩니니다. 그리고 검색을 하면됩니다. 자연으로 손쉽게 검색할 수 있고, 이 중에 관심있는거를 자세히 알려달라고 합니다. 도면이미지도 불러오죠 단순히 챗GPT나 퍼플렉시티로 특허 검색했을때 정확도에 대한 걱정없이 이 GPTs를 쓰면 특허청에 있는 DB를 불러오는거라 신뢰할 수 있죠. 여기에 쩌는게 ChatGPT가 들어있기에 검색에서 끝나는게 아니라 이런 특허들 중에 내 아이디어가 특허로 등록하려면 어떻게 해야 하는지 그리고 비즈니스모델은 어떻게 되는지등 단순히 검색으로 끝나는게 아니라 확장 활용까지 가능합니다. 만들고 싶은 특허는 많은데 비용때문에 못만들고 있었는데요. 이번에 특허는 변리사 통하지 않고 혼자서 (아니 챗GPT랑 같이..) 특허 준비중에 있습니다. 특허 출원이 되면 그 과정을 공유드리겠습니다. 그럼 즐거운 설명절 되세요!
clien.net
👍
3 Reactions
Reaction
Comment
Share
yuli
어제 중국에서 새로운 AI 추론 모델이 나왔어요.
수학, 코드, 추론 작업에서 OpenAI의 o1 모델과 유사한 성능을 보인다고 합니다.

DeepSeek-R1 시리즈 모델 소개

1. DeepSeek-R1-Zero
훈련 방식: 대규모 강화 학습(RL)만으로 훈련되었으며, 감독 학습(SFT)을 사전 단계로 사용하지 않음.
성능: 뛰어난 추론 성능을 보였으나, 일부 문제점도 있음.
문제점: 무한 반복, 낮은 가독성 , 언어 혼합 등
2. DeepSeek-R1
개선된 점: RL 이전에 콜드 스타트 데이터를 통합하여 성능을 개선.
성능: DeepSeek-R1은 수학, 코드, 추론 작업에서 OpenAI의 o1 모델과 유사한 성능을 보임.
목표: RL의 한계를 극복하고 더욱 향상된 추론 성능을 제공.
See more...
👍
3 Reactions
2 Comment
Reaction
Comment
Share
디오
캐럿맨이 되기위해, 연습중
👍
1 Reaction
2 Comment
Reaction
Comment
Share
AUBE BIJOU
오늘 점심 다들 뭐 드시나요?!
전 햄버거 시켜먹으려고 합니다😍😍
달력 포장하고 배송도 오늘 보내드릴께요!
주문 주신분들 감사합니다:)
👍
3 Reactions
6 Comment
Reaction
Comment
Share
AUBE BIJOU
궁금해 하시는 분들 위해서 정보 올려드립니다!

오늘부터 “동대문 파아비스콤 대형 전광판”과
내방역 아트메이저 카페 두 곳에서 제 작품을 만나보실 수 있습니다
매주 금요일 24시간 챌린지를 통해 선정된 3작품이 일주일간 전광판에 전시됩니다:)

매주 금요일 밤 12시 주제공개
토요일 밤 12시까지 작품제출
일요일 12시까지 투표와 심사
로 선정된 3작품이 홍보됩니다

사이트는 아래와 같습니다
https://www.ad1day.com

매주마다 주제가 있으니 작가님들 작품성향과 맞는 주제 선택하셔서 작업해보시면 좋을것 같습니다
이미지, 영상 모두 가능하나 제 생각엔 영상이 더 좋은 점수를 받는 것 같으니 참고해주세요:)

👍
4 Reactions
8 Comment
Reaction
Comment
Share
yuli
Kling AI에 Prompt Dictionary와 My Preset 기능이 생겼어요.
카메라 움직임 등이 미리 설정되어 있어 편하네요.
자주 쓰는 프롬프트는 저장할 수도 있어요.
👍
2 Reactions
1 Comment
Reaction
Comment
Share
디오
아이디어와 상상력이 주는 감동이 쓰나미처럼 밀려오네요^^ 캐릭터 좋아하시는분들은 한번씩 보셔도 좋을것 같아요.
👍
2 Reactions
Reaction
Comment
Share
디오
요즘 굿 뉴스들이 슬슬 올라와서 좋네요~ 시원한 손흥민 골도 한번 보시죠~
00:06
👍
1 Reaction
Reaction
Comment
Share
해랑사
제 친구네 밴드가 노래를 냈어요! 위켄드 느낌이 조금 물씬 나는 노래입니다. 추천드려요! (자유게시판이니 노래 살포시 올려봅니다!)
https://www.youtube.com/watch?v=joEA1ouoqps
👍
3 Reactions
3 Comment
Reaction
Comment
Share
imhealingmachine
감기에 몇일째 아무것도 못하고 있네요ㅜ잠시 생존신고 하고 갑니다🥲
😱
2 Reactions
4 Comment
Reaction
Comment
Share
Share
디오
hailou CPP신청을 필두로, 다른 영상 툴에도 모두 신청해 볼 계획입니다.
신청 페이지 링크 아시는 분들은 여기에 공유해 주세요
[하이루오]
[런웨이]
👍
3
AUBE BIJOU
정보 감사합니다🙏🏻
See latest comments