기술 블로그 안하세요? 기술 블로그 안하세요?

지난 포스팅의 주제였던 Copyright Protection이 적용된 RAG에 대한 논문입니다.  CPR: Retrieval Augmented Generation for Copyright ProtectionRetrieval Augmented Generation (RAG) is emerging as a flexible and robust technique to adapt models to private users data without training, to handle credit attribution, and to allow efficient machine unlearning at scale. However, RAG techniques for imagearxiv.org  RAG는 private user..

Privacy를 지키기 위해 DP라 불리는 Differential Privacy가 주로 사용됩니다.하지만 이 방법은 성능의 한계가 뚜렷해 적극적으로 사용하기 힘듭니다. 이의 대안으로 본 논문은 Copyright 개념을 제시하며Privacy보다는 덜 엄밀하지만 충분히 정보 보호를 할 수 있는 방법에 대해 이야기합니다.  맨 왼쪽 = p가운데 두개 = q1,q2 (q1은 q2이미지 없다 vice versa)마지막 = p,q1,q2 이용 → p_k (둘다 없음)Dataset : CIFAR-10 (along with horizontal flips) augmented with multiple copies of two images taken from the CIFAR-10 test set2장을 test set에서 ..

이번 포스팅은 저에게 큰 절망감을 안겨줬던 논문에 대해 이야기하려 합니다. 저희가 해오던 연구를 거의 반파시킨 FLORA라는 논문입니다. 한도 끝도 없이 쓸 수 있지만 마음 아프니 짧게 포스팅하겠습니다. 본 논문은 LoRA의 작동원리를 해석하고 이를 Meomory Efficient하게 적용하는 방법을 제시하는 논문입니다. 결론부터 말하면, LoRA는 사실상 A를 활용해 W의 Gradient를 Down-Projection, Up-Projection을 반복하는 과정이다. 라고 볼 수 있겠습니다. 즉 Random Projection을 통해 Gradient를 Compress하고 다시 Decompress 합니다. 여러 가정이 뒷받침되어야 하지만, LoRA를 사용한 학습 원리를 명료하게 설명한다는 것은 틀림없습니다..

24년 3월에 arXriv에 올라온 두 편의 LoRA 관련 논문을 살펴보겠습니다. LoRA-SP: Streamlined Partial Parameter Adaptation for Resource- Efficient Fine-Tuning of Large Language Models 23년 발표된 논문인 LoRA-FA LoRA 학습 시 A는 Freeze 하고 B만 학습 시키는 것이 A,B 둘 다 학습시키는 것과 Comparable한 성능을 보인다고 주장 단, 본 논문은 Contribution이 약하다(memory saving이 크지 않다 등)는 이유로 ICLR에서 Reject ➡️ 즉 LoRA도 충분히 작지만, 여기서도 Redundancy가 존재한다고 볼 수 있음 LoRA-SP도 일부를 Freeze하는 비슷..

Input Representation Token Embeddings WordPiece 토크나이저를 사용하여 문장을 토큰으로 분해 바이트 페어 인코딩(Byte Pair Encoding, BPE)의 유사 알고리즘 흔한 단어를 그대로 유지하고, 흔하지 않은 단어는 부분 단어(subword)로 분해 sentence의 첫번째 token은 언제나 [CLS] (special classification token) 여기에 간단한 classifier를 붙이면 단일 문장, 또는 연속된 문장 분류 가능 분류 작업 안하면 무시 문장의 구분을 위해 문장의 끝에 [SEP] 토큰을 사용 Segement Embedding 문장 A와 문장 B를 구분하고, 각 문장의 시작과 끝을 알려주는 방법 첫 번째 문장의 모든 토큰에는 'A' 임베..