GIGP+: A CPU-GPU Co-Processing Engine for Multi-Vector Retrieval ※ 본 논문을 읽기 전에 IGP 논문을 읽고 오는게 좋다. 1. 문제 정의 PLAID-GPU는 GPU의 병렬성을 잘 살릴 수 있지만, 불필요한 수많은 후보군을 선정하기 때문에 Re-rank 과정에서 많은 연산 시간을 필요하게 ...

IGP: Efficient Multi-Vector Retrieval via Proximity Graph Index ※ 본 논문을 읽기 전에 PLAID 논문을 읽고 오는게 좋다. 1. 문제 정의 기존의 PLAID나 DESSERT 논문에서 제시한 방법들은 다수의 1차 후보군을 얻은 다음에 이를 가지고 Rerank를 해서 정확도를 높이는 방법을 ...

PLAID: An Efficient Engine for Late Interaction Retrieval ※ 본 논문을 읽기 전에 ColBERTv2 논문을 읽고 오는게 좋다. COLBERTv2 논문의 파생형이다. ColBERTv2와 동일한 저자가 좀 더 나은 형태의 방식을 제시한 것이다. 기본적인 골자는 다르지 않다. 후보 문서를 많이 가져...

COLBERTv2: Effective and Efficient Retrieval via Lightweight Late Interaction ※ 본 논문을 읽기 전에 ColBERT 논문을 읽고 오는게 좋다. COLBERT 논문의 파생형이다. 동일한 저자와 다른 공저자가 하나 더 붙어서 좀 더 나은 형태의 방식을 제시한 것이다. 본래는 Mod...

COLBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT 멀티 벡터 검색의 시초에 가까운 논문이다. 생각해보니 벡터 데이터 베이스 관련 포스팅을 해두고 이러한 기념비적인 논문을 리뷰하지 않았다는 점이 이상하다고 생각이 들어서 해당 논문을 리뷰...

분산 시스템 - Synchronization and Coordination 1. Synchronization and Coordination 이 필요한 이유 앞서 했던 포스팅에서 분산 시스템을 제대로 구현하기 어려운 이유는 아래의 세가지 이유가 있다 했다. 각 Node 별 정확한 시간을 맞출 수 없다. 네트워크 자체가 신뢰하기 어렵다. (여러...

분산 시스템 간접 통신 패러다임 1. 직접 통신 방식의 불 충분성 RPC와 같은 직접 통신 방식은 실시간성에는 좋지만 실제 환경에서의 작업은 대부분 비동기적으로 이루어진다. 직접 통신만으로 구성되면 아래와 같은 문제가 발생한다. 갑작스런 요청의 폭증에 대비할 수 없다. 서버에서 작업의 처리 시간이 꽤 걸리는 경우에는 다른 일을 처리할 수가...

Dynamic modeling 1. 개요 동적 모델링에서는 유스케이스를 더 구체화하는 것이 목표로 세부 목적은 아래와 같다. 객체들이 유스케이스에 어떻게 참여하는지 결정한다. 객체 구조화 기준을 사용하여 필요한 객체를 결정한다. 각 객체 구조화 기준에 대해 스테레오타입을 사용한다. ...

순열, 조합 다들 고등학교 때 배우는 순열과 조합에 대한 내용이다. 당연하지만 공식을 다루기 보다는 어떻게 코드로 순열과 조합을 구현할 수 있을까에 대한 내용이다. 1. 순열 n개의 원소가 있다고 할 때 그중에 r개를 뽑아서 나열하는 경우의 수이다. 다 배워서 알겠지만 공식은 아래와 같다. [{n}P{r} = \frac{n!}{(n-r)!}] ...

분산 시스템 직접 통신 패러다임 1. Remote Procedure Call (RPC) 1) RPC의 개요 원격 프로시저 호출(Remote Procedure Call)은 네트워크를 통한 통신 과정을 로컬 함수를 호출하는 것처럼 간단하게 처리할 수 있도록 설계된 통신 패러다임이다. 로컬 호출은 동일한 메모리 공간에서 나노초 단위로 실행되는 신뢰할수있...