PLAID: An Efficient Engine for Late Interaction Retrieval COLBERTv2 논문의 파생형이다. ColBERTv2와 동일한 저자가 좀 더 나은 형태의 방식을 제시한 것이다. 기본적인 골자는 다르지 않다. 후보 문서를 많이 가져온 뒤에 각 후보 문서의 잔차를 복원하고 full maxsim으로 계산하는 ...

COLBERTv2: Effective and Efficient Retrieval via Lightweight Late Interaction COLBERT 논문의 파생형이다. 동일한 저자와 다른 공저자가 하나 더 붙어서 좀 더 나은 형태의 방식을 제시한 것이다. 본래는 Model에 대한 개선과 LoTTE (Long-Tail Topic-stratifie...

COLBERT: Efficient and Effective Passage Search via Contextualized Late Interaction over BERT 멀티 벡터 검색의 시초에 가까운 논문이다. 생각해보니 벡터 데이터 베이스 관련 포스팅을 해두고 이러한 기념비적인 논문을 리뷰하지 않았다는 점이 이상하다고 생각이 들어서 해당 논문을 리뷰...

분산 시스템 - Synchronization and Coordination 1. Synchronization and Coordination 이 필요한 이유 앞서 했던 포스팅에서 분산 시스템을 제대로 구현하기 어려운 이유는 아래의 세가지 이유가 있다 했다. 각 Node 별 정확한 시간을 맞출 수 없다. 네트워크 자체가 신뢰하기 어렵다. (여러...

분산 시스템 간접 통신 패러다임 1. 직접 통신 방식의 불 충분성 RPC와 같은 직접 통신 방식은 실시간성에는 좋지만 실제 환경에서의 작업은 대부분 비동기적으로 이루어진다. 직접 통신만으로 구성되면 아래와 같은 문제가 발생한다. 갑작스런 요청의 폭증에 대비할 수 없다. 서버에서 작업의 처리 시간이 꽤 걸리는 경우에는 다른 일을 처리할 수가...

Dynamic modeling 1. 개요 동적 모델링에서는 유스케이스를 더 구체화하는 것이 목표로 세부 목적은 아래와 같다. 객체들이 유스케이스에 어떻게 참여하는지 결정한다. 객체 구조화 기준을 사용하여 필요한 객체를 결정한다. 각 객체 구조화 기준에 대해 스테레오타입을 사용한다. ...

순열, 조합 다들 고등학교 때 배우는 순열과 조합에 대한 내용이다. 당연하지만 공식을 다루기 보다는 어떻게 코드로 순열과 조합을 구현할 수 있을까에 대한 내용이다. 1. 순열 n개의 원소가 있다고 할 때 그중에 r개를 뽑아서 나열하는 경우의 수이다. 다 배워서 알겠지만 공식은 아래와 같다. [{n}P{r} = \frac{n!}{(n-r)!}] ...

분산 시스템 직접 통신 패러다임 1. Remote Procedure Call (RPC) 1) RPC의 개요 원격 프로시저 호출(Remote Procedure Call)은 네트워크를 통한 통신 과정을 로컬 함수를 호출하는 것처럼 간단하게 처리할 수 있도록 설계된 통신 패러다임이다. 로컬 호출은 동일한 메모리 공간에서 나노초 단위로 실행되는 신뢰할수있...

분산 시스템 이번 포스팅에는 분산 시스템의 전반적인 특징과 목적에 대해서 설명할 예정이다. 각 부분에 대한 세부적인 부분은 앞으로 추가적인 포스팅을 통해 설명 예정이다. 1. 개요 분산 시스템(Distributed System)은 독립적인 컴퓨터들의 집합이 네트워크를 통해 메세지를 주고 받으며 하나의 통합된 서비스를 제공하는 시스템이다. 아래와 ...

CUDA Memory Management 1. CUDA 메모리 구조 CUDA 메모리는 데이터의 대역폭과 지연 시간(Latency)의 격차를 줄이기 위해 계층적 구조를 가진다. 크게 On-chip 메모리와 Off-chip 메모리로 나눈다.+ 1) On-chip 메모리 레지스터, 공유 메모리(Shared Memory), L1/L2 캐시 등이 포함되며...