Bitcoin 1. 개요 이전 blockchain의 개요 포스팅에서 언급했듯이 2008년 세계 금융 위기로 인해 생겨난 개개인간의 전자 결제 시스템이다. 사토시 나카모토(높은 확률로 가명이다)라는 사람이 백서(Bitcone : A Peer-to-peer Electronic Cash System)를 발표함에 따라 시작되었으며 blockchain 기술...

blockchain 1. 개요 2007년~2008년에 일어났던 미국에서 시작된 서브프라임 모기지 사태가 전 세계 금융시장의 신용 경색으로 확산되며 발생한 대규모 경제 위기로 인해 미국의 여러 은행과 기업들이 도산할 위기에 쳐하자 미국이 달러를 더 발행하여 은행 및 기업들을 구제하여 돈의 가치가 떨어지게되었다. 이에 국가의 신용에 화폐를 맡기는 구조에 ...

Fast Vector Query Processing for Large Datasets Beyond GPU Memory with Reordered Pipelining 24년 NSDI에 발표된 논문이다. 베이징 대학교에서 발표했으며, Vector DB에서 GPU 사용을 어떻게 하면 효율적으로 할 수 있는지에 대한 내용으로 아주 큰 Dataset을 대상으로...

공간 데이터 베이스 - Spatial Access Method 이전 포스팅에서는 Spacial Query 종류가 어떤것이 있는지, 그리고 어떻게 사용하는지 예시를 알아보았다. 이번에는 어떤식으로 해당 쿼리들을 구현하는지에 대해 알아볼까 한다. 1. 개요 우리가 일반적으로 사용하던 SQL DB에서 일반적인 타입의 경우에는 값을 찾아오기에 매우 쉬운 편...

공간 데이터 베이스 - 공간 데이터 쿼리 ※ 이번 포스팅을 이해하기 위해서는 SQL에 대한 기본적인 이해가 필요하다. 기본적인 SQL에 대한 내용은 같은 카테고리내에 잘 정리되어있으니 참고하면 좋다. 1. 개요 SQL도 버전이 있다. 1986년에 나온 SQL1, 1992년에 나온 SQL2, 1999년에 나온 SQL3가 바로 이런 버전이다. ...

공간 데이터 베이스 - 데이터 모델 1. 개요 모델이라고 하면 원래 건물을 지을때의 청사진이나 일종의 미니어처를 말한다. 하지만 여기서 앞에 데이터가 붙는다면 뜻은 좀 달라진다. 어떤 데이터 모음에 대한 구조나 형태를 말한다. 이 형태는 실질적으로 이 데이터가 어떤 역할을 하는지 설명에 대한 것도 붙는다. 전통적인 SQL DB에서 Column 이름을 ...

Vector DB - Product Quantization 1. 개요 DiskANN과 여러 VectorDB 운용간 쓰이는 양자화 방식인 Product Quantization(이하 PQ)에 예시와 함께 잘 설명해둔 한국어 포스팅이 없어서 내가 정리해서 쓰게 되었다. 이해한대로 썼는데 혹시나 내용이 틀렸다면 메일(blakewoo0819@gmail.com)...

공간 데이터 베이스 1. 개요 인간이 IT 기술을 다루다보니 여러가지 데이터들을 한데 모아두고 운용할 필요성을 느꼈고 그에 따라 Database라는게 등장했다. Database라고 하면 어떤 데이터의 뭉치를 말한다. 이 뭉치에 편하고 빠르게 데이터를 넣고 뺄 수 있도록 지원하는 프로그램이 바로 Database Management System이다. 줄...

Apache Kafka 구조 이전에 Apache Kafka 포스팅을 보고 이게 어떻게 가능한가 하는 생각이 들었을 것이다. 이번 포스팅인 Kafka에 대한 구조를 살펴본다면 어떻게 해당 작업이 가능한지 이해할 수 있을 것이다. 1. Overview 기본적으로 Kafka는 아래와 같은 구조를 갖는다. 기본적으로 Producer에서 Topic을 ...

Fine tuning 1. 개요 사전학습(대규모 일반 데이터)된 LLM의 가중치(또는 일부 구성 요소)를 특정 작업·도메인·스타일에 맞게 추가로 학습시키는 과정이다. 목적은 같은 모델로 더 정확하고 안정적인 결과를 얻거나, 사용 사례(챗봇, 분류, 요약 등)에 특화시키는 것이다. 이미 만들어져있는것을 세부적으로(fine) 튜닝(tuning)하는 것이다...