공간 데이터 베이스 - Spatial Access Method 이전 포스팅에서는 Spacial Query 종류가 어떤것이 있는지, 그리고 어떻게 사용하는지 예시를 알아보았다. 이번에는 어떤식으로 해당 쿼리들을 구현하는지에 대해 알아볼까 한다. 1. 개요 우리가 일반적으로 사용하던 SQL DB에서 일반적인 타입의 경우에는 값을 찾아오기에 매우 쉬운 편...

공간 데이터 베이스 - 공간 데이터 쿼리 ※ 이번 포스팅을 이해하기 위해서는 SQL에 대한 기본적인 이해가 필요하다. 기본적인 SQL에 대한 내용은 같은 카테고리내에 잘 정리되어있으니 참고하면 좋다. 1. 개요 SQL도 버전이 있다. 1986년에 나온 SQL1, 1992년에 나온 SQL2, 1999년에 나온 SQL3가 바로 이런 버전이다. ...

공간 데이터 베이스 - 데이터 모델 1. 개요 모델이라고 하면 원래 건물을 지을때의 청사진이나 일종의 미니어처를 말한다. 하지만 여기서 앞에 데이터가 붙는다면 뜻은 좀 달라진다. 어떤 데이터 모음에 대한 구조나 형태를 말한다. 이 형태는 실질적으로 이 데이터가 어떤 역할을 하는지 설명에 대한 것도 붙는다. 전통적인 SQL DB에서 Column 이름을 ...

Vector DB - Product Quantization 1. 개요 DiskANN과 여러 VectorDB 운용간 쓰이는 양자화 방식인 Product Quantization(이하 PQ)에 예시와 함께 잘 설명해둔 한국어 포스팅이 없어서 내가 정리해서 쓰게 되었다. 이해한대로 썼는데 혹시나 내용이 틀렸다면 메일(blakewoo0819@gmail.com)...

공간 데이터 베이스 1. 개요 인간이 IT 기술을 다루다보니 여러가지 데이터들을 한데 모아두고 운용할 필요성을 느꼈고 그에 따라 Database라는게 등장했다. Database라고 하면 어떤 데이터의 뭉치를 말한다. 이 뭉치에 편하고 빠르게 데이터를 넣고 뺄 수 있도록 지원하는 프로그램이 바로 Database Management System이다. 줄...

Apache Kafka 구조 이전에 Apache Kafka 포스팅을 보고 이게 어떻게 가능한가 하는 생각이 들었을 것이다. 이번 포스팅인 Kafka에 대한 구조를 살펴본다면 어떻게 해당 작업이 가능한지 이해할 수 있을 것이다. 1. Overview 기본적으로 Kafka는 아래와 같은 구조를 갖는다. 기본적으로 Producer에서 Topic을 ...

Fine tuning 1. 개요 사전학습(대규모 일반 데이터)된 LLM의 가중치(또는 일부 구성 요소)를 특정 작업·도메인·스타일에 맞게 추가로 학습시키는 과정이다. 목적은 같은 모델로 더 정확하고 안정적인 결과를 얻거나, 사용 사례(챗봇, 분류, 요약 등)에 특화시키는 것이다. 이미 만들어져있는것을 세부적으로(fine) 튜닝(tuning)하는 것이다...

Transformer and “Attention Is All You Need” 1. 개요 기본적으로 언어라는 것은 순서가 있다. 각각의 단어들이 위치와 앞뒤 단어와의 연관성에 따라 관계를 가지고 뜻을 형성한다. 이는 이전에 포스팅했던적 있는 LSTM과 GRU가 등장하게 된 계기다. 기존 딥러닝 모델에 비해서 순차 데이터 처리에는 LSTM과 GRU가 ...

구문 분석 1. 개요 어휘 분석기에서는 입력 받은 토큰 스트림이 생성 가능한 것인지 판별했다. 토큰 스트림이 생성 가능하다고 판별되면 이는 구문 분석기로 넘겨져 파스 트리(Parse tree)나 추상 구문트리(AST)를 생성하게 된다. 이를 가능케하는 것은 컴파일러 형식언어에서 이야기하는 문법이며, 이 문법은 유도를 이용해서 도출하는 것을 따른다....

형식언어 1. 형식언어 구조, 범위 등이 명확히 규정되어 있는 언어. 자연 언어의 문법 구조를 수학적 측면에서 형식화한 것으로서 자연 언어보다 훨씬 간단한 구조의 인공 언어로 볼 수 있다. 형식 언어의 이론은 알골 등의 프로그램 작성 언어에서 제반 문제로 응용되고 있다. 형식 언어는 알파벳으로부터 생성되는 모든 문자열의 부분집합을 말하는데 이러한 언...