milvus 를 사용한 대용량 임베딩 서치 시스템 아키텍쳐
사내에서 대량의 데이터에 대해 운영 목적으로 분석하는 시스템이 필요해서, 대용량의 임베딩 벡터에 대해 ANN 을 활용해 검색하는 시스템을 구축했어요. 그 중에서도 IVF_PQ 를 사용했는데, HNSW 등에 비해 상대적으로 느리지만 굉장히 효율적인 메모리 사용이 가능해서, 이를 채택...
Recent posts
Linux 유저 관리
이전 회사나, 현재 회사 모두 사내에 워크스테이션을 (linux server) 가지고 있고, 팀원 분들에게 각각 계정이 발급되어 사용하는 구조이다. 대부분의 경우, 데이터셋과 같은 공유 자료 접근을 위해 하나의 서버에 NFS Server 를 구성해두고, 다른 서버에서 이를 moun...
IVF_PQ Explained
사내에서 사용하는 유사 이미지 검색 서버를 개선하는 작업을 진행하던 중, IVF_PQ 에 대해 정확히 이해하고 사용하고 싶어 여러 문서들을 찾아보았으나 100% 이해가 안되어서 논문을 읽고 여러 문서들을 참고하여 정리하였습니다. (편의상 아래 내용부터는 경어를 사용하지 않습니다.)