<아랑고DB> 5. AQL(Arango Query Lang) 배워보기 2 - RETURN / UPDATE

|
저번 시간에 이어서 아랑고DB의 AQL을 활용해 데이터를 다루는 방법을 배워보자. RETURN, UPDATE 등의 문법을 살펴볼 것임

1. RETURN, UPDATE

RETURN

지난 시간에는 데이터를 삽입하는 INSERT 연산을 배워보았다. 이제 데이터를 넣었으니 꺼내보자. AQL에서 데이터를 꺼내는 방법은 RETURN 연산을 통해서이다.

아래 AQL 예시에서, RETURN 에서 하나의 AQL이 끝나기 때문에 한 줄씩 실행해야 한다!!
// 무언가를 Return 하려면 아래처럼 쓴다
RETURN _expression_

// 예를들어, 문자열 hello world 리턴한다
RETURN 'hello world'

위 문자열을 리턴했는데 이상한 점이 있다. 단순히 ‘hello world’가 아니라 [‘hello world’]로 배열이 리턴되었기 때문이다. 이는 AQL이 쿼리의 결과값을 항상 배열로 리턴하기 때문이다. 궁금하면 여기 읽어보셈

이제 컬렉션의 도큐먼트에 접근해보자. 컬렉션은 도큐먼트의 배열로 취급되기 때문에, FOR 반복문을 통해 접근한다.

// 도큐먼트의 _id 값을 조회하여 직접 불러온다. 가장 빠르게 데이터에 접근하는 방법이다.
RETURN DOCUMENT('titles/178829')

// 컬렉션의 데이터를 조회하기
// 프로그래밍 언어의 반복문처럼 앞의 title 사용자가 지정하는 임의의 변수다
FOR title in titles
    RETURN title

//  AQL 똑같음
FOR abcabc in titles
    RETURN abcabc

이번에는 전체 도큐먼트가 아닌, 영화의 제목만을 리턴해보자 RETURN DISTINCT의 쓰임도 알아두자

// 영화의 제목이 title이라는 이름을 가지고 있어서, 혼동을 줄이기 위해 반복 변수 이름을 movie 했음
// 이래서 네이밍이 중요하다
FOR movie in titles
    RETURN movie.title
  
// 지금은 titles 컬렉션의 title 필드에 unique constraint 있기 때문에 중복되는 타이틀이 없다
// 만약 제약 조건이 없는데 중복을 거르고 리턴하고 싶다면?
FOR movie in titles
    RETURN DISTINCT movie.title

이번에는 연산자(Operator)를 사용해보자.

조건을 걸 때는 FILTER와 함께 사용한다.

// 어벤져스의 50번째 이상 시리즈만 보고싶다면?
FOR movie in titles
    FILTER movie.title >= 'Avengers 50'
    RETURN movie
 
// 어벤져스 100번째 시리즈를 리턴하고 싶다면?
FOR movie in titles
    FILTER movie.title == 'Avengers 100'
    RETURN movie

위 예시에서 >= ‘Avengers 50’ 와 같은 표현은 사실 위험하다. 앞의 ‘Avengers’가 무조건 똑같이 위치한다고 가정하고, 숫자로만 크기를 비교하는 것이기 때문 ‘The Avengers 1’ 처럼 The가 붙으면 당연히 얘가 ‘Avengers 50’보다 더 커진다. 예시를 위해 대충 한거니까 실제 사용할 때는 주의하자.

마지막으로 한 가지 재미있는 예시 하나만 보고가자. 각각의 도큐먼트는 서로 다른 필드를 가지고 있다. 만약 도큐먼트에 없는 필드로 조건을 걸면 어떻게 될까?

// 시청 연령이 19 이하인 영화만 리턴하고 싶다
// 그런데 age 라는 필드는 만든 적도 없다
FOR movie in titles
    FILTER movie.age <= 19
    RETURN movie

위 쿼리를 날리면 놀랍게도 컬렉션의 모든 도큐먼트가 리턴된다. 이는 존재하지 않는 데이터를 참조하게 되면, 해당 필드는 null로 취급되는데, null은 데이터 타입 사이에서 순서상 가장 작기 때문이다. 따라서 존재하지 않는 movie.agenull이고, 이는 19보다 작으므로 True가 되어 모든 데이터가 리턴된다.

원래 의도에 맞게 다시 AQL을 구성해보면, 아래처럼 하면 된다.

// HAS 연산은 해당 오브젝트에 age라는 필드가 있는지 확인한다
FOR movie in titles
    FILTER HAS(movie, 'age')
    FILTER movie.age <= 19
    RETURN movie    

UPDATE

UPDATE는 컬렉션의 도큐먼트를 부분적으로 업데이트하는 연산이다.

주어진 키로 도큐먼트를 찾아내어, 특정 필드를 업데이트한다.

시스템 필드인 `_id`, `_key`, `_rev`는 업데이트가 불가능하고, 엣지 컬렉션의 `_from`과 `_to`는 업데이트가 가능하다는 점을 알아두자.

업데이트는 아래의 두 가지 문법 중 아무거나 사용해도 된다.

  1. UPDATE document IN collection
  2. UPDATE keyExpression WITH document IN collection
// 첫번째 방식. 오브젝트 내에 _key값을 주면, 컬렉션 내의 해당 _key값을 매칭하여 나머지 값들을 업데이트한다.
// 아래 예시에서 _key 178833 도큐먼트를 찾아서, title Avengers 2001 업데이트한다.
UPDATE {"_key": "178833", "title" : "Avengers 2001"} IN titles

// 두번째 방식. 위와 같은 결과를 만든다
UPDATE {"_key" : "178833"} WITH {"title" : "Avengers 2020"} IN titles
UPDATE는 keyExpression을 통해 특정 _key를 기준으로 업데이트하기 때문에 다중 도큐먼트에 대한 업데이트를 신경 쓸 필요가 없다. 즉, _key는 항상 unique하기 때문에 UPDATE 연산도 고유하다.

두 방식은 언제 어떻게 사용하는게 편할까? 아래와 같은 상황에서는 두번째 방식이 더 편할 것이다.

상황 : Avengers 2020 이라는 제목을 가진 영화를 Avengers 3030으로 업데이트하고싶다.

// 첫번째 방식
// new_doc 이라는 오브젝트를 새로 만들어주고, UPDATE 구문을 친다
FOR movie in titles
    FILTER movie.title == 'Avengers 2020'
    LET new_doc = {'_key' : movie._key, 'title' : 'Avengers 3030'}
    UPDATE new_doc IN titles
  
// 두번째 방식
// 바로 UPDATE 구문을 친다
FOR movie in titles
    FILTER movie.title == 'Avengers 2020'
    UPDATE movie WITH {'title' : 'Avengers 3030'} IN titles

필요할 때 상황에 맞게 쓰면 될 듯

또한 UPDATE 구문은 업데이트 하기 전 도큐먼트와 하고 난 이후의 도큐먼트를 반환할 수 있다.

UPDATE document IN collection options RETURN OLD
UPDATE document IN collection options RETURN NEW
UPDATE keyExpression WITH document IN collection options RETURN OLD
UPDATE keyExpression WITH document IN collection options RETURN NEW

UPDATEINSERT와 마찬가지로 여러가지 옵션을 줄 수 있다.

  • ignoreErrors : 업데이트에서 발생하는 에러 (unique key constraint violation이나 non-existing document) 무시
  • keepNull : null로 필드 업데이트 할 수 있게 해줌. 디폴트로는 null이 저장이 안 된다. (필드가 안생김)
  • mergeObjects : 오브젝트 필드의 경우, 업데이트 오브젝트에 명시되지 않은 필드들을 merge해서 그대로 둘 지, 아니면 없앨지를 결정한다.

마지막 옵션만 조금 더 설명하자면, {‘target’ : {‘a’ : 1, ‘b’: 2}}인 도큐먼트에서 {‘target’ : {‘a’: 3}}으로 업데이트 하는 상황을 가정하면,

  • mergeObjects가 True인 디폴트의 경우, {‘target’ : {‘a’:3, ‘b’: 2}}가 된다
  • False로 지정하면, 업데이트 대상이 아닌 필드는 날아간다. {‘target’ : {‘a’:3}}이 된다.

2. 어디까지 왔나

2편까지 기초 연산을 끝내려고 했는데, 생각보다 길어지고 있다. 빠르게 대충 치고 넘어가려다가 아랑고DB에 관한 손쉬운 한글 튜토리얼을 만들겠다는 다짐을 되살렸다. 조금 내용이 많아지더라도 각 부분에서 다룰 수 있는 부분은 다 다루려고 한다.
3편에서 기초가 끝날지 모르겠지만, 다음 글에서는 REPLACE / UPSERT / REMOVE 내용을 다룬다!

  1. 아랑고DB란? 왜 쓰는가?
  2. 아랑고DB 세팅하기 on Ubuntu
  3. 아랑고DB 쉘로 붙어서 명령어 체험해보기, 실체 파악해보기
  4. AQL(Arango Query Lang) 배워보기 1
  5. (지금 보고있는 글) AQL(Arango Query Lang) 배워보기 2 - RETURN / UPDATE
  6. AQL(Arango Query Lang) 배워보기 3 - REPLACE / UPSERT / REMOVE
  7. 그래프 개념잡기
  8. 그래프 횡단하기 Graph Traversal
  9. 데이터 모으기 COLLECT / AGGREGATE / MIN_BY, MAX_BY
  10. 프로젝트. 그래프를 통한 영화 추천시스템 만들어보기 1
  11. 프로젝트. 그래프를 통한 영화 추천시스템 만들어보기 2 (최종편)

<아랑고DB> 4. AQL(Arango Query Lang) 배워보기 1 - WebUI / INSERT

|
이번 글에서는 아랑고DB의 아주 간편한 웹 인터페이스로 시작한다. 웹 UI를 간단히 보고, 아랑고DB의 데이터 타입과 데이터를 삽입하는 방법, 그리고 다양한 설정값에 대해 알아본다.

1. 들어가기에 앞서

여기서는 아랑고DB에서 제공하는 교육 자료를 사용할 예정이기 때문에 영어를 읽는데 무리가 없다면 해당 자료만 보고 이 글은 패스해도 된다. 자료는 아랑고DB의 공식 튜토리얼 자료 중 하나를 발췌했고, 여기를 눌러 다운받을 수 있다. 더 많은 자료는 여기에서 확인하자.

2. Web UI 사용해보기

AQL을 사용하고 데이터를 쉽게 조회할 수 있는 가장 간단한 방법은 아랑고DB를 설치하면 자동으로 설치되는 Web UI에 접속하는 것이다. 아무 브라우저나 열어서 아랑고DB가 설치된 서버 주소의 8529 포트로 접속할 수 있으며, 잘 안 되면 세팅에 대해 적었던 글에서 Web UI 관련 부분을 읽어보자.

나는 AWS EC2를 사용중이기 때문에, http://ec2-xxx-xxx-xxx-xxx.ap-northeast-2.compute.amazonaws.com:8529 주소로 접속했다. 성공적으로 접속했다면 귀여운 아보카도 그림과 함께 로그인 화면이 뜬다. 따로 사용자를 생성해주지 않았다면 계정은 root, 비밀번호는 초기 설정한 비밀번호를 입력하자.

입력하면 데이터베이스를 선택하는 드롭다운이 생기는데, 일단은 그대로 _system 데이터베이스로 접속한다. 관리자 데이터베이스이기 때문에 서버 상태에 대한 대시보드와 함께 데이터베이스 목록(Databases), 레플리케이션, 서버 Log, 유저 권한을 설정할 수 있는 메뉴 등이 나타난다.

당장 여기서는 볼 게 없기 때문에, 우측 상단의 DB:_SYSTEM 옆의 새로고침 버튼 같은 걸 눌러서 데이터베이스 선택 화면으로 다시 나간 뒤, 저번에 만들었던 movies 데이터베이스에 접속해보자. 아까와는 메뉴 구성이 다른 것을 볼 수 있다.

Collections 메뉴로 들어가면 지난번에 만들었던 titles 컬렉션이 있는데, 눌러보면 도큐먼트들의 목록이 쭉 나오는 것을 알 수 있다. 탑바에 있는 Indexes, Info, Settings 들은 컬렉션 수준의 설정을 의미한다. 나중에 인덱스가 정상적으로 만들어졌는지 확인하기 위해 종종 사용한다.

그리고 대망의 Queries 메뉴로 들어가보자. 여기는 AQL을 입력하고 바로 실행시킬 수 있는 환경을 제공해준다. 비록 에디터의 기능이 거의 없다시피해서 수정이 편리하지는 않지만, 쿼리의 실행 관련 Execution Plan과 실행 결과를 곧바로 볼 수 있어 편리하다.

저번 글에서 잠깐 맛만 봤던 AQL을 테스트해보자. titles 컬렉션의 모든 도큐먼트를 반환하는 쿼리다.

FOR title IN titles
    RETURN title

3. AQL(Arangu Query Language) 파헤쳐보기

이제 본격적으로 AQL에 대해 배워보려고 한다. AQL의 문서에 따르면, AQL은 선언형 언어로써 어떤 결과를 조회 할지를 표현하는 언어이다. 목적성에 있어서 SQL과 유사하지만, 큰 차이점이 있다면 AQL은 DML(Data Manipulation Lang)이지, DDL(Data Definition Lang)이나 DCL(Data Control Lang)이 아니라는 점이다. 즉, 데이터를 읽고 수정은 하지만, 데이터베이스를 생성하거나 인덱스를 생성하거나 하는 연산은 지원하지 않는다. (아랑고DB를 의미하는 게 아닌, AQL에서 지원하지 않는다는 것!) 즉 SQL에서는 CREATE DATABASE ..., CREATE TABLE ...과 같은 DDL 구문이 있지만 AQL에는 없다는 것임!

기본 연산을 배우기 전에, 아랑고DB의 데이터 타입을 잠깐 짚고 넘어가자.

데이터 타입

아랑고DB는 데이터 타입을 primitivecompound로 분류한다. 전자는 하나의 값을 가지는 데이터 형태이고, null, boolean, number, string 형태가 있다. 후자는 0개~ 여러 값을 포함하는 데이터 타입으로, array/listobject/document가 있다.

오브젝트는 중괄호 {}로 감싸진 데이터 타입이고, 이름-값 쌍으로 구성되어 있으며, 각 쌍은 컴마,로 분리된다.

즉, 아래의 형태이다. 이름에 해당하는 name, age, blog는 따옴표나 쌍따옴표로 감싸도 되고, 감싸지 않아도 된다.

{
  'name' : 'Scott',
  'age' : 29,
  'blog' : 'ud803.github.io' 
}

글에서 계속해서 나오는 도큐먼트는 컬렉션에서 최상위 데이터 레벨을 의미한다. 즉, 오브젝트나 도큐먼트나 같은 형태이지만 컬렉션에 들어가는 레코드로써의 의미를 위해 도큐먼트라는 표현을 쓴다. 하나의 도큐먼트 내에 또다른 도큐먼트 형태가 있다면 (즉, nested object) 보통 오브젝트라고 분리하여 부르는 것 같다.

CREATE

아래 예시를 따라하기 전에, Collections에서 titles를 선택하고, 탑바의 Settings를 눌러 데이터를 Truncate 해주자. 그리고 탑바의 Indexes에서 +를 누르고, Persistent Type을 선택, Fields와 Name에는 title을 입력하고, Unique를 체크하고 Create을 눌러주자. 이는 컬렉션에서 title 필드에 인덱스를 추가하고, 값이 고유하도록 constraint을 주는 작업이다!
컬렉션 설정에서 Delete는 컬렉션을 아예 통째로 없애는 것이고, Truncate은 나머지 설정값은 그대로 둔 채 도큐먼트들만 지운다.

INSERT는 말그대로 특정 컬렉션에 도큐먼트를 삽입하는 연산이며, 아래와 같이 쓰인다.

// 기본 형태
INSERT _document_ INTO _collection_
// 아래 명령은  줄씩 입력해야한다
INSERT { title: "Avengers 1" } INTO titles
INSERT { "title" : "Avengers 2" } INTO titles

위 AQL에서 왜 명령을 한 줄씩 입력해야할까? AQL은 컬렉션 하나당 한 번의 Insert 연산만을 허용하기 때문이다. 요기 맨 첫 부분에 나와있음

// 1..100이라는 표현은 1부터 100까지 반복하는 For 문법의  예시이다
// CONCAT 타입에 관계없이  값을 문자열 형태로 합친다
// 위에서 Avengers 1, 2 생성했다면 아래 AQL 실패하는  정상이다
FOR i IN 1..100
  INSERT { "title" : CONCAT("Avengers ", i) }  INTO titles

앞서 title에 unique constraint을 주었기 때문에, Avengers 1을 생성하려는 시도는 실패했다. 하지만 때로는 중복인 도큐먼트는 무시하고 알아서 잘 센스있게 나머지 도큐먼트만 넣어주었으면 하는 바람이 든다. 이때 사용할 수 있는 것이 AQL의 Options 개념이다. 여기에서 Insert와 관련된 추가 설정들을 잘 보여주고 있는데, 중복을 무시하기 위해서는 ignoreErrors 옵션을 사용하면 된다.

FOR i IN 1..100
  INSERT { "title" : CONCAT("Avengers ", i) }  INTO titles
OPTIONS {ignoreErrors: True}

여기서 더 나아가, overwriteMode 옵션을 설정하면, 중복 도큐먼트를 마주했을 때의 규칙을 설정할 수도 있다.

  • ignore : 그냥 무시한다
  • replace : 덮어쓴다
  • update : 지정한 도큐먼트의 일부 부분만 업데이트한다
  • conflict : 에러를 일으킨다. 이는 따로 설정값이 없을 때의 기본 규칙임

그 외에 컬렉션 수준의 락을 거는 exclusive 옵션과 같은 유용한 설정이 있으니 시간이 되면 살펴보자. 나중에 아랑고DB에 수많은 도큐먼트를 벌크로 넣을 때, 이런 세세한 옵션들의 존재 유무를 알아두는 것이 큰 도움이 된다.

물론 시작부터 문서를 보면서 모든 설정을 달달달 외우는 것은 아무 필요가 없다. 어떤 설정이 있는지만 슥 훑어보고 정말 필요할 때 가져다 쓰면 되는 것임

4. 어디까지 왔나

생각보다 쓸 내용이 많아져서 AQL 기초 관련 내용을 1편과 2편으로 나누려고 한다. 2편은 도큐먼트를 삽입하는 또다른 방법인 UPSERT를 알아보고, 나머지 Read, Update, Delete 를 간단히 짚고 넘어가려고 한다. 그리고 그래프 횡단은 내용이 방대하기에 따로 분리할 예정이다.

  1. 아랑고DB란? 왜 쓰는가?
  2. 아랑고DB 세팅하기 on Ubuntu
  3. 아랑고DB 쉘로 붙어서 명령어 체험해보기, 실체 파악해보기
  4. (지금 보고있는 글) AQL(Arango Query Lang) 배워보기 1
  5. AQL(Arango Query Lang) 배워보기 2 - RETURN / UPDATE
  6. AQL(Arango Query Lang) 배워보기 3 - REPLACE / UPSERT / REMOVE
  7. 그래프 개념잡기
  8. 그래프 횡단하기 Graph Traversal
  9. 데이터 모으기 COLLECT / AGGREGATE / MIN_BY, MAX_BY
  10. 프로젝트. 그래프를 통한 영화 추천시스템 만들어보기 1
  11. 프로젝트. 그래프를 통한 영화 추천시스템 만들어보기 2 (최종편)

<아랑고DB> 3. 아랑고DB 사용해보기

|
이번 글에서는 아랑고DB의 쉘을 사용해 아랑고DB의 기초 사용법을 배워보려고 한다. 사실 실제 작업은 Python 커넥터를 통해서 하는 경우가 대부분이지만, 실체를 알기 위해서는 직접 쉘로 붙어보는 것이 가장 효과적이라고 생각하기 때문이다.

들어가기에 앞서

  • 아랑고DB가 이미 설치되어있다고 가정한다. 만약 아직 설치되지 않았다면 여기를 보고 따라 설치해보자.
  • 또한 아랑고쉘은 JavaScript Shell 환경을 사용한다고 한다. 따라서 JS문법을 그대로 이용할 수 있다.

1. 데이터베이스 수준 명령어

초기 실행은 arangosh 명령어를 통해 한다. 그리고 초기에 입력했던 root 계정의 비밀번호를 입력해주면 된다. 쉘에 접속 후 tutorial 명령어를 입력하면 간단한 튜토리얼도 따라할 수 있으니 참고하자.

쉘에 접속했을 때 기본 데이터베이스는 _system 이다. 이제 movies라는 데이터베이스를 만들고, titles라는 도큐먼트 컬렉션을 만들어 볼 것이다. 데이터베이스 이름을 짓는 Naming Convention도 읽어보자.

// 현재 아랑고DB에 있는 데이터베이스들의 목록을 조회한다 
127.0.0.1:8529@_system> db._databases()
[ 
  "_system" 
]

// movies라는 데이터베이스를 만든다
127.0.0.1:8529@_system> db._createDatabase('movies')
true

// 생성된 것을 확인할 수 있다
127.0.0.1:8529@_system> db._databases()
[ 
  "_system", 
  "movies" 
]

// 데이터베이스를 변경해준다
127.0.0.1:8529@_system> db._useDatabase('movies')
true

// 컬렉션을 생성해준다. 탭을 눌러 자동완성 기능을 애용하자
// 컬렉션은 Edge Collection과 Document Collection으로 나뉘는데, 여기서는 단순히 도큐먼트의 집합을 생성할 예정이다.
127.0.0.1:8529@movies> db._createDocumentCollection('titles')
[ArangoCollection 139708, "titles" (type document, status loaded)]

127.0.0.1:8529@movies> db._collections()
[ 
  [ArangoCollection 139603, "_analyzers" (type document, status loaded)], 
  [ArangoCollection 139618, "_appbundles" (type document, status loaded)], 
  [ArangoCollection 139615, "_apps" (type document, status loaded)], 
  [ArangoCollection 139606, "_aqlfunctions" (type document, status loaded)], 
  [ArangoCollection 139621, "_frontend" (type document, status loaded)], 
  [ArangoCollection 139600, "_graphs" (type document, status loaded)], 
  [ArangoCollection 139612, "_jobs" (type document, status loaded)], 
  [ArangoCollection 139609, "_queues" (type document, status loaded)], 
  [ArangoCollection 139708, "titles" (type document, status loaded)] 
]

도큐먼트 컬렉션과 엣지 컬렉션은 데이터 모델의 성격에 따라 구분되는 컬렉션이다. 도큐먼트 컬렉션은 그래프DB에서 노드(버텍스)의 개념이고, 엣지 컬렉션은 이 노드들 사이의 관계를 나타내는 컬렉션이다.

2. 컬렉션 수준 명령어

이제 생성된 컬렉션 안에 도큐먼트를 추가해보자. 사실 쉘에서 데이터를 다루는 방식은 불편하기 때문에 이런 방법도 있다 정도로만 끝내려고 한다. 컬렉션 수준에서 사용하는 명령어들은 db.컬렉션명의 형태에 CRUD 관련 명령어들이 붙는 형태이다. 예를 들어 다음과 같은 식이다.

  • Create : db.titles.save({name : “Harry”})
  • Read : db.titles.toArray()
  • Update : db.titles.update(‘140292’, {name : “Sally”})
  • Delete : db.title.remove(‘140292’)

CREATE

save 명령어는 도큐먼트를 저장하기 위해 쓰이는데, 모든 데이터의 검색에서 쓰이는 _key 값을 직접 설정할 수 있다.

  • _key는 컬렉션 레벨에서 고유한 값이다.
  • _id는 데이터베이스 레벨에서 고유한 값이며, ‘{컬렉션명}/{_key 값}’ 의 형태이다.
  • 자세한 내용은 여기를 읽어보기

_key값을 어떻게 설정하느냐에 따라 쿼리의 효율이 하늘과 땅 차이이기 때문에 설계를 잘 해보자. 키 이름의 네이밍 컨벤션도 확인해보자.

// Harry Potter 1이라는 도큐먼트를 생성한다. _key값을 지정해주지 않으면 자동으로 생성해준다.
127.0.0.1:8529@movies> db.titles.save({title: "Harry Potter 1"})
{ 
  "_id" : "titles/140292", 
  "_key" : "140292", 
  "_rev" : "_dNTU1bG---" 
}

// JS 문법을 활용해 반복문도 쓸 수 있다.
127.0.0.1:8529@movies> for (var i=0; i< 10; ++i) {
...> db.titles.save({name: "Harry Potter" + i});
...> }
{ 
  "_id" : "titles/141195", 
  "_key" : "141195", 
  "_rev" : "_dNT028W--A" 
}

READ

데이터를 조회하는 방법도 간단하다.

  • toArray()를 통해 해당 컬렉션의 전체 도큐먼트를 조회하거나
  • byExample({조건})의 형태로 조건에 해당하는 도큐먼트만 조회할 수 있다
// toArray() 함수를 통해 컬렉션의 모든 도큐먼트를 조회한다
127.0.0.1:8529@movies> db.titles.toArray()
[ 
  { 
    "_key" : "140292", 
    "_id" : "titles/140292", 
    "_rev" : "_dNTU1bG---", 
    "title" : "Harry Potter 1" 
  } 
]

// 위에서 _key값은 설정하지 않았지만, 직접 도큐먼트를 조회하기 위해서는 document 함수에서 _key값을 불러주면 된다.
// 이렇게 _key값으로 도큐먼트를 조회하는 방법이 도큐먼트를 조회하는 가장 빠른 방법임을 새겨두자
127.0.0.1:8529@movies> db.titles.document('140292')
{ 
  "_key" : "140292", 
  "_id" : "titles/140292", 
  "_rev" : "_dNTU1bG---", 
  "title" : "Harry Potter 1" 
}

// 컬렉션 이름을 문자화하여 호출할 수도 있다
127.0.0.1:8529@movies> db._document("titles/140292")
{ 
  "_key" : "140292", 
  "_id" : "titles/140292", 
  "_rev" : "_dNTU1bG---", 
  "title" : "Harry Potter 1" 
}
 
// 이름이 Harry Potter8인 도큐먼트 조회
127.0.0.1:8529@movies> db.titles.byExample({name : "Harry Potter8"}).toArray();
[ 
  { 
    "_key" : "141193", 
    "_id" : "titles/141193", 
    "_rev" : "_dNT028W--_", 
    "name" : "Harry Potter8" 
  } 
]

UPDATE

도큐먼트 업데이트는 update(업데이트 매치 조건, 업데이트 할 필드) 형태로 쓴다. 여기서 주목할 점은 리턴값으로 _rev, _oldRev를 제공한다는 점이다. rev는 revision의 약자로 일종의 도큐먼트의 버전과 같은 개념인데, 아랑고쉘의 tutorial에서는 이 revision 이 조건부 수정을 위한 용도로 쓰인다고 말한다. 즉, 도큐먼트를 동시에 업데이트 하는 동시성 문제가 발생했을 때 상황에 따라서 revision 개념을 사용하면 의도하지 않았던 결과를 막을 수 있다는 개념인 것 같다.

// revision 설명 전에 잠깐 보면, 업데이트를 하면 기존의 old revision과 새롭게 바뀐 revision을 리턴해준다
// 즉, 도큐먼트의 버전이 바뀌었다고 안내해준다
127.0.0.1:8529@movies> db.titles.update('140292', {series : 1})
{ 
  "_id" : "titles/140292", 
  "_key" : "140292", 
  "_rev" : "_dNTcxl6---", 
  "_oldRev" : "_dNTU1bG---" 
}
  
// 여기서부터는 아랑고쉘에서 쉽게 설명해주는 부분이다
// 우선 도큐먼트를 조회해 doc이라는 변수에 저장한다
 > doc = db._document("places/example1");
// 그리고 아래 업데이트를 수행하면, 이는 별 문제없이 성공한다. 이때, 업데이트가 성공했기 때문에 기존의 revision 값은 변경됐다 
> db._update("places/example1", { someValue: 23 });
// 아래 업데이트는 위에서 선언한 doc을 기준으로 한다. 하지만, doc의 revision은 이미 위 업데이트 이후 old revision이 되었기 때문에 업데이트는 실패하게 된다. 
> db._update(doc, { someValue: 42 });
JavaScript exception in file '/usr/share/arangodb3/js/client/modules/@arangodb/arangosh.js' at 99,7: ArangoError 1200: conflict, _rev values do not match
!      throw error;
!      ^
stacktrace: ArangoError: conflict, _rev values do not match

DELETE

도큐먼트를 삭제하는 것도 매우 간단하다. 마찬가지로 도큐먼트의 _id_key 값을 remove() 함수에 전달하면 된다.

// _id로 지우기
127.0.0.1:8529@movies> db._remove("titles/140292");
{ 
  "_id" : "titles/140292", 
  "_key" : "140292", 
  "_rev" : "_dNTpPd----" 
}
  
// _key로 지우기
127.0.0.1:8529@movies> db.titles.remove("140292");
  

3. AQL 실행하기

AQL은 Arango Query Lang의 약자로, SQL처럼 편리하게 아랑고DB를 조회하고, 횡단하기 위한 언어이다. 아랑고쉘에서도 AQL을 실행할 수 있으며, 어떻게 하는지만 언급하고 나중에 제대로 배워보기로 한다.

// 쿼리는 멀티라인이기 때문에 키보드 숫자 1 옆의 `(backtick이라고 부름) 로 쿼리를 감싸주도록 한다
// 아래 AQL은 titles 컬렉션에 있는 모든 도큐먼트를 리턴하는 쿼리다
// db.titles.toArray()와 동일하다
127.0.0.1:8529@movies> db._query(`
...> FOR title in titles
...> RETURN title`)

4. 어디까지 왔나

다음 글에서는 아랑고DB의 Web UI를 통해 우리가 넣은 데이터를 살펴보고, 다양한 기능들을 살펴보려고 한다.

  1. 아랑고DB란? 왜 쓰는가?
  2. 아랑고DB 세팅하기 on Ubuntu
  3. (지금 보고있는 글)아랑고DB 쉘로 붙어서 명령어 체험해보기, 실체 파악해보기
  4. AQL(Arango Query Lang) 배워보기 1
  5. AQL(Arango Query Lang) 배워보기 2 - RETURN / UPDATE
  6. AQL(Arango Query Lang) 배워보기 3 - REPLACE / UPSERT / REMOVE
  7. 그래프 개념잡기
  8. 그래프 횡단하기 Graph Traversal
  9. 데이터 모으기 COLLECT / AGGREGATE / MIN_BY, MAX_BY
  10. 프로젝트. 그래프를 통한 영화 추천시스템 만들어보기 1
  11. 프로젝트. 그래프를 통한 영화 추천시스템 만들어보기 2 (최종편)

<아랑고DB> 2. 아랑고DB 세팅하기 on Ubuntu

|
이번 글에서는 아랑고DB를 세팅하는 방법에 대해 알아보려고 한다. 로컬(본인 컴퓨터나 노트북)에서 작업해도 좋고 개발용 서버가 있다면 서버에서 해도 좋다. 나는 AWS에서 제공하는 프리티어 EC2를 사용 중이다.

1. 설치하기

설치는 매우 간단하다. 아랑고DB 공식 홈페이지에 있는 커뮤니티 버전 중, 본인 환경에 맞는 것을 설치하면 된다. 여기서는 Ubuntu 버전을 설치한다.

// 아래 curl 명령어가 오류난다면 권한 문제일 경우가 많다. sudo를 붙이거나 폴더의 권한을 바꿔주자.
curl -OL https://download.arangodb.com/arangodb38/DEBIAN/Release.key
sudo apt-key add - < Release.key
                                
echo 'deb https://download.arangodb.com/arangodb38/DEBIAN/ /' | sudo tee /etc/apt/sources.list.d/arangodb.list
sudo apt-get install apt-transport-https
sudo apt-get update
                                
// 약 300mb 정도의 여유 공간이 필요하다
// 설치 화면이 나타나면, root 권한의 비밀번호를 설정하게 된다. 꼭 기억해두자.
// 자동 업데이트나 업데이트 시 백업 여부는 개발용이기 때문에 No,No로 해두었다.
sudo apt-get install arangodb3=3.8.2-1

이제 설치가 완료되었다. arangosh 명령어를 통해 라이브된 아랑고DB 쉘에 접속할 수 있고, 혹은 service arangodb3 status 명령어를 통해 서비스에 등록되어 정상 설치된 것을 확인할 수 있다.

2. 설치 경로에 관한 이야기

우분투에서 프로그램이 설치되는 경우, 주로 찾아보는 경로를 잠깐 정리해보자면, 아래와 같다. 이 경로들은 대부분 다른 프로그램들에서도 공통으로 쓰이며, 대개 /etc 경로의 해당 config 파일을 열어보면 자세한 설정들이 나와있다.

  • /etc/arangodb3/ : 각종 설정 파일이 저장된 공간
  • /var/lib/arangodb3 : 아랑고DB의 파일들이 저장되는 곳
  • /var/log/arangodb3 : 아랑고DB의 로그가 쌓이는 곳

3. 설정 파일과 Web UI 세팅하기

이제 아랑고DB의 설정 파일을 한 번 살펴보자.

cd /etc/arangodb3
sudo vim arangod.conf

여기서 server 항목을 살펴보면, endpoint가 tcp:127.0.0.1:8529로 설정된 것을 볼 수 있다. 실제로 아랑고DB의 Web UI에 접속하려면 브라우저에 본인의 서버 주소에 8529 포트를 붙여 접속할 수 있다. 예를 들어, EC2를 쓰는 내 경우 ec2-x-x-x-x.ap-northeast-2.compute.amazonaws.com:8529로 붙을 수 있다.

하지만 이때 접속이 되지 않는다면, 1) endpoint를 0.0.0.0:8529로 변경해본다. 이에 관한 자세한 내용은 여기를 읽어보기 2) 그래도 안 된다면 본인 서버의 보안을 확인한다. (EC2의 경우 보안그룹의 inbound traffic이 내 주소에 열려있는지..) 3) 그래도 안 된다면 아랑고DB의 가이드를 살펴본다.

위 과정을 거쳐서 다시 브라우저로 접속해보면 아랑고 Web UI가 설치된 것을 확인할 수 있다! 아랑고DB의 강력하고 편리한 기능이기 때문에 얼굴을 기억해두자.

초기 세팅했던 root 계정과 비밀번호로 접속하면 _system 데이터베이스로 접속할 수 있다. _system db는 다른 데이터베이스를 생성하고, 시스템 관련 설정을 할 수 있는 기본 데이터베이스라고 보면 된다.

4. 어디까지 왔나

다음 글에서는 아랑고DB의 데이터 구조에 대해 간단하게 알아보고, 아랑고 쉘에서 명령어를 통해 여러가지 CRUD 작업을 해서 실체를 익혀보려고 한다.

  1. 아랑고DB란? 왜 쓰는가?
  2. (지금 보고있는 글)아랑고DB 세팅하기 on Ubuntu
  3. 아랑고DB 쉘로 붙어서 명령어 체험해보기, 실체 파악해보기
  4. AQL(Arango Query Lang) 배워보기 1
  5. AQL(Arango Query Lang) 배워보기 2 - RETURN / UPDATE
  6. AQL(Arango Query Lang) 배워보기 3 - REPLACE / UPSERT / REMOVE
  7. 그래프 개념잡기
  8. 그래프 횡단하기 Graph Traversal
  9. 데이터 모으기 COLLECT / AGGREGATE / MIN_BY, MAX_BY
  10. 프로젝트. 그래프를 통한 영화 추천시스템 만들어보기 1
  11. 프로젝트. 그래프를 통한 영화 추천시스템 만들어보기 2 (최종편)

<아랑고DB> 1. 아랑고DB 알아보기

|
아랑고DB는 회사에서 프로젝트를 진행하며 다루었던 데이터베이스이다. 초기 진입 자체는 간단했지만 사용함에 있어 까다로운 점들도 많았고, 깨달은 점도 많았다. 블로그 첫 글을 장식하기에 적당한 주제일 것 같아 선정했고, 실제 사용 사례나 경험했던 점들을 공유하고자 한다.

1. 아랑고DB란? 언제 사용해야할까?

ArangoDB, 아랑고DB는 데이터베이스의 한 종류로써 Native Multi-Model Database를 표방하고 있다. 멀티 모델이란 키-값, 도큐먼트, 그래프 형태 등 다양한 모델을 지원하는 모델인데, 이를 단일 엔진에서 구현하기 때문에 native라는 표현을 썼다고 한다. 자세한 내용은 여기를 읽어보자.

그럼 왜 아랑고DB를 써야할까? 이 질문은 왜 그래프DB를 써야할까?라는 질문에 대한 답을 먼저 해야 할 것 같다.

그래프DB는 데이터를 점(Vertex)과 점을 잇는 선(Edge)으로 표현한 데이터베이스다.

  • 그래프 구조로 되어있기 때문에 두 객체 사이의 관계를 표현하기에 최적화되어있다.
  • 객체끼리 엣지로 연결되어 있기 때문에 여러 컬렉션에 흩뿌려진 데이터에 접근하기가 쉽다.
  • 그래프를 횡단하기 위한 직관적인 그래프 명령어가 존재한다.
  • 그리고 그래프 횡단을 통해 기존 RDBMS와 NoSQL 데이터베이스에서는 매우 비효율적이거나, 절대 쿼리로 만들 수 없었던 데이터들을 뽑아낼 수 있다.

그럼 그래프DB 중에서, 왜 아랑고DB인가?

  • 커뮤니티 에디션에서 다중 데이터베이스를 제공한다 (Neo4J는 1개의 DB밖에 생성을 못한다… 여기 참고)
  • 그래프 쿼리인 AQL이 직관적이며 간편하다
  • WebUI를 제공한다
  • 빠르게 그래프 개념을 익히기 좋다

그래프DB의 1등은 Neo4J이다. 하지만 커뮤니티 에디션이 단일 데이터베이스밖에 지원하지 않기 때문에 이것저것 테스트하기가 번거로웠다.

그래서 나는 그래프DB의 개념을 익히고, 재밌게 연습하기에는 아랑고DB가 최적이라고 생각한다. AQL도 상당히 직관적이기 때문에 배우는 데 진입장벽이 낮기 때문이다.

2. 아랑고DB의 사용 예시

아랑고DB는 아래와 같은 상황들에서 제 힘을 발휘한다. 공통적으로 볼 때, 여러 컬렉션을 모두 돌면서 데이터를 탐색하는 상황에서 아랑고DB는 가장 강력하다.

다른 RDBMS나 NoSQL에서 많은 테이블/컬렉션을 하나의 쿼리에 탐색하는 상황을 역으로 생각해보면 얼마나 번거롭고 비효율적인 일인지 알 수 있을 것이다.

예시 1 - 어제 방문한 유저 중, 오늘 재방문한 유저 찾기

관계형DB를 사용한다면, 아래 t1에 t2를 unique_id로 left join하여 값이 매치하는 경우 어제도 방문했다고 결론지을 수 있을 것이다.

  • t1 = 오늘 방문한 유저의 unique id 목록
  • t2 = 어제 방문한 유저의 unique id 목록

예시 2 - 지난 한 달간 방문한 유저 중, 오늘 재방문한 유저 찾기

그럼 여기서 더 나아가, 어제가 아닌 지난 한 달 동안 방문한 유저들을 대상으로 한다면 어떻게 될까? t2가 조회해야 하는 데이터 양은 1일 -> 30일로 30배가 늘어났다. 시간단위로 파티셔닝을 해두었다면 이는 t2 테이블을 읽는 데에만 훨씬 더 많은 시간이 소요됨을 의미한다. 보통 이렇게 되면 이전 30일치의 유저 unique_id를 따로 캐싱해두고 빠르게 꺼내는 방식을 택하는 게 나을 것이다.

예시 3 - 예시2의 유저들의 최초 유입 경로 찾기

그럼 여기서 더 깊은 분석을 한다고 가정해보자. 지난 한 달 간 방문한 적이 있는 유저 중, 오늘 재방문한 유저들이 최초로 이 웹사이트에 방문한 경로를 알고싶다. 여기서부터 머리가 복잡해지기 시작한다. t1과 t2를 join하여 타겟 유저 그룹을 분리해내는 것까지는 시간이 오래 걸릴 뿐 별 문제가 없었는데, 이제 이 타겟 유저 그룹의 개별 유저마다 최초의 유입 경로를 찾아야 한다. 마찬가지로 DB가 시간 단위로 파티셔닝 되어있다면, 도대체 조회 기간을 언제부터 산정해야할까?

이러한 종류의 쿼리들은 관계형DB에서도 구현은 가능하지만, 실제 프로덕션 수준으로 끌어오기까지는 꽤나 설계가 필요할 것이다. 나는 이러한 경우에 그래프DB를 써야한다고 본다.

  1. 데이터의 출발점이 특정 인덱스/파티션에 한정(위 예시에서는, 조회하는 기간)되는게 아니고 여러 컬렉션에서 출발할 수 있고,
  2. 내가 필요한 데이터 점들을 횡단(traverse)하여 원하는 값을 구성해낼 수 있고
  3. 이 과정에서 필요한 점들만을 효율적으로 방문할 수 있기 때문이다.

3. Performance

아랑고DB의 성능 벤치마크는 여기서 확인할 수 있다. 사실 그래프DB에서 깊은 뎁스로 횡단을 하다보면 생각만큼 효율이 나지 않을 때도 많다. 기회가 된다면 이런 경우에 대해 어떻게 쿼리 최적화를 했는지도 공유해야겠다.

4. 앞으로의 계획

앞으로의 글들은 아래의 순서로 진행될 것 같다. 쓰고보니 많아보이지만 핵심 위주로만 슥슥 넘어가려고 한다. 블로그의 첫 개시인데, 게으름피우지 않고 부지런히 써봐야겠다!

  1. (지금 보고있는 글)아랑고DB란? 왜 쓰는가?
  2. 아랑고DB 세팅하기 on Ubuntu
  3. 아랑고DB 쉘로 붙어서 명령어 체험해보기, 실체 파악해보기
  4. AQL(Arango Query Lang) 배워보기 1
  5. AQL(Arango Query Lang) 배워보기 2 - RETURN / UPDATE
  6. AQL(Arango Query Lang) 배워보기 3 - REPLACE / UPSERT / REMOVE
  7. 그래프 개념잡기
  8. 그래프 횡단하기 Graph Traversal
  9. 데이터 모으기 COLLECT / AGGREGATE / MIN_BY, MAX_BY
  10. 프로젝트. 그래프를 통한 영화 추천시스템 만들어보기 1
  11. 프로젝트. 그래프를 통한 영화 추천시스템 만들어보기 2 (최종편)