Elasticsearch에 저장된 한국/서울 기준의 시간 정보를 MongoDB에서 조회하려니 뭔가 맞지 않는다. 그래서 이유를 찾아보니 MongoDB의 타임 존이 UTC로 고정되어 있기 때문이란다. 그래서 다음과 같이 조치를 하니 정상적으로 처리된다.db.logs.count({type:1234,created_at:{$gte:new Date("2017-12-28T00:00").getTime()-(9*3600000)}}) MongoDB의 Timezone은 UTC로 고정되어있다.MongoDB 공식가이드는 이를 Application Layer에서 설정하라고 안내한다. UTC와 차이가나는 9시간을 더해서 사용하라는 것이다. (https://docs.mongodb.com/v3.2/tutorial/model-time..

range filter와 match 조건을 함께 쿼리하는 방법GET index12345678/_search{ "query": { "bool": { "should": [ { "match": { "type" : 1234 } } ], "minimum_number_should_match": 1, "filter": { "range" : { "created_at" : {"gte":1514386800000} } } } }} https://stackoverflow.com/questions/44306569/malformed-query-expected-end-object-but-found-field-name-error-in-kibana-elastGET _search { "query": { "bool": { "should"..

모든 raw 데이터를 Elasticsearch에 저장하고 있는 시스템에서, 가급적 Elasticsearch 자체를 건드리지 않는 방법으로 새로 Insert 되는 데이터에 대해서만 MongoDB 샤딩 시스템에 저장하는 방법을 검토해보았다.가급적 구현하기 쉬우면서 Elasticsearch에 부하를 주지 않는 방법이 필요해서, Elasticsearch에서 Trigger를 제공하는지 알아 보았다. Elasticsearch에서는 Insert 이벤트가 발생하면 바로 동작하는 트리거를 제공하지는 않고, 주기적으로 스케쥴링 되는 Watcher를 제공하는 것으로 보인다.https://www.elastic.co/guide/en/watcher/current/trigger.html 그래서, Node.js를 이용하여 사용할 수..

1. 장점- 데이터의 양에 상관 없이 일정한 속도를 유지한다. (평균 1~2초대)- AWS S3보다 상대적으로 저렴한 비용으로 저장할 수 있다(고 한다). 2. 단점- 비정형 데이터를 정형 데이터 스키마 형식으로 관리를 해야하기 때문에, 오리지널 비정형 데이터를 수용하기 위해 스키마를 정의하는 것이 복잡하다.- 한번 만들어진 테이블의 스키마 변경이 불가능하다. --> 데이터 구조의 유연성은 떨어지는 것으로 보인다.- 한번 저장한 데이터의 삭제가 불가능하다. --> 로그성 데이터의 경우에는 문제가 없기는 한데, 수정 뿐만 아니라 삭제까지 막혀있는 것은 처음 본다.- 쿼리문을 사용할 수 있다고 하지만 100% 호환은 아닌듯 하다. (Hive처럼 Query문으로 입력 받아서 별도의 로직으로 변환하여 처리하는 ..

글로벌 분산 데이터베이스 Spanner MongoDBhttp://d2.naver.com/helloworld/216593 node.js spanner 연동 드라이버https://www.npmjs.com/package/@google-cloud/spanner GlusterFS로 분산 스토리지 환경 구현하기 HDFShttp://blog.syszone.co.kr/3038 MySQL 클러스터링을 위한 Galera Clusterhttp://bcho.tistory.com/1062 NSA의 Dataflow 엔진 Apache NiFi 소개와 설치http://www.popit.kr/apache-nifi-overview-and-install/Amazon EMR란 무엇입니까?http://docs.aws.amazon.com/ko..

Deploy a Sharded Clusterhttps://docs.mongodb.com/v3.4/tutorial/deploy-shard-cluster/ Mongo Sharding 1 - shard 구성https://fkkmemi.github.io/mongodb/mongo-sharding-1/ ★[MongoDB] 3.2.9 샤딩https://m.blog.naver.com/PostView.nhn?blogId=forioso&logNo=220806295071&proxyReferer=https%3A%2F%2Fwww.google.co.kr%2F [MongoDB] Sharding (3) - shard key또한 한번 sharding한 collection에 shard key는 변경할 수 없다.만약 변경하고 싶다면 새 ..