JedisJedis is a blazingly small and sane Redis java client.https://github.com/xetorthio/jedis * Scala에서도 Java 라이브러리를 사용할 수 있으므로, Spark Streaming에서 Redis는 연동은 Jedis를 이용하는 것이 좋은 것 같다. Spark-Redis는 Get/Set 메소드에 대한 래핑 클래스만 제공하기 때문에, redis의 모든 기능을 직접 연동할 수 없고 결국 Jedis를 사용해야 하는 상황이 발생하기 때문이다. Spark-RedisA library for reading and writing data from and to Redis with Apache Sparkhttps://github.com/RedisL..

R 강의 5. 상관분석, 회귀분석http://rstudio-pubs-static.s3.amazonaws.com/189354_277dfb3a83a34a2abaae855b90fcf269.htmlR을 사용한 의사결정나무 분석 (Decision tree analysis in R)http://www.dodomira.com/2016/05/29/564/R을 이용한 머신러닝 - 1 (선형 회귀분석)http://yamalab.tistory.com/14[R3.3] 예측분석 - 단순 회귀분석 및 다중 회귀분석http://dbrang.tistory.com/1069 * ggplot2 관련R을 사용한 막대 그래프 그리기 – ggplot2 초급http://www.dodomira.com/2016/03/18/ggplot2-%EA%B8..

Node.js에서 무거운 작업을 하다보니 메모리 관리 레퍼런스를 찾아봤는데, 결과적으로 메모리 문제는 아닌듯하다.하지만 Node.js에서 동기 방식으로 무거운 작업을 돌리는 것은 확실히 부담이 되는 것 같다. node.js memory leak 메모리 누수https://medium.com/@Dongmin_Jang/node-js-memory-leak-%EB%A9%94%EB%AA%A8%EB%A6%AC-%EB%88%84%EC%88%98-ac32234cb9e0 Node.js 최적화, 메모리관리를 위한 flaghttp://blog.canapio.com/47 자바스크립트의 메모리관리https://developer.mozilla.org/ko/docs/Web/JavaScript/Memory_Management

1. Kafka 세팅Kafka를 이용하여 메시지를 발행/구독하는데, 주고 받는 메시지의 기본 크기는 1메가 이하이다. 1메가 이상의 메시지를 주고 받을 수 있도록 하려면, Kafka의 config 파일에 message.max.bytes를 원하는 만큼 지정해주어야 한다. 100메가 정도까지 지정하고 테스트 해보았는데, 문제 없이 동작한다.https://kafka.apache.org/08/documentation.htmlmessage.max.bytes1000000The maximum size of a message that the server can receive. It is important that this property be in sync with the maximum fetch size your c..

AWS에서 공식으로 제공한 node.js용 모듈인 "aws-sdk"를 이용하여 S3 파일 다운로드를 구현하면, 현재 어느 정도 파일을 다운로드 했는지를 알지 못하는 불편함이 있고 대용량 파일 (2기가 이상)을 다운로드할 경우에는 정상 동작하지 않는 문제가 있다. 예전에 본적이 있는 minio라는 모듈에서 제공하는 getObject 메소드는 스트림 방식으로 이벤트 처리가 가능하도록 되어 있어서 다운로드 진행률 처리나 대용량 파일 다운로드 처리 등이 가능하다.https://stackoverflow.com/questions/36942442/how-to-get-response-from-s3-getobject-in-node-jsvar Minio = require('minio') var s3Client = new ..

1. AWS EC2 접속 2. AMI 버전 확인$ grep . /etc/*-release/etc/os-release:NAME="Amazon Linux AMI"/etc/os-release:VERSION="2017.03"/etc/os-release:ID="amzn"/etc/os-release:ID_LIKE="rhel fedora"/etc/os-release:VERSION_ID="2017.03"/etc/os-release:PRETTY_NAME="Amazon Linux AMI 2017.03"/etc/os-release:ANSI_COLOR="0;33"/etc/os-release:CPE_NAME="cpe:/o:amazon:linux:2017.03:ga"/etc/os-release:HOME_URL="http://aw..