2017/08(14)
-
Node.js용 AWS S3 파일 다운로드 모듈 "minio" 사용하여 2기가 이상의 파일 처리
AWS에서 공식으로 제공한 node.js용 모듈인 "aws-sdk"를 이용하여 S3 파일 다운로드를 구현하면, 현재 어느 정도 파일을 다운로드 했는지를 알지 못하는 불편함이 있고 대용량 파일 (2기가 이상)을 다운로드할 경우에는 정상 동작하지 않는 문제가 있다. 예전에 본적이 있는 minio라는 모듈에서 제공하는 getObject 메소드는 스트림 방식으로 이벤트 처리가 가능하도록 되어 있어서 다운로드 진행률 처리나 대용량 파일 다운로드 처리 등이 가능하다.https://stackoverflow.com/questions/36942442/how-to-get-response-from-s3-getobject-in-node-jsvar Minio = require('minio') var s3Client = new ..
2017.08.29 -
AWS EC2 (AMI)에 Java, Scala, Spark, Kafka, MongoDB, Redis, Node.js, Maven 설치
1. AWS EC2 접속 2. AMI 버전 확인$ grep . /etc/*-release/etc/os-release:NAME="Amazon Linux AMI"/etc/os-release:VERSION="2017.03"/etc/os-release:ID="amzn"/etc/os-release:ID_LIKE="rhel fedora"/etc/os-release:VERSION_ID="2017.03"/etc/os-release:PRETTY_NAME="Amazon Linux AMI 2017.03"/etc/os-release:ANSI_COLOR="0;33"/etc/os-release:CPE_NAME="cpe:/o:amazon:linux:2017.03:ga"/etc/os-release:HOME_URL="http://aw..
2017.08.28 -
Node.js 외부 Javascript 파일 연동 관련
Node.js를 사용하여 웹과 서버프로그램 동시에 사용 가능한 코드 개발하기http://blog.saltfactory.net/using-single-javascript-code-on-front-and-server-side//** * filename : person.js */ var Person = function (name) { this.name = name; this.hello = function () { return "Hello, My name is " + this.name + "!"; } } node 쉘에서 다음 코드를 실행한다.var fs = require('fs'); eval(fs.readFileSync('person.js', 'utf-8')); var saltfactory = new Perso..
2017.08.28 -
Python Scikit-learn을 활용한 회귀, 분류 예제
Linear Regression import sklearnimport pandas as pdimport numpy as npimport matplotlibimport matplotlib.pyplot as pltmatplotlib.style.use('ggplot')%matplotlib inlinefrom sklearn.model_selection import train_test_splitfrom sklearn import linear_modelfrom sklearn.metrics import mean_squared_error#MSE:평균제곱오차from sklearn.metrics import r2_score#결정계수import seaborn as sns df = pd.read_csv( "https://ra..
2017.08.17 -
R 프로그래밍 예제
Vector : 동일한 데이터 1차원 배열Matrix : 동일한 데이터 2차원 배열Array : 동일한 데이터 3차원 배열List : 다른 데이터형 1차원 배열Data Frame : 다른 데이터형 2차원 배열 -> 일반적인 Row/Col 데이터 > txt1 txt2 price count price_in_groups price_in_groups PRICE COUNT1 $0-50 5402 $50-100 15813 $100-150 8804 $150-200 12785 $200-250 4726 $250+ 299> bchart = barplot(count, main="Amount of ties at price points",ylab="Number of ties",xlab="The price ($)",col=rain..
2017.08.16 -
머신러닝 관련 레퍼런스
회귀분석 - 회귀모델의 적합도 측정https://m.blog.naver.com/PostView.nhn?blogId=samsjang&logNo=221003939973&proxyReferer=https%3A%2F%2Fwww.google.co.kr%2F Scikit-Learn 패키지를 사용한 선형회귀분석https://datascienceschool.net/view-notebook/58269d7f52bd49879965cdc4721da42d/ 결정 트리와 타이타닉 가설 설명 (3) - 회귀를 이용한 예측http://antilibrary.org/1090 파이썬 텐서플로우 & 머신러닝 기초https://www.youtube.com/watch?v=qxUD7fOseBQhttps://www.youtube.com/watch..
2017.08.15