2017/08(14)
-
나의 답사기 - 부산 롯데호텔 (4박 5일)
딸내미의 개학을 앞둔 주말-광복절 사이에 온가족이 부산 롯데호텔에서 휴가를 보내기로 했다. 작년을 제외하고는 매년 부산 롯데호텔을 이용하고 있는데, 부산에서 강의를 할 때에는 이렇게 휴가를 보내는 것이 일석이조이기 때문이다. 늘 그랬듯이 롯데호텔 홈페이지에서 얼리버드 패키지 예약을 했다. 최저가 사이트에서 조금 더 저렴하게 이용할 수도 있겠지만, 호텔 홈페이지에서 패키지 예약하는 것을 더 선호하는 편이다.이번 휴가는 작은 샵 하나 오픈하고 2달 넘는 기간 동안 계속 긴장을 하느라 피로도가 쌓인 집사람과 미술 전공자들의 고질병인 목-어깨 통증 때문에 휴식이 필요한 딸내미, 그리고 특급호텔과 호텔 실외수영장을 무척 사랑하는 아들내미를 위한 복합적인 목적을 이루기 위한 목적을 가졌다. 결과적으로 나름 소기의 ..
2017.08.15 -
CentOS 6에서 Python으로 데이터 분석 및 시각화
How to Install Python 3.6.1 on CentOS/RHEL & Fedorahttps://tecadmin.net/install-python-3-6-on-centos/ Linux Python Anaconda 설치http://blog.naver.com/PostView.nhn?blogId=cjh226&logNo=220919371679&parentCategoryNo=&categoryNo=11&viewDate=&isShowPopularPosts=false&from=postView $ cd /usr/src$ sudo wget https://www.python.org/ftp/python/3.6.1/Python-3.6.1.tgz$ sudo tar xzf Python-3.6.1.tgz$ cd Python..
2017.08.10 -
CentOS 6에서 Spark Streaming 프로그래밍
$ cd ~/Documents/workspace$ mkdir sparkstreaming-topurl$ cd sparkstreaming-topurl$ vi build.sbt name := "LogParser"version := "1.0"scalaVersion := "2.11.8"libraryDependencies ++= Seq("org.apache.spark"%"spark-core_2.11"%"2.1.0"%"provided","org.apache.spark"%"spark-streaming_2.11"%"2.1.0"%"provided") $ sbt eclipse Eclipse Import Projectappend New Source Folder : src/main/scalaappend New Scala Obj..
2017.08.09 -
CentOS 6에서 SparkSQL 프로그래밍
$ bin/spark-shell scala> case class Trans(accNo:String, tranAmount:Double)defined class Trans scala> def toTrans = (trans:Seq[String]) => Trans(trans(0),trans(1).trim.toDouble)toTrans: Seq[String] => Trans scala> val acTransList = Array("SB10001,1000","SB10002,1200","SB10003,8000","SB10004,400","SB10005,300","SB10006,10000","SB10007,500","SB10008,56","SB10009,30","CR10010,7000","SB10002,-10")acT..
2017.08.08 -
Eclipse Maven - Scala Spark 프로그래밍 및 MongoDB, Kafka, Redis 연동
https://www.cloudera.com/documentation/enterprise/5-5-x/topics/spark_develop_run.htmlhttps://m.blog.naver.com/PostView.nhn?blogId=estern&logNo=220824080406&proxyReferer=https%3A%2F%2Fwww.google.co.kr%2Fhttp://scala-ide.org/docs/tutorials/m2eclipse/http://jdm.kr/blog/176http://www.gooper.com/ss/bigdata/271691http://blog.naver.com/PostView.nhn?blogId=kimyoon21&logNo=220297814742&parentCategoryNo=&..
2017.08.06 -
CentOS 6에서 Spark 설치 및 Scala를 이용한 Spark 프로그래밍
$ wget http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.7.tgz$ tar xzvf spark-2.1.0-bin-hadoop2.7.tgz $ ./sbin/start-master.sh$ ./sbin/start-slave.sh spark://localhost:7077$ ./bin/pyspark –master spark://localhost:7077 $ wget https://downloads.lightbend.com/scala/2.12.3/scala-2.12.3.tgz$ tar xzvf scalar-2.12.3.tgz$ vi .bashrc export SCALA_HOME=/home/eduuser/scala-2.12.3export PATH=$P..
2017.08.05