처음 2종 소형 면허를 따고 나서 기존에 125cc 바이크(모터사이클 이나 오토바이라는 용어를 모두 바이크 통일하여 표기)를 타던 분들이나 처음 바이크에 접하시는 분들이 가장 쉽게 접할수 있는 바이크가 쿼터급 (250cc 수준을 쿼터급이라고 한다.) 일것 같다.

  나도 처음 접했던 바이크이기도 하다. 

  PS. 보통 2종 소형 면허를 따고 나면 영화나 예능에서 연예인들이 멋있게 몰고 다니는 바이크를 바로 살려고 하시는 분들도 있고 얼마전 20대의 청년이 4기통의 200마력짜리 바이크를 면허 따자 말자 구입한 이후에 사망한 뉴스는 바이크를 타는 사람들에게 큰 이슈가 되었다. 물론 본인이 200마력에 제로백 2.5초짜리를 다룰수만 있다면 사도 무방하다. 하지만 자동차를 보더라도 운전면허 따자 말자 페라리급 자동차를 사는게 돈이 없어 ^^ 불가능 하겠지만 바이크는 면허를 따자 말자.. 4천만원 정도의 돈이 있다면 페라리보다 빠른 바이크를 사는게 가능하다. 많이 위험한 짓이다. 그러므로 꼭 쿼터급 혹은 미들급이라도 한번 거쳐 가길 바란다.

  먼저 중요한 스펙을 알아 보자.

중요 스팩

https://www.ysk.co.kr/goods/goods.view.php?gidx=37 에서 참고 및 발취

  장점

1. 가벼운 무게로 마력 대비 빠른 가속과 움직임이 가능하다.
2. 무난하다. 야마하 답게 수리하기 그리 어렵지 않은듯 하다.

단점

1. 2017년식 이하의 엔진에 일부 문제가 있다. ( 되도록 문제를 피할려고 한다면 17년식 이후 버전을 구입하길 바란다.)
 

  많이 타지 않고 판매한게 조금 아쉽긴 하지만 처음 탔던 바이크로 꽤나 재미있게 탔었던것 같습니다. 

16년식 MT03의 점화 플러그 문제

    중고로 샀고 약 2만 5천 키로 이상 탄 바이크 였으므로 점화 플러그를 교체할 시기가 되었다고 생각 되었는지 전주인분꼐서 NGK 순정 점화 플러그 NGK CR8 을 2개를 주셨다. 개당 몇천원 하지 않는 제품으로 순정 MT-03에 장착 되어 나온다고 되어 있다. 바이크를 받자 말자 낼름 그 다음주 동네 바이크 가게 가서 교체를 하였다 ( 교체비용 약 7만원) 

  그런데 문제는 여기서 벌어진다. 교체를 한 이후부터 시동이 걸리지 않는것이다. 문제는 아예 안걸리는 것도 아니고 간헐적으로 걸다 보면 걸린다는 것이다. 

  폭풍 검색을 해보니 MT-03이 15,16년식에서 엔진의 점화 플러그에 결함에 가까운 문제가 있어서 그 다음 년식에서는 플러그도 변경되고 엔진도 변경되었다는 것이였다. 문제 해결 방법은 의외로 간단하다. 순정 점화 플러그가 아닌 이리듐 플러그로 교체하고 휘발유 주유때 조금 괜찮은 주유소만 찾아 가면 되는것이다. 즉 인터넷에서 NGK CR8EIX 제품으로 교체 해 주면 되는것이였다.

  혹시라도 MT-03 중고로 구입하시는 분들은 꼭 참고하시기 바란다.. 최초에 장착된 점화 플러그를 순정으로 교환해서 문제가 없는 경우도 있지만 검색 해보니 꽤나 빈번한 빈도로 정차중 시동 꺼짐과 시동이 걸리지 않는 문제가 발생한다. 물론 주행중에 꺼지는 일은 경험하거나 보지는 못했다.

https://m.blog.naver.com/PostView.nhn?blogId=speedbik&logNo=222000927785&categoryNo=9&proxyReferer=https:%2F%2Fwww.google.co.kr%2F 

https://youtube.com/shorts/sPdiPyrsjnI?feature=share 

  S3와 Route53을 이용하여 정적 웹사이트를 구성하는 방법을 통해서 간단하게 정적 웹 사이트 서비스를 AWS를 이용해서 올려 보았다. 하지만 이렇게 편리하게 만들어진 웹 사이트의 반응성은 어떨까 ? 최근의 인터넷 서비스는 상당히 빠른 응답 속도를 자랑하고 콘텐츠 양이 많더라도 크게 영향 받지 않고 서비스를 쾌적하게 사용할 수 있게 해주기 때문에 아주 중요한 부분이므로 한번 간단하게 비교 테스트를 해보았다. 

   테스트 조건

 (1). S3 + Route53을 이용한 정적 웹 사이트
 (2) EC2 + Apache 웹 서버

  공통 조건

 (1) 동일한 index.html 파일 사용
 (2) 크롬의 검사툴을 이용함 (캐시 무시 기능 이용)

1. S3 + Route53

  먼저 S3로와 Route53으로 간단하게 설정한 웹 페이지상에서 index.html 에 대해서 크롬의 Network를 이용하여 반응 속도를 측정해 보았다. 아래의 결과에서 볼수 있듯이 일반적으로 30ms 에서 40ms 정도의 속도가 보편적이다. (평균을 따로 내지는 않았다.) 

  내가 보기엔 느리다는 생각이 들었다. 그래서 동일한 파일은 AWS EC2 인스턴스에 올리고 기본 설정의 Apache에 올려 보았다. ( EC2의 경우에는 별도로 DNS 설정이 없이 IP를 이용하여 접근 하였다.)

  2. EC2에 Apache

  일반적인 속도의 분포가 10ms대에서 20ms 이하가 주류를 이룬다. 그렇다면 실제로 저기서 부하가 걸리는 것은 무엇은지를 한번 알아 보았다.

간단하게 수치상으로 봐도 EC2+Apache 대비 S3+Route53이 두배가량의 시간이 더 걸린것을 알수 있다. 

3. 상세 원인은 무엇인가 ?

  가장 주된 원인은 TTFB로 인해 발생된 것으로 보이며 해당 시간이 거의 두배가 걸린것을 볼수 있을 것이다.
  TTFB : Time to First Byte로 처음 byte가 브라우저에 도달하는 시간을 이야기 합니다. TTFB가 빠를수록 사용자에게 체감되는 웹 반응성이 우수합니다.

 % 위의 테스트 결과는 기본 설정만을 테스트 한것이며 Apache의 경우 캐시 전용 설정 구성을 통해서 위의 시간을 더 단축 시키는것이 가능하다. S3의 경우에도 CloudFront 및 여러가지 설정을 통해서 TTFB를 줄이는 것이 가능하다고 한다 하지만 실제로 테스트 해본적은 없으므로 향상 방법에 대해서는 Amazon 사이트의 내용을 첨부한다.

https://aws.amazon.com/ko/premiumsupport/knowledge-center/s3-cloudfront-website-latency/

4. 그렇다면 실제 서비스 사이트는 ?

  아래는 AWS 인프라를 사용하는 모 인터넷 쇼핑몰 사이트의 반응 응답 속도이다. 응답한 파일중에서 js 파일만을 필터링 하여서 한번 수치를 보았다. 전반적으로 속도가 100ms-300ms 수준에서 분포하고 있다는 것을 알수 있다. (이것도 통계를 내어서 비교 하고 싶으나 ^^)

위의 AWS 대비 IDC에서 서비스를 이용하는 포털 사이트의 응답 속도이다. 전체적으로 파일의 크기가 큰 JS 파일이지만 응답속도는 대부분 30ms ~ 40ms 이하의 분포를 보이고 있다는 것을 알수 있다. 간혹 가다가 150ms 대가 몇가지 보이지만 전반적인 응답 속도에 영향을 줄 정도는 아니다.

% 자체 IDC와 AWS를 사용하는 서비스에 대해서는 접속하는 IP로 구분하였습니다.

5. 결론

 추가적으로 테스트나 조사가 필요하지만 AWS상에서 서비스를 할때 S3를 이용하여 CDN을 구성하거나 하는 경우 속도가 일반적인 CDN 대비 느릴수 밖에 없다. 실제로 파일 딜리버리 전용으로 구성한다면 S3 보다는 Apache Cache 서버로 잘 튜닝해서 구성하는것은 어떨까 ? 하는 생각이 든다. 물론 S3의 응답 속도를 정말 제대로 튜닝해서 사용한다면 Apache를 구성하는거보다 더 손쉽게 빠른 서비스를 구성할수 있을것이다. 

  가장 의외인 것은 가끔 AWS 인프라로 서비스 하는 웹 사이트에 접근하면 거의 행이 걸린듯하듯이 멈춘 현상을 종종 볼수 있는데 이번 테스트시에 S3 + Route53 구성에서 722B의 index.html을 딜리버리 하는 최대 300ms 까지의 응답 속도를 보여준 적도 있었다. 이런 부분을 잘 생각해서 서비스를 구성할떄 AWS를 활용한다면 좋을것 같다고 결론 내려 봅니다.

% 본 테스트는 개인적인 연구 목적의 테스트 이므로 특정 단체나 집단의 이익을 대변하지 않습니다.

   정적 요소만 있는 홈페이지 즉 DB 연결이나 외부에서 데이터를 가져와서 변화하는 페이지가 아닌 단순 이미지나 JS 파일로 된 웹 사이트를 만들어야 하는 경우가 종종 있다. 혹은 동적 페이지를 개발하면서 정적 요소를 가져와야 하는 경우가 있을 것이다. 이번 글은 그러한 경우에 AWS 상에서 간단하게 만들수 있는 방법을 제시한다.

  아마존에서는 아래의 메뉴얼을 제공하고 있고 아래 메뉴얼을 보면서 따라가더라도 AWS에 익숙하지 않은 사람이라도 크게 어렵지 않게 몇십분 정도만 투자하면 금방 S3에 웹 페이지 리소스를 업로드 하고 도메인을 연결하여 웹 서비스를 구축 할수 있다. 즉 아파치니 Nginx 같은 웹 서버를 설치하고 권한을 잡아주고 기본 설정을 연결하지 않아도 된다.

  공식 메뉴얼은 아래에 있으므로 참조 하기 바란다.

https://docs.aws.amazon.com/ko_kr/AmazonS3/latest/userguide/website-hosting-custom-domain-walkthrough.html

% 아래의 글은 위의 메뉴얼과는 일부 상이하나 메뉴얼 대로 하는 것도 좋다.

1. 버킷 만들기

  제일 먼저 해야 할 일은 S3 버킷을 만들어야 한다. 버킷은 아래의 그림과 같이 기본적인 설정만을 통해서 생성하면 된다. (To-Do 참고) 다만 주의할 점이 두가지 정도 있으므로 버킷 생성시에 참고 하기 바란다.

  To-Do

1. 버킷 생성 클릭하기
2. 버킷 이름 넣기
3. 버킷의 리전을 원하는 리전으로 변경하기
4. 버킷을 퍼블릭으로 설정하기 
5. 완료

 생성시 주의해야 할 두가지 사항은 아래와 같다.

 (1). 버킷 이름

  외부에 도메인을 통해서 서비스를 하기로 하였고 도메인은  http://site.golobby.xyz으로 하기로 하였다. 그렇다면 버킷의 이름을 지정할때 해당 도메인과 동일한 이름인 site.golobby.xyz 로 설정해야 한다. 아래의 사진을 보면 버킷 이름을 내가 노출하고자 하는 도메인으로 설정한것을 알수 있다.

(2). 퍼블릭으로 설정

  기본적으로 버킷을 생성시 "이 버킷의 퍼블릭 액세스 차단 설정" 이라는 옵션이 모두 활성화 되어 있어 내부에서만 사용하도록 되어 있다. 이를 모두 풀어 주고 퍼블릭으로 설정해야 한다. 다만 이렇게 ACL의 설정 없이 모두 열어주고 정책을 줄 경우 외부에서 해당 버킷에 모두 접근할 수 있으므로 외부에 특별한 권한 없이 노출 할 수 있는 파일들만 위치 하는게 좋다. 별도로 S3 버킷의 권한에 대해서는 별도의 문서에서 알아 보겠다.

생성 완료를 클릭하면 아래와 같이 버킷이 생성된 것을 알 수 있다.

2. 정책 설정 하기 

 버킷이 생성되었다면 이제 정책을 설정하여 외부에서 접속이 가능하도록 설정 해야 한다. 버킷을 눌러 상세 화면에서 권한을 눌러서 "버킷 정책"으로 접속 하여 정책을 수정한다.

To-Do

1. 버킷 상세 페이지에서 "권한" 탭을 선택하고 "버킷 정책"  편집을 누른다.
2. 정책 생성기를 누루고 정책은 S3 버킷 정책으로 설정 한다.
3. 정책 생성기에서 허용, *, 그리고 Actions에는 GetObject만 설정
4. ARN에는 arn:aws:s3:::site.golobby.xyz 와 같이 적어주고 생성을 클릭
5. JSON 형식으로 뜬 정책을 클립보드에 복사
6. 정책에 복사한 다음 Resource에 ARN의 마지막 부분에 "/*" 첨부 "Resource": "arn:aws:s3:::site.golobby.xyz/*"
7. 완료 

 정책 생성기를 통해서 액션, ARN을 이용한 JSON 형태의 정책을 생성한다.

버킷 정책을 설정 한다.

3. 정적 웹 호스팅 설정

  이제 버킷을 만들었다면 여기에 서비스할 리소스를 올려야 한다. 여기서는 테스트 이므로 공식 페이지에 나와 있는 index.html을 수정해서 간단하게 아래와 같은 소스를 업로드 하였다. 

<html> <head> <title>Amazon Route 53 Getting Started</title> </head> <body> <h1>Routing Internet traffic to Cloudfront distributions for your website stored in an S3 bucket</h1> <p>For more information, see <a href="https://docs.aws.amazon.com/Route53/latest/DeveloperGuide/getting-started.html">Getting Started with Amazon Route 53</a> in the <emphasis>Amazon Route 53 Developer Guide</emphasis>.</p> </body> </html>

  위의 내용을 index.html 파일로 저장한다음에 아래의 To-Do의 과정을 통해서 업로드 한다.

To-Do

1. site.golobby.xyz 버킷의 상세 화면에서 객체에서 "업로드" 버튼 클릭
2. 사전에 만들어둔 index.html을 선택하고 업로드
3. 업로드가 완료 되면 index.html이 등록됨

  서비스할 페이지를 만들었다면 이제는 정적 웹 호스팅 설정을 통해서 위의 index.html을 외부에서 접근할수 있게 만들어야 한다. 방법은 아래의 To-Do를 참고하여 따라한다.

정적 웹 호스팅 설정 To-Do

1. 버킷의 상세 화면의 "속성" 탭을 선택 최하단에 정적 웹 사이트 호스팅 선택
2. 정적 웹 사이트 호스팅의 활성화 선택, 호스팅 유형은 "정적 웹 사이트 호스팅 선택"
3. 접속시 최초로 보여줄 페이지에 index.html 선택 (에러 페이지가 있을 경우 별도 업로드후 기입)
3. 완료 버튼 클릭이후 별도로 나오는 버킷 웹 사이트 엔드 포인트 확인 
4. http://site.golobby.xyz.s3-website.ap-northeast-2.amazonaws.com 라고 나오고 여기에 접속이 되면 완료

  % 여기까지만 해도 위의 주소를 이용하여 외부에서 정적 홈페이지를 서비스 할 수 있다.

4. 도메인의 등록

  아마존에서도 별도로 도메인을 사용할수 있지만 그럴경우 1년에 몇만원의 비용이 들수 있으니 여기서는 xyz 도메인을 외부에서 등록해서 사용하고자 한다. 요즘 1년에 2천원 정도 사용 가능한 도메인을 쉽게 구할수 있으므로 외부 도메인 등록 기관을 통해서 도메인을 2천원에 등록했다. 

  To-Do

1. 외부 호스팅 업체를 통해서 도메인을 등록 한다.
2. 해당 도메인을 Rote53의 "호스팅 영역" > "호스팅 영역 생성"을 선택하고 기입한다. (그림 1)
3. 생성된 영역에서 나오는 NS 서버 (총 3개 수준)를 등록한 호스팅 업체의 NS로 교체 한다. (그림2)
4. golobby.xyz라고 등록된 도메인을 선택하고 "레코드 생성" 화면으로 진입하여 "단순 레코드 정의"를 선택 (그림3)
5. 여기에 site를 입력하고 레코드 유형은 "A-IPv4주소" 값/트래픽 라우팅 대상은 S3로 존은 서울 리전으로 선택 (그림 3)
6. 마지막으로 S3 엔드 포인트에 s3-website.ap-northeast-2.amazonaws.com 라고 입력 (그림 3) 
    ( 정상적으로 입력이 되었다면 자동으로 스크롤되어 선택할수 있게 해준다. 스크롤이 안된다면 잘못된 것이다.)
7. 이제 레코드를 생성 하여 완료 한다. (그림 4)

  이제 모든것이 완료 되었다. 

  % 웹 브라우저에 http://site.golobby.xyz 를 입력해서 아래와 같이 뜬다면 성공한 것이다.  

5. 에러가 나올때의 상황

 (1) NoSuchBucket

: Route53의 라우팅 입력시 별도의 값을 입력하지 않는다 즉 site.golobby.xyz.s3-website.ap-northeast-2.amazonaws.com 으로 접속이 가능한 것을 site.golobby.xyz 로 맵핑해주는것이므로 S3 버킷의 이름이 정확하게 등록한 도메인 주소와 일치 하여야 한다. 이럴때에는 버킷의 이름이 라우팅 하고자 하는 도메인으로 정확하게 설정 되었는지 확인한다.

 (2) Access Denied 

Access Denied : S3 버킷에 대한 정책이 입력되지 않은 경우 발생한다. 위의 정책 부분이 빠졌는지 확인한다.

6. 정리

 (1) 장점

  - 별도로 웹 서버를 설정할 필요가 없다. (응답 헤더를 봐도 특별한점은 없다.)

  - 정적으로 리소스를 서비스 해야 할 경우에 당장에 서버의 확장 등을 고려하지 않고도 편리하게 사용 가능하다.
  - 침해에 대한 염려가 적다. (계정이 노출되지 않는다면 별도로 파일을 업로드할 방법은 ? 없는 것 같다. 즉 웹 사이트 디페이스에 어느정도 안정성은 있다 하지만 절대적일지는 ??)
  - 사소하게 신경을 쓰지 않아도 된다. (다만 대량으로 트래픽이 발생된다면 과금이 올라갈 것이다. 주의해야 한다.)

  (2) 주의 할점

   - ACL이나 정책을 별도로 설정하지 않을 경우 모든 파일에 접근이 가능하므로 꼭 노출할 파일만 위치 시킨다.
   - 권한 설정을 했다면 반드시 테스트 해봐야 한다.

  Go를 개발하는 경우 Import를 통해서 본인이 분리하여 만든 파일을 넣어서 개발하고 싶을수 있다. 
 이때 간단하게 할수 있는 방법에 대해서 알아 보자 

  1. 먼저 프로젝트 폴더 아래에 별도로 폴더를 생성한다.
    아래는 ToolsProject라 폴더 하부에 custompkg 라는 폴더를 생성하였다. 

  그리고 utils.go 파일과 Scanner.go 를 생성 하였다.

  package 명은 동일하게 맞추어 준다.

  그리고 main 패키지에서 아래와 같이 호출한다.

모듈이 정상적으로 로드 되었는지 확인한다.

#go mod verify
all modules verified

 이제 go build를 한 다음 실행 파일을 돌려 보면 정상적으로 동작하는것을 볼수 있다.

함수

함수는 함수정의 키워드, 함수명, 매개변수, 반환타입의 4가지로 이루어진다

func Attach(data string) string {
     <본문> 
     return result
}

위의 첫째줄을 순서대로 해석하면 아래와 같다.
func : 함수임을 나타낸다
Attach : 함수명
data : 매개변수명
string : 매개변수 타입
string : 반환 타입

리턴은 두가지를 다중 반환 하도록 다중 반환함수를 만들수도 있다.
func Attach(data string) (string, int) 

위와 같은 경우에는 아래처럼 사용하면 된다.
ret, index := Attach(data)

분기문

if 문

if 조건문 { 코드 
}else if 조건문 { 코드
} else { 코드
}

예제

if data == "hello" {
fmt.Println("hello") 
} else if data == "bye" {
 fmt.Println("bye")
} else {
 fmt.Println("Good bye")
}

if의 조건문은 && , ||을 이용하여 구성하여 사용한다.
여러개의 조건문을 활용할 경우 괄호를 이용하여 묵어야 한다. 

if문에 초기문과 조건문을 같이 넣기
if rets := tf(true); rets {
if rets := tf(true); rets == true {

위의 문장은 tf 함수에 매개변수로 true를 넣고 함수를 실행한 이후 결과가 true일 때에 if문을 참으로 인식하고 동작하는 초기분을 넣었다. 초기문은 ";" 를 이용하여 넣고 뒷 부분에 매개변수를 통한 조건문이나 조건문을 넣을수 있다.

switch문

switch문은 값에 따라서 수행해야 하는 경우가 틀릴 경우 사용함

    switch data {
    case "hello":
        fmt.Println("hello")
    case "bye":
        fmt.Println("bye")
    default:
        fmt.Println("Good Bye")
    }

다양한 사용법이 존재함
다중 조건 case 사용
 case "hello", "bye":

조건문을 이용한 case 문을 사용
case degree > 5:

초기값을 이용하여 함수를 호출한 이후 사용
    switch rets := tf(false); rets {
    case true:
        fmt.Println("hello")

for문

for문은 조건을 가진 반복 작업에 사용
for 초기화; 조건문; 증가자 {
  <코드>
}

예제
for a := 0; a < 10; a++ {
  fmt.Print(a)
} 

continue와 break를 이용하여 구성 가능함

데이터 다루기

배열

배열은 같은 데이터 타입으로 이루어진 값들의 묶음

선언

var 변수명 [사이즈]타입
var data [100]string

초기화 및 데이터 입력

    var data3 [5]string = [5]string{"haha", "hihi", "huhu"}
    초기화 하면서 같은 사이즈의 배열을 할당

    data3[3] = "hoho"
    비어있는 3번에 데이터 입력

출력 방식
    for i, a := range data3 {
        fmt.Println(i, a)
    }

range를 이용하여 들어간 배열 만큼 동작 하다록 함
자바나 타 언어와 동일하게 다중 배열 사용 가능함

구조체

  구조체는 C에서 자주 사용하던 것과 거의 유사하게 사용할 수 있게 된 데이터들의 집합이다. 

선언
type <구조체명> struct {
  필드명  데이터타입
  필드명  데이터타입
}

위와 같이 선언하여 사용 할수 있다.
그럼 실제로 구조체를 선언하여 사용해 보자

type Member  struct {
  UserID string
  UserNo int
  Name string
  Address string
}

func main() {
  var member Member
  member.Address = "부산시...."

    fmt.Println(member.Address)
}

만약 구조체 배열 즉 slice를 만든 다음에 해당 구조체에 값을 추가 하고자 할 경우에는 아래와 같다.

var member2 []Member
member := Member{"guest", 1213, "김수로", "경기도"}
member2 = append(member2, member)

위에서 정의한 Member가 할당된 member에 값을 할당한 다음 이를 member2 슬라이스에 append 하면 되는 구 조이다. 
 실제로 자바와 유사함

참고자료

GO 언어의 표준 패키지 검색

https://golang.org/pkg

https://github.com/avelino/awesome-go

go.modGo 1.11부터 go 명령은 디렉토리가 외부 에 있는 경우 현재 디렉토리 또는 상위 디렉토리에 a가 있는 경우 모듈을 사용할 수 있도록 합니다 

% Tucker의 Go 언어 프로그래밍중 발췌

  데이터 시각화 툴로서 종종 사용하는 Zeppelin을 갑자기 사용해야 할 일이 생겼다. 다만 예전에 설치할때 좀 까탈스러웠던 기억이 나서 Docker 이미지로 제공되는지를 찾아 보았더니 아니나 다를까 D2hub에 등록되어 있었다.

  이제 간단하게 설치를 진행해 보았다. (기본적으로 도커가 설치되어 있다는것을 전제로 하며 OS는 MAC, Linux 를 대상으로 합니다.)

#docker run -p 8080:8080 --rm --name zeppelin apache/zeppelin:0.9.0

  위의 명령어를 실행하면 Zeppelin 0.9 버전의 도커 이미지를 다운로드 하고 실행합니다. 하지만 로그라던가 notebook이 이미지 내에서 저장되므로 이미지가 삭제되거나 하면 작업한 notebook이 삭제될 수 있으므로 외부의 저장공간으로 아래와 같이 마운트 시켜 줍니다. 아래의 옵션은 차후에 드라이버를 적재하는 용도로도 사용되므로 아래와 같이 사용합니다.   

#docker run -p 8080:8080 --rm -v $PWD/logs:/logs -v $PWD/notebook:/notebook -e ZEPPELIN_LOG_DIR='/logs' -e ZEPPELIN_NOTEBOOK_DIR='/notebook' --name zeppelin apache/zeppelin:0.9.0

  이제 명령어를 수행하면 notebook 디렉터리와 logs 디렉터리가 현재 실행한 위치에 생성되고 실행이 잘 되는것을 볼 수 있습니다.

  % 실행중에 만약 root로 실행했는데 당황스럽게 파일 생성시 Permission Denied 라는 에러 메시지와 함께 실행시에 .git(notebook 하위) 디렉터리 생성이 안되거나 notebook이 생성되지 않았다면 (ubuntu 일때) root로 docker는 실행했지만 실제 Zeppelin이 실행되는 Java 프로세스는 사용자 권한으로 실행되므로 위에서 지정한 logs, notebook, .git 3가지를 해당 사용자로 생성하고 소유권을 변경해도 된다.

  이제 http://localhost:8080으로 접속하면 아래와 같은 화면이 나올것이다.

MySQL 연결하기..

  이제 MySQL을 연결해볼 차례다. 아래의 링크에 가면 Zeppelin 공식 페이제에서 각 DBMS 연결 방법이 설명되고 있다. 이번에는 jdbc를 이용하여 연결해 보도록 하겠다.

  참고로 Zeppelin은 postgresql 만 기본적으로 드라이버가 포함되어 배포되고 나머지는 모두 사용자가 다운로드 해서 interpreter 디렉터리 하위에 복사해서 넣어주어야만 한다. 하지만 Docker 이미지로 설치를 했기 때문에 Docker에 이를 넣어주기가 ..... 물론 불가능하지는 않다. 여러가지 방법이 있으니 시도해 보고자 하는분은 시도해 보시기 바랍니다. (귀차니즘에 입각하여 간단한 방법을.. ^^)

  우선 mysql-connector.jar 파일을 다운로드 한다. 그런 다음 위에서 docker 명령어를 수행했던 디렉터리로 간다. 내가 설치한 디렉터리는 /opt/zeppelin에서 실행하였다. 실행시 PWD를 변수로 받아서 notebook을 /notebook으로 맵핑 시켜 두었기 때문에 아래와 같이 /opt/zeppelin/notebook/mysql-connector-java-8.0.21.jar를 복사해 준다.

환경 변수 설정하기

  이제는 interpreter를 추가해줄 차례다. Zeppelin의 interpreter메뉴로 가서 신규로 생성을 눌러 새로 interpreter를 만든다. 그 때 템플릿은 jdbc를 선택하면 기본적인 필드가 나온다. 많은 필드중에서 아래의 몇가지 필드만 수정한다.

   default.url -> jdbc:mysql://localhost:3306/   
   default.user -> 사용자명   
   default.password -> 비밀번호   
   default.driver -> com.mysql.jdbc.Driver

  4가지만 기본적으로 설정하면 된다. 추가적인 mysql 접속 설정은 필요한 경우 하면 된다.

  이제 interpreter 하위에 Dependencies 부분에 추가한 디렉터리 위치를 넣어주어야 한다. 실제 파일이 위치한 경로는 /opt/zeppelin/notebook 이지만 실행시 맵핑을 해두었으므로 이미지상에서는 /notebook 으로 적어주면 된다.

  위와 같이 추가해준 다음 저장을 하고 이제 새로운 note를 생성한 다음 아래와 같이 쿼리를 내려 본다.

%interpreterName
select now()

  % 다만 위의 방법을 사용할 경우 docker 컨테이너를 재실행 시켜 줄 경우 노트북 파일과 드라이버 파일은 그대로 남지만 interpreter가 리셋되는 단점이 있다. 이 부분의 보완이 필요하다.

zeppelin.apache.org/docs/latest/interpreter/jdbc.html

  맥에서 syslog 데몬을 통해서 발생하는 syslog를 UDP 514로 전송할 수 있다.

1. /etc/syslog.conf 에 아래의 라인을 추가한다.

*.*        @10.10.10.5

2. syslog 데몬 재시작

launchctl stop com.apple.syslogd

launchctl start com.apple.syslogd

이제 해당 목적지 서버로 로그가 전송되는것을 확인할수 있다.

from datetime import datetime

# return : string '2020-03-01'
def gettoday():
    today = datetime.today().strftime("%Y-%m-%d")
    return today

# start_date : string  '2020-03-01'
# end_date : string  '2020-03-04'
# return : int  : 3
def get_datediff(start_date, end_date):
    betday = datetime.strptime(end_date,"%Y-%m-%d").date() - datetime.strptime(start_date,"%Y-%m-%d").date()
    return betday.days


if __name__ == "__main__":
    print(gettoday() )
    betday = get_datediff( '2020-03-01' , gettoday() )
    print( betday )

  간단하게 파이선으로 오늘 날짜를 구하고 두개 날짜의 차이를 구하는 함수

  날짜로 배치작업을 돌려야 할때 요긴하게 사용가능해 보인다. 다른 방법도 많지만.. 

#간단한게 가장 좋다.