본문 바로가기

[Data Engineering]/[Gloud-GCP]

(13)
[GCP] 2-2. Periodic scheduling, flask web application 아래에 보이는 코드는 ingest_flights.py의 전체 코드이다. 2장의 실습에 핵심적인 내용을 포함하고 있으며, 관련 주석으로 부족한 코드 설명을 보완함을 밝힌다. (일일이 코드를 분석,설명해주는 것은 이 포스팅의 목적이 아니다.) 이어서 나오는 사진은 Cloud-Shell에서 ingest_flights.py를 실행시킨 모습이다. #!/usr/bin/env python # Copyright 2016 Google Inc. # # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file..
[GCP] 2-1. Fixed Data-set scheduling 비행 도착시간이 15분 지연될 가능성을 알아보려면 모델링을 해야하고, 이를 위해서는 과거의 수많은 항공편에 대한 데이터들이 필요하다. 미 교통 통계국(BTS)에서는 이에 필요한 항공데이터를 충실히 제공하고 있다. 이유는 항공편이 정시에 운행되는지 감시하고, 항공사들이 책무에 충실하게끔 하려는 목적이라고 한다;; 아무튼 미 교통 통계국(https://www.bts.gov/topics/airlines-and-airports/airline-information-download)에서는 미국의 모든 주요 항공사들의 통계자료를 '레이블'로 제공하고 있다. BTS에 수집된 데이터들은 매우 상세하고 신뢰할만 하며 데이터 수집 표준을 작성할 때 모델로서 사용할 만 하다. 항공사들은..
[GCP] 1. Introduction 겨울방학을 맞아 DSC(https://developers.google.com/community/dsc) 활동으로 'GCP를 이용한 데이터 과학' 이란 주제로 스터디를 진행하기로 하였다. 관련 도서로는 'Valliappa Lakshmanan의 Data Science on the Google Cloud Platform'을 선택했다. 이번 포스팅은 GCP를 Data-sciecne에 어떻게 사용하였는지를 살펴보고 스터디한 내용을 개인적으로 정리하는 목적으로 올리게 되었다. " 데이처 분석의 주요 목적은 의사 결정을 돕는 것이다 " 그림 1-2를 보면 이 책에서 확률론적 의사결정에 데이터과학을 어떤 식으로 접목시키려 하는지 알 수 있다. ( 솔직히 하다보면 이렇게..