본문 바로가기

분류 전체보기

 (152)
[Trend] 국내 개발자 동향 (feat. Programmers) https://programmers.co.kr/pages/dev-survey-2019#job-experience 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr https://programmers.co.kr/pages/dev-survey-2020#developer-tech-stack-codereview 프로그래머스 코드 중심의 개발자 채용. 스택 기반의 포지션 매칭. 프로그래머스의 개발자 맞춤형 프로필을 등록하고, 나와 기술 궁합이 잘 맞는 기업들을 매칭 받으세요. programmers.co.kr
[AWS] AWS Lightsail Laravel 배포 - ssh1 sudo passwd root sudo nano /etc/ssh/sshd_config PermitRootLogin prohibit-password PasswordAuthentication no PermitRootLogin yes PasswordAuthentication yes sudo service sshd restart apt-get update apt-get install nginx apt-get update && sudo apt-get upgrade UTF-8 선택 Keep the local version currently installed 선택 sudo add-apt-repository ppa:ondrej/php sudo apt-get update sudo apt-get install php7.3..
[GCP] 6-2. Quantization using Spark SQL - 들어가기 전에 - 이번에는 빅쿼리를 이용해서 개별성 검사를 진행해보도록 하겠다. 데이터 셋이 개별적인지 판단하는 일을 하는 이유는, 이전에 소개한 베이즈 분류에서 각 빈에서 지연된 항공편의 비율을 계산해야 하는데 이 이전에 지연과 거리라는 개념을 양자화 하는 방법을 결정해야하기 때문이다. 클라우드 데이터프록에 실행중인 노트북에서 빅쿼리를 호출할 수 있다. dataproc과 관련된 내용은 미흡한 부분이 있어, ssh가 아닌, GCP에서 실습을 이어간다. dataproc은 책에 소개된 내용과는 다른 방법으로 이어 설명을 하도록 하겠다. datalab에 레퍼지토리를 먼저 클론하자. !git clone https://github.com/GoogleCloudPlat..
[GCP] 6-1. Dataproc cluster, bayes classification 6장에서 배울 내용은 항공편의 도착지연을 예측하기 위한 베이지안 모델을 생성해서 데이터 과학의 다음 단계를 다루는 일이다. 빅쿼리, 스파크 SQL, 아파치 피그(Apache Pig)를 통합하는 워크플로우로 이를 진행한다. 또한 클라우드 데이터 프록(Cloud Dataproc)을 이용해 지정된 하둡 클러스터를 생성하고, 크기를 조정하고 삭제하는 방법도 배운다. 머신 클러스터에서 대용량 데이터셋은 어떻게 처리할 수 있을까? 책에서는 제프 딘(Jeff Dean)과 산자이 게마왓(Sanjay Ghemawat)의 논문에서 소개된 맵리듀스 방식을 소개하고 있다. 맵리듀스 방식에 대해 알아보자. - 맵리듀스 - 큰 크기의 문서들이 있고, 이 문서들에서 단어의 빈도를 계산..
[Flutter] 기초 지식 import 'package:flutter/material.dart'; void main() => runApp(MyApp()); // 메인이 시작점이며 MyApp()을 호출하는 것이다. class MyApp extends StatelessWidget { // flutter는 모두 위젯으로서 작동하게 된다. // This widget is the root of your application. @override Widget build(BuildContext context) { // build 함수가 Material APP을 리턴 return MaterialApp( // 안드로이드의 material design을 가져온 것이다. title: 'Flutter Demo', t..
[Flutter] 설치과정 간단요약 ※ 안드로이드 스튜디오가 기본적으로 설칙되어 있는 환경을 기준으로 한다. 1. flutter.io에 접속해서 각자의 운영체제에 맞는 파일 다운로드. 2. 원하는 위치에 압축파일 해제 3. 해당 폴더의 위치를 PATH등록 4. android studio 초기화면에서 configure->plugins에 들어간다. 5. flutter을 설치해주고 cmd에서 flutter doctor 명령어를 친다. 라이센스 관련 명령어가 toolchain에 뜰 수도 있는데, 해당 명령어를 타이핑 해서 라이센스 인증을 전부 'y'하면 아래처럼 초록색 체크표시로 변한다. 6. 그 다음 andorid studio를 열어보면 다음과 같이 flutter가 추가되어 있는 것을 볼 수 있다.
[Quant] 기술통계학(요약 통계량) 퀀트는 금융에 수리통계학적 알고리즘 기법을 적용시킬 줄 알아야 한다. 이를 위한 기본지식이 바로 기술통계학 지식이다. 기술통계학(description statistics)은 자료를 요약,정리하여 전체적인 특성을 파악하고 해석하기 위해 사용하는 통계기법으로 가장 기초가 되는 개념으로는 중고등학교 수학시간에 배우던 평균,중앙값,최빈값,분산,표준편자등이 있다. 파이썬, 금융과 관련해 내용들을 정리하기로 한다. - 산술평균 (이동평균선) - 수학과 통계학에서 산술 평균(算術平均, arithmetic mean)은 주어진 수의 합을 수의 개수로 나눈 값이다. 이 산술평균은 주식에서 이동평균선(MA: moving average)의 의미를 갖는다. 예를 들어 수식에서 n=5라면 위에 보이는 그..
[GCP] 5-3. Data refining & model eval - 이상치(outlier) 확인 - 클라우드 데이터랩으로 쿼리를 계속 작성할 수 있다. 하지만 빅쿼리 콘솔에서 쿼리문을 작성하면 즉각적인 피드백을 얻을 수 있으므로 빅 쿼리로 접속해 해당 쿼리문을 입력해 보자. 출발지연시간에 따른 항공편 숫자와 도착지연 평균을 나타낸다. select DEP_DELAY, AVG(ARR_DELAY) AS arrival_delay, COUNT(ARR_DELAY) AS numflights from flights.tzcorr group by DEP_DELAY order by DEP_DELAY 두번째 행을 살펴보면 82분이나 먼저 출발한 항공편도 있다. 이런 소수의 데이터까지 포함시켜 통계에 혼란을 줄 필요가 있을까? 이런 이상값들로 통계 모델링을 혼란스..
[GCP] 5-2. Cloud Data LAB Cloud Data LAB은 Google Cloud Platform에서 Jupyter notebook을 호스팅된 버전으로 제공한다. 이미 플랫폼에 인증이 되어 있으므로, 클라우드 스토리지, 빅쿼리, 데이터 플로우, 클라우드 ML 엔진 등에 쉽게 접근할 수 있다. 다음 내용은 구글 컴퓨트 엔진 인스턴스에서 클라우드 데이터 랩을 실행하고, 로컬 머신에서 접속하는 방법을 설명한다. 0. 제일 먼저 관련 api 설정을 해 주어야 만사가 평안하다... 아래의 사진에 보이는 Cloud Source Repositories API를 사용설정을 통해 인증해 주고 시작한다. 1. Cloud Shell에 영역 지정, 인스턴스명 지정, 인스턴스 생성 datalab create --zo..
[GCP] 5-1. Bigquery, Data Loading EDA( Exploratory Data Analysis, 탐색적 데이터 분석 )이라는 것은 데이터셋에 대한 통찰력을 발전시키고, 견고한 통계모델을 개발할 수 있는 접근법으로 존 투기( John W. Tukey )에 의해 만들어졌다. EDA는 다음과 같은 5가지 조건을 만족하는 그래프를 작성해야 한다. 그래프 전체를 뒷받침하는 기본 가정( ex> 특정 값이 항상 존재할 것이다. or 특정 범위에 값이 항상 존재할 것이다. )을 평가해야 한다. 중요한 변수를 식별하기 위해 직감과 논리를 사용해야 한다. 데이터의 하부 구조를 찾아야 한다. 여기서 하부 구조란 중요한 변수와 특정한 통계적 패턴으로 들어간 데이터와 같은 상황 사이의 관계 등을 말한다. 간략한 모델을 개발해야 한다. 특이..

티스토리툴바