서버 구축·실습21 GCP Dataflow 템플릿으로 CSV 데이터를 BigQuery에 실시간 적재하는 방법 이 글은 GCP Dataflow 실습을 처음 수행하는 수강생을 위한 기록입니다.Cloud Storage의 CSV 데이터를 어떻게 BigQuery까지 실시간처럼 연결하는지 흐름이 막히는 문제를 해결합니다.이 글을 통해 Dataflow 템플릿 기반 스트리밍 파이프라인을 직접 구현할 수 있습니다.핵심 질문Cloud Storage의 CSV 데이터를 Dataflow로 BigQuery에 실시간 적재하려면 어떻게 해야 하는가?실습 환경Cloud: GCPRegion: us-central1Runtime: Cloud ShellDB: BigQuery (taxirides.realtime)Worker: 1 (Max 2)Machine: e2-medium아키텍처아래는 전체 데이터 흐름 구조입니다.Cloud Storage → Dat.. 2026. 3. 22. GCP BigQuery 공개 데이터셋 실습: Public Dataset 조회부터 커스텀 테이블 생성까지 이 글은 Google Cloud BigQuery 실습을 처음 수행하는 수강생을 위한 글입니다. 공개 데이터셋은 조회했지만, 내 파일을 올려 별도 테이블까지 만드는 흐름이 헷갈리는 분을 대상으로 합니다. 이 글을 끝까지 따라오면 공개 데이터 조회 → dataset 생성 → CSV 업로드 → SQL 결과 확인까지 한 번에 정리할 수 있습니다. 이 글의 질문BigQuery에서 공개 데이터셋을 조회하고, 직접 업로드한 CSV를 테이블로 만들어 쿼리하려면 어떻게 해야 하는가?실습 환경Cloud: Google Cloud Platform(GCP)서비스: BigQuery실행 위치: BigQuery ConsolePublic Dataset: bigquery-public-data.usa_names.usa_1910_2013사.. 2026. 3. 22. Azure VM에서 OpenAI API를 안전하게 연결해 AI 챗봇을 완성하는 방법 Azure VM 2대로 FE/BE를 분리하고 OpenAI API를 안전하게 연결해 AI 챗봇을 완성하는 전 과정을 정리했습니다. API Key 보호 구조, NSG 포트 설정, IIS Reverse Proxy, Node.js 서버 구성, PM2 배포까지 단계별로 설명합니다.1. 실습 목적 — 이 글이 다루는 범위AI 챗봇을 만드는 방법은 많다. 하지만 대부분의 입문 예제는 "작동하는 것"에만 집중하고, 실제 서비스 환경에서 필요한 보안 구조를 다루지 않는다.이번 실습의 목표는 다음과 같다.Azure에서 VM 2대(FE / BE)를 분리해 역할별 서버 구조 구성하기OpenAI API Key를 브라우저에 노출하지 않고 서버에서만 관리하기Azure 콘솔에서 OpenAI 리소스를 생성하고 모델을 배포하는 절차 이.. 2026. 3. 2. Azure 부하분산기 실습 — 새로고침할 때마다 서버1, 서버2가 번갈아 나오는 구조 직접 만들어봤다 오늘 실습 목표는 하나였다. 브라우저에서 ALB 공인 IP로 접속하고 새로고침을 누를 때마다 "서버1 작동중"과 "서버2 작동중"이 번갈아 나오게 만드는 것. 이게 되면 부하분산이 실제로 동작한다는 증거다.AWS 실습 때 ALB를 배웠는데, Azure는 구성 방식이 달랐다. 특히 가용성 집합(Availability Set) 개념이 AWS의 Auto Scaling Group이랑 다르게 동작해서 처음엔 헷갈렸다. 실습 순서대로 기록한다.전체 실습 구조시작 전에 전체 흐름을 먼저 그려놨다.리소스를 만드는 순서가 중요하다. 의존성이 있어서 순서가 틀리면 중간에 막힌다. 오늘 실습에서 정리한 순서:실습 진행 순서1. Resource Group 생성2. VNet + 서브넷 생성3. 가용성 집합(Availabilit.. 2026. 2. 23. Azure 첫 실습 — AWS만 하던 사람이 느낀 충격적인 차이점 오늘 처음으로 Azure 실습을 했다. 솔직히 "AWS랑 비슷하겠지, 이름만 다르겠지"라고 생각했다. 근데 콘솔 켜자마자 첫 번째 당황이 왔다. 뭘 먼저 만들어야 하는지 메뉴가 너무 흩어져 있었다.AWS는 VPC 들어가면 서브넷, IGW, 라우팅 테이블이 왼쪽 사이드바에 순서대로 있다. Azure는 검색창에 직접 쳐야 한다. Virtual Network인지 VNet인지도 처음엔 헷갈렸다. 메뉴 구조 익히는 데만 20분 걸렸다.근데 실습 끝나고 나서는 생각이 달라졌다. 불편한 게 아니라 설계 철학 자체가 달랐다. 오늘 만든 구조강사님이 제시한 실습 구조는 이랬다.Resource Group: rg-practice-01└── VNet: vnet-main (10.20.0.0/16) ├── Public Su.. 2026. 2. 19. 리눅스 FTP 서버 구축 실습 정리 – 사용자 권한 설계부터 보안 사고 대응 관점까지 리눅스 FTP 서버 구축 실습 정리 사용자 권한 설계부터 보안 사고 대응 관점까지멀티클라우드 환경을 배우면서 느낀 점은 하나였다. 서버를 다룬다는 것은 명령어를 아는 것이 아니라, 운영 사고를 이해하는 일이라는 것이다.이번 글에서는 리눅스 서버에서 FTP(vsftpd)를 구성하면서 단순히 “접속되게 만드는 것”이 아니라, 사용자 권한을 어떻게 나누는지, 왜 익명 접속을 막아야 하는지, 관리자는 왜 예외로 두는지, 그리고 이 설정이 언제 어떻게 깨질 수 있는지까지 함께 정리해본다.1. 실습 환경과 목표실습 환경OS: Rocky Linux (RHEL 계열)FTP 서버: vsftpd인증 방식: 리눅스 로컬 사용자(PAM)목표 구성익명 FTP 접속 불가일반 사용자는 홈 디렉토리만 접근 가능특정 사용자(charl.. 2026. 1. 26. 이전 1 2 3 4 다음
