역전파(Backpropagation)의 개념, 왜 계산하는지, 그리고 손실 함수를 줄이는 방향으로의 파라미터 업데이트 규칙을 정리했습니다. 역전파는 연쇄법칙을 반복 적용하여 최종 스칼라 손실 \(L\)의 기울기를 입력과 매개변수에 대해 계산하는 방법입니다. 신경망 학습에서 \(L\)을 가중치 \((W, b)\)에 대해 미분하여 경사하강법으로 업데이트...

ML은 빅데이터의 성장과 맞물려 있습니다. 대규모 데이터 시스템은 복잡하며 표준과 도구가 빠르게 변합니다. 이 글은 데이터 소스 → 데이터 포맷/저장 방식 → 데이터 모델(관계형·NoSQL) 순서로 기초를 정리하여, 실무에서 흔히 마주치는 선택지를 이해하도록 돕습니다. 프로세스 간 데이터 전달 방식과 배치/스트림 처리의 구분은 후속 글에서 다룹니다. ...

이 문서는 MacOS 환경에서 Apache Airflow를 설치하고, 기본 프로세스 실행 방식과 이메일 알림(SMTP) 설정 과정을 정리한 문서입니다. 특히 Airflow 3.x 버전 기준으로 api-server, scheduler, dag-processor 3가지 프로세스를 실행해야 하는 이유와, DAG 실패 시 이메일 알림이 오도록 설정하는 과정을...

Linear Classification은 입력 데이터와 weight의 곱으로 점수를 계산하는 방식입니다. 공식은 s = Wx 입니다. 예를 들어 CIFAR-10 이미지 분류 문제에서는 입력 x 가 [3072 × 1] 크기의 벡터이고, weight W 는 [10 × 3072] 크기를 가지며, 출력 s 는 10개의 class score로 나타납니다. ...

Apache Airflow는 코드(Python)로 워크플로우를 정의하고 스케줄, 실행, 모니터링하는 오케스트레이션 플랫폼입니다. 데이터 파이프라인, 모델 학습 배치, ETL/ELT, 주기적 백오피스 작업 등에 적합합니다. Airflow는 작업 간 의존성(Dependency) 을 명시하고, 재시도/에러 처리/알림/로그를 표준화하며, UI 기반 모니터링...

이 문서는 《Designing Machine Learning Systems》 책의 내용을 요약한 것입니다. 당신은 밀레니얼 세대를 타깃으로 하는 은행의 ML 엔지니어링 기술 리드라고 상상해봅니다. 어느 날, 상사가 경쟁 은행이 ML을 이용해 고객 서비스 지원을 두 배 빠르게 처리한다는 소식을 듣습니다. 그는 당신의 팀에게도 ML을 이용해 고객 서비...

머신러닝 시스템은 단순히 모델만을 개발하는 것이 아니라, 비즈니스 목표, 데이터, 인프라, 배포, 모니터링 등 다양한 요소가 유기적으로 결합되어야 합니다. 머신러닝 시스템 설계의 핵심 요소와 요구사항, 그리고 반복적 개발 프로세스를 정리했습니다. 1. 비즈니스와 ML 목표 머신러닝 시스템을 개발하기 전에 가장 먼저 고려해야 할 것은 왜 이 시...

오늘 수업에서는 이미지 분류(Image Classification) 문제를 예시로 하여, 모델 학습에서 중요한 세 가지 핵심 요소를 다루었습니다. Score Function 입력된 이미지 픽셀을 클래스 점수로 변환합니다. 예시: 선형 함수 \(f(x_i, W) = W x_i\) Loss Func...

이미지 분류(Image Classification)는 컴퓨터 비전의 핵심 과제 중 하나입니다. 단순히 이미지를 보고 무엇인지 맞히는 것처럼 보이지만, 컴퓨터 입장에서는 수십만 개의 픽셀 숫자를 해석해야 합니다. 기본적인 이미지 분류 개념과 kNN → 5-NN 확장 선형 분류기(Linear Classifier)와 Bias Trick, 전처리...

행렬을 벡터에 곱하면 보통 방향이 바뀝니다. 하지만 특별한 벡터들은 방향이 그대로 유지되면서, 길이만 일정 비율로 변합니다. 이 벡터를 고유벡터(eigenvector), 그 비율을 고유값(eigenvalue) 라고 합니다. 1. 기본 정의 [Ax = \lambda x] \(A\): \(n \times n\) 정방행렬 \(x\): ei...

출처: 사이토 고키, 『밑바닥부터 시작하는 딥러닝』 (2017) 본 문서는 4장: 신경망 학습의 내용을 정리한 것입니다. 딥러닝 모델을 사용하려면 반드시 학습 과정을 거쳐야 합니다. 학습이란 훈련 데이터로부터 가중치와 편향 같은 매개변수의 최적값을 자동으로 찾아내는 과정을 의미합니다. 이때 모델이 올바르게 학습하도록 이끌어주는 것이 바로 손실 함수...

운영체제 정리 (정보처리기사) 1. 운영체제의 개요 운영체제(OS, Operating System) 하드웨어 자원을 효율적으로 관리하고 사용자가 컴퓨터를 편리하게 사용할 수 있도록 환경을 제공하는 시스템 소프트웨어. 응용 프로그램과 하드웨어 사이에서 인터페이스와 자원 관리자 역할 수행. 목표 (성능평가 기준) ...

Gilbert Strang의 선형대수학 11강 강의 내용을 바탕으로, 정리한 글입니다. 행렬 공간의 개념을 확장하고, 부분 공간의 차원 계산, 랭크 1 행렬의 의미, 그리고 스몰 월드 그래프를 다룹니다. Matrix as a Vector Space 📐 행렬(matrix)도 벡터(vector)가 될 수 있다는 아이디어에서 시작합니다. 벡터 공...

이 책 (Designing Machine Learning Systems) 을 요약 정리한 내용입니다. 2016년 11월, 구글은 자사의 다국어 신경망 기계번역 시스템을 Google Translate에 적용했다고 발표했는데, 이는 대규모 실제 서비스 환경에서 딥러닝 인공신경망이 성공적으로 활용된 최초의 사례 중 하나였습니다. 구글에 따르면, 이 업데...

ICD-Coding 프로젝트를 쿠버네티스 환경에서 실행하기 위한 Deployment, Service, Job manifest 예시와 설정 방법을 정리하였습니다. 1. Deployment GPU 자원을 활용하여 SSH 접속 가능한 컨테이너를 띄우기 위한 설정입니다. apiVersion: apps/v1 kind: Deployment metadat...

GPU 기반 딥러닝 프로젝트를 위해서는 CUDA, cuDNN, PyTorch GPU wheel, 그리고 프로젝트 환경을 손쉽게 관리할 수 있는 Conda가 필요합니다. 아래에서는 NVIDIA 공식 CUDA 런타임 이미지를 베이스로, Conda 환경을 만들고 GPU용 PyTorch를 설치한 뒤 Harbor 레지스트리에 푸시하여 리눅스 GPU 서버에서 실...

Python에서는 동시성(concurrency)과 병렬성(parallelism)이 필수입니다. 데이터 처리량이 커지고, 네트워크나 파일 입출력(I/O)을 동반한 작업이 많아지면서 순차 실행만으로는 프로그램의 응답성과 처리 속도에 한계가 있습니다. 본 글에서는 반복 가능한 객체를 만드는 제너레이터와 코루틴, concurrent.futures (Thr...

파이썬에서는 함수가 일급 객체입니다. 함수를 변수에 담고, 다른 함수에 전달하며, 실행 결과로 반환할 수 있습니다. 이러한 특징은 higher‑order function, closure 개념으로 이어집니다. 함수는 일급 객체다 특징 설명 예제 코드 스니펫 ...

HTTP는 성능 병목을 해결하기 위해 노력해왔습니다. 주요 문제 중 하나는 HOL(Head‑of‑Line) Blocking이며, HTTP/3는 QUIC 위에서 이 문제를 완화하는 것을 목표로 설계되었습니다. 본 문서는 HOL blocking의 개념을 정리하고, HTTP/1.1→HTTP/2→HTTP/3로 이어지는 해결 전략과 HTTP/3만의 고...

객체지향이 필요한 이유는 데이터(상태)와 행동(기능)을 하나로 묶어, 코드의 재사용성과 유지보수성을 높이기 위해서입니다. 이 과정에서 다음 개념들이 등장합니다: 클래스 변수 / 인스턴스 변수 — 모든 객체가 공유하는 값과, 각 객체가 개별로 가지는 값을 구분합니다. 인스턴스 메서드 / 클래스 메서드 / 정적 메서드 — 객체의 상태를 다루는...

현대 애플리케이션은 다중 서비스(예: Flask + Elasticsearch)로 구성되는 경우가 많습니다. 각 서비스를 배포하고 실행하려면 다음 세 가지가 필수입니다. 도구 핵심 역할 얻는 이점 Dockerfile 애플리케이션과 모든 의존성을 이미지 로...

Python에서 Descriptor는 ‘속성(attribute) 접근을 가로채서 원하는 로직을 실행’하도록 해 주는 저수준(low-level) 메커니즘입니다. 다음과 같은 상황이라면 property 만으로는 반복‧재사용이 불편하거나 기능이 부족합니다. 여러 클래스에서 동일한 속성 로직을 재사용하고 싶을 때 ORM, 캐싱, 로깅 (DB 조회,...

메타클래스(Metaclass) 개념을 정리했습니다. type, __new__, __init__, __call__의 실행 순서와 역할을 정리했습니다. 1. 메타클래스란? 구분 정의 클래스(Class) 객체(인스턴스)를 찍어내는 설계도 ...

Python 객체지향(OOP) 개념을 정리하였습니다. @property, *args, **kwargs, 메서드 오버로딩, 다중 디스패치, 상속 구조 등 자주 쓰이는 핵심 내용을 간단한 설명과 예제 중심으로 담았습니다. 1. @property vs Getter/Setter 캡슐화 목적은 동일하지만, Python에서는 메서드를 속성처럼 노출해 사용...

Python 문법인 데코레이터(Decorator), 제너레이터(Generator), 그리고 with 문에서 사용하는 컨텍스트 매니저(Context Manager) 개념을 정리합니다. Python에서는 리소스를 열고 사용하는 과정을 안전하게 처리하기 위해 with 문을 사용합니다. 이 흐름을 효과적으로 구성하기 위해 yield, enter, exit ...

Docker는 프로그램을 어떤 컴퓨터에서도 에러 없이 설치하고 실행할 수 있도록 돕는 도구입니다. 복잡한 설치 과정이나 운영체제, 버전 차이로 인한 문제를 해결합니다. 설치를 간편하게 하고, 항상 일관된 환경을 제공합니다. 또한 프로그램 간 충돌 없이 독립적으로 실행할 수 있도록 합니다. Docker란? 위키피디아는 Docker를 다음과 같이 정의...

자바 프로그램 개발 시 예외 상황을 올바르게 관리해야 합니다. 본 글에서는 자바의 예외 계층 구조, 체크 예외와 언체크 예외의 차이, 공통 예외 처리 방법에 대해 알아보겠습니다. 자바 예외 계층 구조 자바에서 예외는 객체로 다루어집니다. Throwable을 최상위로 하여 Error와 Exception 두 가지로 분류됩니다. graph TB ...

소프트웨어를 개발하다 보면 상태(state) 나 카테고리(category) 를 문자열(String)로 표현하는 경우가 흔합니다. 예를 들어 회원 등급을 “BASIC”, “GOLD”, “DIAMOND” 같은 문자열로 다루는 경우를 말합니다. 이 방식은 오타나 잘못된 입력을 컴파일 단계에서 걸러낼 수 없다는 단점이 있습니다 본 글에서는 문자열 기반 ...

인터넷이 대중화되고 웹 애플리케이션이 복잡해짐에 따라, 더 빠르고 효율적인 통신 프로토콜에 대한 수요가 늘어났습니다. 전통적으로 사용되던 HTTP/1.1 프로토콜은 단순성과 호환성이 뛰어났지만, 오늘날과 같은 방대한 데이터를 처리하는 데 한계를 보였습니다. 이러한 문제점을 해결하기 위해 등장한 것이 HTTP/2입니다. 특히 HTTP/1.1에서 발생하던...

컴퓨터 구조는 크게 ISA(Instruction Set Architecture)와 Machine Organization으로 구분하여 살펴볼 수 있습니다. ISA는 컴퓨터가 이해하고 실행할 수 있는 명령어와 데이터를 어떻게 정의하고 처리하는지 다루며, Machine Organization은 이를 실제로 구현하는 하드웨어적 구성 요소와 동작 방식을 다룹니...

소프트웨어 설계에서 역할과 구현을 분리하는 것은 매우 중요합니다. 이 둘을 분리하면, 구현체를 손쉽게 교체할 수 있고 기존 코드를 최소한으로만 수정할 수 있기 때문입니다. 이러한 설계 원칙을 OCP(Open-Closed Principle)라고 부릅니다. Open for extension(확장에는 열려 있음), Closed for modific...

그래프는 노드(정점)와 간선으로 구성된 자료구조로, 다양한 실세계 상황을 모델링하는 데 사용됩니다. 소셜 네트워크, 도로 체계, 컴퓨터 네트워크 등 많은 시스템이 그래프로 표현될 수 있습니다. 그래프 탐색 알고리즘은 이러한 구조를 체계적으로 순회하고 분석하는 방법을 제공합니다. 그래프 표현 방식은 크게 인접 행렬(Adjacency Matrix)과...

Hypertext Transfer Protocol(HTTP)는 클라이언트와 서버 간의 통신 규칙, 프로토콜입니다. 웹 애플리케이션이 발전함에 따라 초기 HTTP 버전의 한계가 나타났습니다. 이는 네트워크 리소스의 비효율적인 사용과 Head-of-Line(HOL) 블로킹 문제입니다. HTTP HOL Blocking Head-of-Line 블로킹에서...

SQL에서 데이터를 다룰 때, 단순한 그룹화와 집계 함수만으로 원하는 결과를 얻기 어려운 경우가 많습니다. 특정 범위 내에서 순위를 매기거나 누적 합을 계산하는 등 보다 정교한 분석이 필요할 때 윈도우 함수(Window Functions)를 사용합니다. 윈도우 함수는 기존의 집계 함수와 달리, GROUP BY 없이도 개별 행을 유지한 상태에서 추가...

JPA (Java Persistent API)는 자바 객체와 관계형 데이터베이스 간의 매핑을 도와줍니다. 이를 통해 SQL 문을 작성하지 않고 객체를 다루는 것처럼 데이터를 관리할 수 있습니다. API 설계 과정에서 엔티티를 직접 사용하는 것은 지양해야 합니다. 엔티티를 API 요청/응답에 그대로 활용하면 다음과 같은 문제가 발생합니다. A...

이번 글에서는 Spring MVC의 컨트롤러 기본 기능을 정리해보겠습니다. 기본 기능으로는 요청을 컨트롤러에 매핑하는 기능과 데이터를 주고받는 기능이 있습니다. 아를 위해 @RequestMapping을 비롯한 다양한 매핑 어노테이션과 요청 데이터를 처리하는 방법을 중심으로 살펴보겠습니다. @RequestMapping @RequestMappi...

FrontController pattern Background 웹 애플리케이션에서 사용자의 요청을 처리하는 기본적인 방식은 서블릿(Servlet)을 활용하는 것입니다. 만약 우리가 사용자 요청을 처리하기 위해 각 기능별로 서블릿을 만든다면 어떻게 될까요? 다음과 같은 3가지 요청을 처리하는 애플리케이션을 만들려고 합니다. /users →...

Servlet은 Java 기반의 웹 애플리케이션에서 클라이언트의 요청을 처리하고 응답을 생성하는 Server-side components입니다. 다음은 chatgpt 웹사이트 request 요청입니다. POST /v1/chat/completions HTTP/1.1 Host: https://chatgpt.com Authorization: Bearer ...

Spring이란 Java 기반 오픈소스 웹 Framework입니다. Framework는 Library와 달리 IoC(Inversion of Control)를 통해 코드 변경을 최소화해주고, 다양한 상황에 맞도록 코드 구성을 도와줍니다. Spring을 통해 개발자는 비지니스 로직에 집중하여 효율적으로 개발할 수 있습니다. Spring Framework...