Content Collector

로컬 AI 자동 파이프라인 — 흩어진 테크 소스, 하루 한 장으로

PythonPostgreSQLOllamaGeminiLINE

Overview

GitHub, Reddit, Threads — 여러 소스의 테크 콘텐츠를 수집하고 로컬 AI로 처리. 임베딩, 분류, 클러스터링, 요약. 원시 콘텐츠에서 매일 편집된 다이제스트로. Ollama + 무료 API 기반 전부 로컬 실행. PostgreSQL + pgvector 구조화 저장. 시맨틱 검색 내장.

Features

📡

멀티 소스 수집

RSS, Reddit, Threads — 한 파이프라인으로 수집·정규화

🤖

로컬 AI 분류

Qwen3 14B 온디바이스 — 관련도 판별, 토픽 라벨링, 우선순위 랭킹

🧲

벡터 임베딩 검색

BGE-M3 + pgvector — 의미 기반 유사 검색과 주제 추적

📊

데일리 다이제스트

Gemini 편집 요약 — LINE 메시지 + 상세 HTML 리포트

월 비용 0원

로컬 Mac Mini, 오픈 모델, 무료 API — 고정 인프라 비용 없음

🔔

실시간 알림

우선순위 높은 신호 감지 즉시 알림 — 몇 시간 뒤가 아니라 바로

Architecture

Stack

🐍Python 3.12
🐘PostgreSQL 17
🧮pgvector
🦙Ollama
🤖Qwen3 14B
🔤BGE-M3
Gemini 2.5 Flash
📱LINE API
🤖Telegram Bot API
🐳Docker Compose
LaunchAgent
🎭Playwright