Content Collector

ローカルAI自動パイプライン — 散在する技術情報を毎日のダイジェストに

PythonPostgreSQLOllamaGeminiLINE

Overview

ローカルAI処理による自動コンテンツパイプライン。 GitHub、Reddit、Threadsなど複数ソースのテックコンテンツをローカルAIパイプラインで処理。埋め込み、分類、クラスタリング、要約。生コンテンツから日次編集ダイジェストへの変換。 Ollama+無料APIによる全処理のローカル実行。PostgreSQL+pgvectorに構造化データ保存。セマンティック検索内蔵。

Features

📡

マルチソース収集

RSS・Reddit・Threads — 一つのパイプラインで収集・正規化

🤖

ローカルAI分類

Qwen3 14Bオンデバイス — 関連度判定、トピックラベリング、優先度ランキング

🧲

ベクトル埋め込み検索

BGE-M3 + pgvector — 高速な意味ベース類似検索と再発見

📊

デイリーダイジェスト

Gemini編集要約 — LINEメッセージ + 詳細HTMLレポート

月額ゼロ運用

ローカルMac Mini、オープンモデル、無料API — 固定インフラ費用なし

🔔

リアルタイムアラート

優先度の高いシグナル検知で即時通知 — 数時間後ではなく、その場で

Architecture

Stack

🐍Python 3.12
🐘PostgreSQL 17
🧮pgvector
🦙Ollama
🤖Qwen3 14B
🔤BGE-M3
Gemini 2.5 Flash
📱LINE API
🤖Telegram Bot API
🐳Docker Compose
LaunchAgent
🎭Playwright