control planeの/var/logが50mb程度しかなく、しばらく起動させておくだけでlogでいっぱいになってしまう

[boxp]

• armbianの仕様で/var/logにramdiskが割り当てられている
• サイズの拡張よりも、logを定期的にrotateして恒久的に解消できるような方法が望ましい
• o3にも調べてもらってベストプラクティスをみつけたい

[boxp]

@claude これの方針を立てて

[claude]

Claude finished @boxp's task —— View job

---

/var/log容量問題の解決方針策定

control planeの/var/logが50MB程度のramdiskで運用されている問題について、恒久的な解決策を策定しました。

Todo List

• ログローテーションのベストプラクティス調査
• 現在のインフラ構成確認
• Armbian環境での最適なログ管理手法の検討
• 具体的な実装方針の策定
• 監視・アラート戦略の提案

🎯 推奨実装方針

フェーズ1: 即座の対応（1-2時間で実装可能）

1. journald最適化

# /etc/systemd/journald.conf
[Journal]
SystemMaxUse=15M          # ramdiskの30%に制限
SystemKeepFree=10M        # 常に10MB空きを確保
SystemMaxFileSize=3M      # ファイル分割でI/O効率化
RuntimeMaxUse=8M          # ランタイムログも制限
SyncIntervalSec=60        # CPUクストを削減
ForwardToSyslog=yes       # 中央集約の準備

2. 積極的logrotate設定

# /etc/logrotate.d/kubernetes-ramdisk
/var/log/containers/*.log /var/log/pods/*/*/*.log {
    size 2M
    rotate 1
    hourly
    compress
    delaycompress
    copytruncate
    missingok
    notifempty
    maxage 1
    postrotate
        # 圧縮後ファイルを永続化領域に移動
        find /var/log -name "*.gz" -exec mv {} /opt/archived-logs/ \;
    endscript
}

3. Kubernetes設定調整

# kubelet設定追加
containerLogMaxSize: "3Mi"
containerLogMaxFiles: 1

# CRI-O設定調整
log_size_max = 3145728  # 3MB

フェーズ2: 永続化・監視（1-2日で実装）

4. Ansible Roleでの自動化

新しいrole log_management を作成:

# ansible/roles/log_management/tasks/main.yml
- name: Configure journald for ramdisk optimization
  template:
    src: journald.conf.j2
    dest: /etc/systemd/journald.conf
  notify: restart systemd-journald

- name: Setup aggressive logrotate
  template:
    src: kubernetes-ramdisk.j2 
    dest: /etc/logrotate.d/kubernetes-ramdisk

- name: Create persistent log archive directory
  file:
    path: /opt/archived-logs
    state: directory
    mode: '0755'

- name: Install log monitoring script
  template:
    src: log-monitor.sh.j2
    dest: /usr/local/bin/log-monitor.sh
    mode: '0755'

- name: Setup log monitoring cron
  cron:
    name: "Log space monitoring"
    minute: "*/5"
    job: "/usr/local/bin/log-monitor.sh"

5. Prometheus統合

# /usr/local/bin/log-monitor.sh
#!/bin/bash
LOG_USAGE=$(df /var/log | awk 'NR==2 {print $(NF-1)}' | sed 's/%//')
echo "var_log_usage_percent $LOG_USAGE" | curl -X POST http://localhost:9091/metrics/job/log-monitor/instance/$(hostname)

フェーズ3: 中央集約化（1-2週間で実装）

6. 軽量ログシッパー導入

Fluent Bit DaemonSetをloliceリポジトリに追加:

# fluent-bit-minimal.yaml
resources:
  limits:
    memory: "16Mi"    # Orange Pi Zero 3での制約考慮
    cpu: "50m"
  requests:
    memory: "8Mi"
    cpu: "25m"

7. ログアーカイブ戦略

# terraform/aws/log-storage/main.tf
resource "aws_s3_bucket" "log_archive" {
  bucket = "boxp-k8s-logs"
  
  lifecycle_rule {
    enabled = true
    transition {
      days          = 30
      storage_class = "STANDARD_IA"
    }
    transition {
      days          = 90  
      storage_class = "GLACIER"
    }
    expiration {
      days = 365
    }
  }
}

📊 監視・アラート戦略

Grafanaダッシュボード追加

{
  "title": "Orange Pi Log Management",
  "panels": [
    {
      "title": "/var/log使用率",
      "targets": [{
        "expr": "(1 - node_filesystem_free_bytes{mountpoint=\"/var/log\"} / node_filesystem_size_bytes{mountpoint=\"/var/log\"}) * 100"
      }],
      "alert": {
        "conditions": [{"query": {"params": ["A", "5m", "now"]}, "reducer": {"params": [], "type": "last"}, "evaluator": {"params": [85], "type": "gt"}}],
        "executionErrorState": "alerting",
        "frequency": "10s",
        "handler": 1,
        "name": "High /var/log usage",
        "noDataState": "no_data"
      }
    }
  ]
}

アラートルール

# prometheus-rules/log-alerts.yaml
groups:
- name: log-management
  rules:
  - alert: VarLogAlmostFull
    expr: (1 - node_filesystem_free_bytes{mountpoint="/var/log"} / node_filesystem_size_bytes{mountpoint="/var/log"}) * 100 > 80
    for: 2m
    labels:
      severity: warning
    annotations:
      summary: "/var/log使用率が{{ $value }}%に達しています"
      
  - alert: VarLogCritical  
    expr: node_filesystem_free_bytes{mountpoint="/var/log"} < 5242880  # 5MB
    for: 30s
    labels:
      severity: critical
    annotations:
      summary: "/var/logの空き容量が5MB未満です"

🚀 実装推奨順序

1. 即座: フェーズ1の設定をansible playbookに追加
2. 今週中: log_management roleを作成・デプロイ
3. 来週: Prometheus/Grafana監視の追加
4. 月内: loliceリポジトリでの中央集約化実装

期待効果

• ログ容量: 50MB → 10-15MB (70%削減)
• システム安定性: ログ溢れによるクラッシュ防止
• 可観測性: 中央集約化による運用効率向上
• アラート: 容量逼迫の事前検知

---