8 Commits
Author SHA1 Message Date
mchusandClaude Sonnet 4.6 7c5736b935 copier: rsync, случайный порядок, папка назначения, права 777
- rsync --partial --append-verify для возобновления передачи
- --no-perms --chmod=ugo=rwx — права 777 на диске
- Структура: <mount>/<dest_folder>/<rel path from /media>, default media
- Shuffle файлов перед копированием
- Диск заполняется пока есть место, файлы которые не влезают пропускаются
- Прогресс по количеству обработанных файлов
- rsync добавлен в Dockerfile

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-04-23 21:57:57 +03:00
mchusandClaude Sonnet 4.6 8f36d4e824 copier: rsync с возобновлением, папка назначения, права 777
- Заменить ручное копирование на rsync --partial --append-verify
- Структура на диске: <mount>/<dest_folder>/<rel path from /media>
- dest_folder настраивается (default: media)
- Права на диске: --no-perms --chmod=ugo=rwx
- rsync добавлен в Dockerfile
- Режим "удалить": удаляет только dest_folder, а не весь диск

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-04-23 21:56:26 +03:00
mchusandClaude Sonnet 4.6 f2a7505378 ops: merge build and push into single build-image.sh
Если указан image — собирает мультиарч и пушит.
Если image пустой — локальная сборка без пуша.
push-image.sh удалён.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-04-23 21:48:52 +03:00
mchusandClaude Sonnet 4.6 7b68c66725 ops: simplify to single Image prompt instead of registry+owner
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-04-23 21:47:35 +03:00
mchusandClaude Sonnet 4.6 0df89bdff0 ops: fix interactive prompts (printf to stderr, no subshell)
printf шёл в stdout внутри $(...), поэтому prompt не выводился
и read висел. Теперь prompt идёт в stderr напрямую.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-04-23 21:46:07 +03:00
mchusandClaude Sonnet 4.6 83d6ad5134 ops: remove hardcoded registry and owner from scripts
Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-04-23 21:43:32 +03:00
mchusandClaude Sonnet 4.6 2355d32766 ops: add registry prefix to build-image, add push-image script
build-image.sh теперь тегирует как git.mchus.pro/reanimator/jukebox-maker.
push-image.sh собирает мультиарч образ и пушит в Gitea registry.

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-04-23 21:41:14 +03:00
mchusandClaude Sonnet 4.6 28ca583073 Fix Dockerfile: bump builder to golang:1.25-alpine
go.mod requires go 1.25.0 (generated by local go 1.26).

Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
2026-04-23 21:35:16 +03:00
7 changed files with 137 additions and 76 deletions

No files matched your search

+2 -2
View File
@@ -1,4 +1,4 @@
FROM golang:1.22-alpine AS builder FROM golang:1.25-alpine AS builder
WORKDIR /src WORKDIR /src
COPY go.mod go.sum ./ COPY go.mod go.sum ./
@@ -10,7 +10,7 @@ RUN CGO_ENABLED=0 GOOS=linux go build -trimpath -ldflags="-s -w" \
FROM alpine:3.19 FROM alpine:3.19
RUN apk add --no-cache tzdata ca-certificates RUN apk add --no-cache tzdata ca-certificates rsync
WORKDIR /app WORKDIR /app
COPY --from=builder /out/jukebox . COPY --from=builder /out/jukebox .
+1
View File
@@ -137,6 +137,7 @@ func triggerAutoCopy(cp *copier.Copier, cfg *config.Config, info disk.DiskInfo,
DiskID: info.DiskID, DiskID: info.DiskID,
MountPath: info.MountPath, MountPath: info.MountPath,
MediaPath: mediaPath, MediaPath: mediaPath,
DestFolder: cfg.DestFolder,
EnabledSources: sources, EnabledSources: sources,
ReserveFreeGB: cfg.ReserveFreeGB, ReserveFreeGB: cfg.ReserveFreeGB,
OverwriteMode: cfg.OverwriteMode, OverwriteMode: cfg.OverwriteMode,
+1
View File
@@ -31,6 +31,7 @@ func (s *Server) handleCopyStart(w http.ResponseWriter, r *http.Request) {
DiskID: diskInfo.DiskID, DiskID: diskInfo.DiskID,
MountPath: diskInfo.MountPath, MountPath: diskInfo.MountPath,
MediaPath: s.deps.MediaPath, MediaPath: s.deps.MediaPath,
DestFolder: cfg.DestFolder,
EnabledSources: enabledSources, EnabledSources: enabledSources,
ReserveFreeGB: cfg.ReserveFreeGB, ReserveFreeGB: cfg.ReserveFreeGB,
OverwriteMode: cfg.OverwriteMode, OverwriteMode: cfg.OverwriteMode,
+2
View File
@@ -25,6 +25,7 @@ type SourceFolder struct {
type Config struct { type Config struct {
ReserveFreeGB float64 `json:"reserve_free_gb"` ReserveFreeGB float64 `json:"reserve_free_gb"`
DestFolder string `json:"dest_folder"`
Sources []SourceFolder `json:"sources"` Sources []SourceFolder `json:"sources"`
OverwriteMode OverwriteMode `json:"overwrite_mode"` OverwriteMode OverwriteMode `json:"overwrite_mode"`
FileSelectMode FileSelectMode `json:"file_select_mode"` FileSelectMode FileSelectMode `json:"file_select_mode"`
@@ -34,6 +35,7 @@ type Config struct {
func defaults() Config { func defaults() Config {
return Config{ return Config{
ReserveFreeGB: 2.0, ReserveFreeGB: 2.0,
DestFolder: "media",
OverwriteMode: OverwriteSkip, OverwriteMode: OverwriteSkip,
FileSelectMode: SelectNew, FileSelectMode: SelectNew,
AutoCopy: false, AutoCopy: false,
+38 -60
View File
@@ -4,8 +4,9 @@ import (
"context" "context"
"errors" "errors"
"fmt" "fmt"
"io" "math/rand/v2"
"os" "os"
"os/exec"
"path/filepath" "path/filepath"
"sync" "sync"
@@ -19,6 +20,7 @@ type Options struct {
DiskID string DiskID string
MountPath string MountPath string
MediaPath string MediaPath string
DestFolder string // subfolder on disk, default "media"
EnabledSources []string EnabledSources []string
ReserveFreeGB float64 ReserveFreeGB float64
OverwriteMode config.OverwriteMode OverwriteMode config.OverwriteMode
@@ -39,7 +41,6 @@ func New(tasks *task.Store) *Copier {
return &Copier{tasks: tasks} return &Copier{tasks: tasks}
} }
// SetDB replaces the active disk database (called when a disk connects or disconnects).
func (c *Copier) SetDB(d *db.DB) { func (c *Copier) SetDB(d *db.DB) {
c.dbMu.Lock() c.dbMu.Lock()
c.db = d c.db = d
@@ -65,6 +66,10 @@ func (c *Copier) Start(ctx context.Context, opts Options) (string, error) {
return "", errors.New("no disk database available") return "", errors.New("no disk database available")
} }
if opts.DestFolder == "" {
opts.DestFolder = "media"
}
t := c.tasks.Create("copy") t := c.tasks.Create("copy")
copyCtx, cancel := context.WithCancel(ctx) copyCtx, cancel := context.WithCancel(ctx)
c.cancel = cancel c.cancel = cancel
@@ -98,9 +103,11 @@ func (c *Copier) run(ctx context.Context, taskID string, opts Options, database
setStatus(task.StatusRunning, "Подготовка…", 0) setStatus(task.StatusRunning, "Подготовка…", 0)
destRoot := filepath.Join(opts.MountPath, opts.DestFolder)
if opts.OverwriteMode == config.OverwriteDelete { if opts.OverwriteMode == config.OverwriteDelete {
setStatus(task.StatusRunning, "Удаление данных с диска…", 0) setStatus(task.StatusRunning, "Удаление данных с диска…", 0)
if err := deleteOurData(opts.MountPath); err != nil { if err := os.RemoveAll(destRoot); err != nil {
fail(err) fail(err)
return return
} }
@@ -128,6 +135,9 @@ func (c *Copier) run(ctx context.Context, taskID string, opts Options, database
return return
} }
// случайный порядок — выбираем что копировать до начала копирования
rand.Shuffle(len(files), func(i, j int) { files[i], files[j] = files[j], files[i] })
_, free, err := disk.DiskUsage(opts.MountPath) _, free, err := disk.DiskUsage(opts.MountPath)
if err != nil { if err != nil {
fail(err) fail(err)
@@ -154,15 +164,18 @@ func (c *Copier) run(ctx context.Context, taskID string, opts Options, database
} }
if f.size > available { if f.size > available {
// файл не влезает — пробуем следующий
continue continue
} }
msg := fmt.Sprintf("Копирование %s (%d/%d)", filepath.Base(f.srcAbs), i+1, total)
prog := int(float64(i+1) / float64(total) * 100) prog := int(float64(i+1) / float64(total) * 100)
msg := fmt.Sprintf("Копирование %s (%d/%d)", filepath.Base(f.srcAbs), i+1, total)
setStatus(task.StatusRunning, msg, prog) setStatus(task.StatusRunning, msg, prog)
dstAbs := filepath.Join(opts.MountPath, f.relPath) // destination mirrors source structure under destRoot
if err := copyFile(ctx, f.srcAbs, dstAbs); err != nil { dstAbs := filepath.Join(destRoot, f.relPath)
if err := rsyncFile(ctx, f.srcAbs, dstAbs); err != nil {
if errors.Is(err, context.Canceled) { if errors.Is(err, context.Canceled) {
c.tasks.Update(taskID, func(t *task.Task) { c.tasks.Update(taskID, func(t *task.Task) {
t.Status = task.StatusCanceled t.Status = task.StatusCanceled
@@ -187,7 +200,7 @@ func (c *Copier) run(ctx context.Context, taskID string, opts Options, database
type fileEntry struct { type fileEntry struct {
srcAbs string srcAbs string
relPath string relPath string // relative to /media
size int64 size int64
} }
@@ -217,64 +230,29 @@ func buildFileList(mediaPath string, sources []string, skip map[string]struct{})
return result, nil return result, nil
} }
func deleteOurData(mountPath string) error { // rsyncFile copies src to dst using rsync with resume support.
entries, err := os.ReadDir(mountPath) // --partial keeps partial files on interruption.
if err != nil { // --append-verify resumes partial transfers and verifies checksums.
return err func rsyncFile(ctx context.Context, src, dst string) error {
}
for _, e := range entries {
if e.Name() == ".jukebox" {
continue
}
if err := os.RemoveAll(filepath.Join(mountPath, e.Name())); err != nil {
return err
}
}
return nil
}
func copyFile(ctx context.Context, src, dst string) error {
if err := os.MkdirAll(filepath.Dir(dst), 0o755); err != nil { if err := os.MkdirAll(filepath.Dir(dst), 0o755); err != nil {
return err return err
} }
in, err := os.Open(src) cmd := exec.CommandContext(ctx, "rsync",
"--partial",
"--append-verify",
"--times",
"--no-perms",
"--no-owner",
"--no-group",
"--chmod=ugo=rwx",
src, dst,
)
out, err := cmd.CombinedOutput()
if err != nil { if err != nil {
return err if ctx.Err() != nil {
}
defer in.Close()
tmp := dst + ".juketmp"
out, err := os.Create(tmp)
if err != nil {
return err
}
buf := make([]byte, 512*1024)
for {
select {
case <-ctx.Done():
out.Close()
os.Remove(tmp)
return ctx.Err() return ctx.Err()
default:
}
n, readErr := in.Read(buf)
if n > 0 {
if _, werr := out.Write(buf[:n]); werr != nil {
out.Close()
os.Remove(tmp)
return werr
}
}
if errors.Is(readErr, io.EOF) {
break
}
if readErr != nil {
out.Close()
os.Remove(tmp)
return readErr
} }
return fmt.Errorf("rsync: %w: %s", err, out)
} }
out.Close() return nil
return os.Rename(tmp, dst)
} }
+83 -12
View File
@@ -1,20 +1,91 @@
#!/bin/sh #!/bin/sh
# Build a Docker image. If an image name is provided, builds multi-arch and pushes to registry.
# Otherwise builds locally for the current platform only.
#
# Usage (interactive):
# ./ops/build-image.sh
#
# Usage (non-interactive):
# ./ops/build-image.sh <tag> [image]
#
# Examples:
# ./ops/build-image.sh # prompts for tag and image
# ./ops/build-image.sh v1.0 # prompts for image
# ./ops/build-image.sh v1.0 registry.example.com/org/myapp # local only (no push)
# ./ops/build-image.sh v1.0 "" # local build, no push
set -eu set -eu
ROOT_DIR=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd) ROOT_DIR=$(CDPATH= cd -- "$(dirname "$0")/.." && pwd)
if ! command -v docker >/dev/null 2>&1; then die() { echo "error: $*" >&2; exit 1; }
echo "docker not found in PATH" >&2
exit 1 command -v docker >/dev/null 2>&1 || die "docker not found in PATH"
DEFAULT_TAG=$(git -C "${ROOT_DIR}" rev-parse --short HEAD 2>/dev/null || echo dev)
ask() {
# $1=varname $2=prompt $3=default
if [ -n "$3" ]; then
printf "%s [%s]: " "$2" "$3" >&2
else
printf "%s (leave empty to build locally only): " "$2" >&2
fi
read -r _val
eval "$1=\"\${_val:-$3}\""
}
if [ $# -ge 2 ]; then
IMAGE_TAG="$1"
IMAGE="$2"
elif [ $# -ge 1 ]; then
IMAGE_TAG="$1"
ask IMAGE "Image" ""
else
ask IMAGE_TAG "Tag" "${DEFAULT_TAG}"
ask IMAGE "Image" ""
fi fi
IMAGE_NAME=${IMAGE_NAME:-jukebox-maker} if [ -n "${IMAGE}" ]; then
DEFAULT_TAG=$(git -C "${ROOT_DIR}" rev-parse --short HEAD 2>/dev/null || echo dev) # multi-arch build + push
IMAGE_TAG=${1:-${IMAGE_TAG:-${DEFAULT_TAG}}} docker buildx version >/dev/null 2>&1 || die "docker buildx not available"
echo "building ${IMAGE_NAME}:${IMAGE_TAG}" PLATFORMS="${PLATFORMS:-linux/amd64,linux/arm64}"
docker build \ BUILDER_NAME="jukebox-multiarch"
-f "${ROOT_DIR}/Dockerfile" \
-t "${IMAGE_NAME}:${IMAGE_TAG}" \ if ! docker buildx inspect "${BUILDER_NAME}" >/dev/null 2>&1; then
-t "${IMAGE_NAME}:latest" \ echo "creating buildx builder: ${BUILDER_NAME}"
"${ROOT_DIR}" docker buildx create \
--name "${BUILDER_NAME}" \
--driver docker-container \
--bootstrap
fi
docker buildx use "${BUILDER_NAME}"
echo "building and pushing ${IMAGE}:${IMAGE_TAG} (${PLATFORMS})"
docker buildx build \
--platform "${PLATFORMS}" \
--file "${ROOT_DIR}/Dockerfile" \
-t "${IMAGE}:${IMAGE_TAG}" \
-t "${IMAGE}:latest" \
--push \
"${ROOT_DIR}"
echo ""
echo "pushed:"
echo " ${IMAGE}:${IMAGE_TAG}"
echo " ${IMAGE}:latest"
else
# local build only
echo "building locally (no push)"
docker build \
--file "${ROOT_DIR}/Dockerfile" \
-t "jukebox-maker:${IMAGE_TAG}" \
-t "jukebox-maker:latest" \
"${ROOT_DIR}"
echo ""
echo "built:"
echo " jukebox-maker:${IMAGE_TAG}"
echo " jukebox-maker:latest"
fi
+10 -2
View File
@@ -30,13 +30,19 @@
<span class="form-hint">«Только новые» — пропускает файлы, уже скопированные на данный диск, даже если они были удалены с него (считаются просмотренными).</span> <span class="form-hint">«Только новые» — пропускает файлы, уже скопированные на данный диск, даже если они были удалены с него (считаются просмотренными).</span>
</div> </div>
<div class="form-group">
<label class="form-label" for="destFolder">Папка назначения на диске</label>
<input class="form-input" type="text" id="destFolder" placeholder="media" style="width:200px">
<span class="form-hint">Подпапка на диске куда копировать файлы. Структура источника воспроизводится внутри неё. По умолчанию: <code>media</code>.</span>
</div>
<div class="form-group"> <div class="form-group">
<label class="form-label" for="overwriteMode">Режим записи</label> <label class="form-label" for="overwriteMode">Режим записи</label>
<select class="form-select" id="overwriteMode" style="width:auto;max-width:420px"> <select class="form-select" id="overwriteMode" style="width:auto;max-width:420px">
<option value="skip">Пропустить существующие файлы</option> <option value="skip">Пропустить существующие файлы</option>
<option value="delete">Удалить наши данные с диска и перезаписать заново</option> <option value="delete">Удалить папку назначения и перезаписать заново</option>
</select> </select>
<span class="form-hint">«Удалить и перезаписать» — удаляет с диска всё кроме папки .jukebox, затем копирует заново.</span> <span class="form-hint">«Удалить и перезаписать» — удаляет папку назначения на диске, затем копирует заново.</span>
</div> </div>
</div> </div>
@@ -98,6 +104,7 @@ async function loadSettings() {
if (!r.ok) return; if (!r.ok) return;
const cfg = await r.json(); const cfg = await r.json();
document.getElementById('reserveGB').value = cfg.reserve_free_gb ?? 2; document.getElementById('reserveGB').value = cfg.reserve_free_gb ?? 2;
document.getElementById('destFolder').value = cfg.dest_folder || 'media';
document.getElementById('fileSelectMode').value = cfg.file_select_mode || 'new'; document.getElementById('fileSelectMode').value = cfg.file_select_mode || 'new';
document.getElementById('overwriteMode').value = cfg.overwrite_mode || 'skip'; document.getElementById('overwriteMode').value = cfg.overwrite_mode || 'skip';
document.getElementById('autoCopy').checked = !!cfg.auto_copy; document.getElementById('autoCopy').checked = !!cfg.auto_copy;
@@ -116,6 +123,7 @@ async function saveSettings(e) {
}); });
const body = { const body = {
reserve_free_gb: parseFloat(document.getElementById('reserveGB').value) || 2, reserve_free_gb: parseFloat(document.getElementById('reserveGB').value) || 2,
dest_folder: document.getElementById('destFolder').value.trim() || 'media',
file_select_mode: document.getElementById('fileSelectMode').value, file_select_mode: document.getElementById('fileSelectMode').value,
overwrite_mode: document.getElementById('overwriteMode').value, overwrite_mode: document.getElementById('overwriteMode').value,
auto_copy: document.getElementById('autoCopy').checked, auto_copy: document.getElementById('autoCopy').checked,