Скрипт выгрузки из FTP на S3 хранилище
ЦЕЛЬ:
Автоматизировать выгрузку 3D-моделей с Beget сайта на S3 хранилище, чтобы были резервные копии всех загруженных 3D-моделей и они хранились отдельно от основного сайта.
Как сейчас:
Сейчас все делается вручную, по инструкции. Глобально выглядит так:
1. Выписать даты всех заказов в статусе "В обработке" или "В оплате"
2. Рассчитать, диапазон дат за которые нужно сгрузить файлы
3. Запустить Transmit программу
4. Создать папку с диапазоном для отгрузки
5. Выбрать файлы на FTP из диапазона и загрузить их на S3 хранилище
6. Удалить файлы с FTP сервера
7. Повторить для всех диапазонов
Как можно его реализовать в упрощенном виде пошагово:
1. Подключить на FTP и получить список всех файлов, которые там лежат
2. Составить массив дат добавления этих файлов
3. Подключиться на S3 и узнать какая самая крайняя дата отгрузки
4. От даты отгрузки вычесть 8 дней
5. Составить массив из даты начала и даты окончания
6. Разбить ВЕСЬ диапазон из этапа 5 на отрезки за вычетом дат исключения
7. Составить план синхронизации и в каждый день записать файл к отгрузке
8. Поставить задачу отгрузки в план на исполнение
9. При каждой синхронизации записывать в лог какой файл был выгружен с S3
10. После окончания отгрузки проверить все ли файлы совпадают за день на FTP и S3
11. Удалить отгруженные файлы с FTP
Это вариант если делать прям код самостоятельно. Как вариант для упрощения, можно использовать Rsync команду
Автоматизировать выгрузку 3D-моделей с Beget сайта на S3 хранилище, чтобы были резервные копии всех загруженных 3D-моделей и они хранились отдельно от основного сайта.
Как сейчас:
Сейчас все делается вручную, по инструкции. Глобально выглядит так:
1. Выписать даты всех заказов в статусе "В обработке" или "В оплате"
2. Рассчитать, диапазон дат за которые нужно сгрузить файлы
3. Запустить Transmit программу
4. Создать папку с диапазоном для отгрузки
5. Выбрать файлы на FTP из диапазона и загрузить их на S3 хранилище
6. Удалить файлы с FTP сервера
7. Повторить для всех диапазонов
Как можно его реализовать в упрощенном виде пошагово:
1. Подключить на FTP и получить список всех файлов, которые там лежат
2. Составить массив дат добавления этих файлов
3. Подключиться на S3 и узнать какая самая крайняя дата отгрузки
4. От даты отгрузки вычесть 8 дней
5. Составить массив из даты начала и даты окончания
6. Разбить ВЕСЬ диапазон из этапа 5 на отрезки за вычетом дат исключения
7. Составить план синхронизации и в каждый день записать файл к отгрузке
8. Поставить задачу отгрузки в план на исполнение
9. При каждой синхронизации записывать в лог какой файл был выгружен с S3
10. После окончания отгрузки проверить все ли файлы совпадают за день на FTP и S3
11. Удалить отгруженные файлы с FTP
Это вариант если делать прям код самостоятельно. Как вариант для упрощения, можно использовать Rsync команду
Предложения фрилансеров (0)
Предложений нет
Оставлять свои предложения по проекту могут только зарегистрированные пользователи с аккаунтом специалиста.
Зарегистрируйтесь или войдите на сайт под своим именем.
Зарегистрируйтесь или войдите на сайт под своим именем.
