Проект предназначен для разбора информации о ГОСТ, размещенной на сайте http://vsegost.com
Для ковертирования файлов с расширением gif в файлы с расширением pdf используется соманда convert.
sudo apt install graphicsmagick-imagemagick-compat
Информация о ГОСТ, размещенная на сайте vsegost.com, содержится в нескольких каталогах:
ls ~/Downloads/2015-12-21-vsegost.com
В подкаталогах директория Catalog хранятся файлы с расширением *.shtm, в которых присутствует информация содержащая:
- обозначение ГОСТ;
- наименование ГОСТ;
- краткое описание ГОСТ.
В подкаталогах директория Data хранятся файлы с расширением *.gif, с отсканированными страницами ГОСТ.
- Разбор содержимого зеркалированного сайта vsegost.com и формирование базы данных ГОСТ;
- Конвертирование gif-файлов в формат pdf.
- Создание сайта, содержащего pdf ГОСТов.
- Генерации скрипта, выполняющего заполнение данными таблицы базы данных PostgreSQL, которая содержит, обозначения ГОСТов, наименования ГОСТов, описания ГОСТов и данные о расположении pdf-файлов, содержащих ГОСТы
- Генерации скрипта, выполняющего преобразование gif-файлов, содержащих постраничное отображение ГОСТов, в pdf-файлы, содержащих отображение гостов целиком.
cd ~/Downloads
wget -m -np http://vsegost.com/
(vse-gost:main-create-PostgreSQL-import-file vse-gost:*vsegost-Catalog*)
(vse-gost:main-create-bash-script-gif-pdf-convertion vse-gost:*vsegost-Data*)
Примечание: Примерное время выполнения сценария 5 минут.
rsync -avzh --progress /home/namatv/public_html/2015-12-21-vsegost.com/Data/ [email protected]:/home/namatv/public_html/2015-12-21-vsegost.com/Data/
rsync -azh --info=progress2 /home/namatv/public_html/2015-12-21-vsegost.com/Data/ [email protected]:/home/namatv/public_html/2015-12-21-vsegost.com/Data/
rsync -avzh --progress /home/namatv/out.txt [email protected]:/home/namatv/
;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;
namatv@mnasoft-pi:~$ sudo su - postgres
postgres@mnasoft-pi:~$ createuser -dsRP namatv
namatv@mnasoft-pi:~$ createdb -O namatv gost
namatv@mnasoft-pi:~$ psql -d gost -U namatv
gost=#
CREATE TABLE public.gost
(
id serial PRIMARY KEY, -- Идентификатор записи
designation text, -- Обозначение Стандарта.
name text, -- Наименование Стандарта.
description text, -- Краткиое описание Стандарта
local_path text, -- Путь к документу на локальном сервере.
external_path text, -- Путь к документу на удалённом сервере.
date date,
status text
)
WITH (
OIDS=FALSE
);
ALTER TABLE public.gost
OWNER TO namatv;
COMMENT ON COLUMN public.gost.id IS 'Идентификатор записи.';
COMMENT ON COLUMN public.gost.designation IS 'Обозначение Стандарта';
COMMENT ON COLUMN public.gost.name IS 'Наименование Стандарта';
COMMENT ON COLUMN public.gost.description IS 'Краткиое описание Стандарта';
COMMENT ON COLUMN public.gost.local_path IS 'Путь к документу на локальном сервере.';
COMMENT ON COLUMN public.gost.external_path IS 'Путь к документу на удалённом сервере.';
gost=#
copy gost (local_path, designation, date, name, description, status)
from '/home/namatv/out.txt';
copy gost (local_path, designation, date, name, description, status)
from 'D:\PRG\msys32\home\namatv\quicklisp\local-projects\clisp\vse-gost\out_1.txt';