mnasoft / vse-gost

Проект для извлечения информации о ГОСТ с сайта vsegost.com

README

1 Назначение

Проект предназначен для разбора информации о ГОСТ, размещенной на сайте http://vsegost.com

2 Зависимости

Для ковертирования файлов с расширением gif в файлы с расширением pdf используется соманда convert.

sudo apt install graphicsmagick-imagemagick-compat

3 Информация о каталогах сайта vsegost.com

Информация о ГОСТ, размещенная на сайте vsegost.com, содержится в нескольких каталогах:

ls ~/Downloads/2015-12-21-vsegost.com

3.1 Catalog

В подкаталогах директория Catalog хранятся файлы с расширением *.shtm, в которых присутствует информация содержащая:

• обозначение ГОСТ;
• наименование ГОСТ;
• краткое описание ГОСТ.

3.2 Data

В подкаталогах директория Data хранятся файлы с расширением *.gif, с отсканированными страницами ГОСТ.

4 Цели:

• Разбор содержимого зеркалированного сайта vsegost.com и формирование базы данных ГОСТ;
• Конвертирование gif-файлов в формат pdf.
• Создание сайта, содержащего pdf ГОСТов.

5 Проект vse-gost предназначен для:

1. Генерации скрипта, выполняющего заполнение данными таблицы базы данных PostgreSQL, которая содержит, обозначения ГОСТов, наименования ГОСТов, описания ГОСТов и данные о расположении pdf-файлов, содержащих ГОСТы
2. Генерации скрипта, выполняющего преобразование gif-файлов, содержащих постраничное отображение ГОСТов, в pdf-файлы, содержащих отображение гостов целиком.

6 ИНСТРУКЦИЯ

6.1 Переход в рабочий каталог для зеркалирования (bash)

cd ~/Downloads

7 Зеркалирование (bash)

wget -m -np http://vsegost.com/

8 Настройка postgreSQL

8.1 Для создания файла импорта ‘/home/namatv/out.txt’ в PostgreSQL выполнте следующее:

(vse-gost:main-create-PostgreSQL-import-file vse-gost:*vsegost-Catalog*)

8.2 Для создания файла скрипта, преобразующего gif-файлы каждого каталога в файл gost.pdf

(vse-gost:main-create-bash-script-gif-pdf-convertion vse-gost:*vsegost-Data*)

Примечание: Примерное время выполнения сценария 5 минут.

8.3 Примеры переноса файлов на сервер

rsync -avzh --progress /home/namatv/public_html/2015-12-21-vsegost.com/Data/ [email protected]:/home/namatv/public_html/2015-12-21-vsegost.com/Data/

rsync -azh --info=progress2 /home/namatv/public_html/2015-12-21-vsegost.com/Data/ [email protected]:/home/namatv/public_html/2015-12-21-vsegost.com/Data/

rsync -avzh --progress /home/namatv/out.txt [email protected]:/home/namatv/

;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;;

9 Создание базы данных gost на удаленом сервере mnasoft-pi для пользователя namatv

9.1 Переходим в запись postgres

namatv@mnasoft-pi:~$ sudo su - postgres

9.2 Создаем роль namatv

postgres@mnasoft-pi:~$ createuser -dsRP namatv

9.3 Создаем для владельца namatv базу gost

namatv@mnasoft-pi:~$ createdb -O namatv gost

9.4 Входим в консоль postgresql

namatv@mnasoft-pi:~$ psql -d gost -U namatv

9.5 Создаем таблицу gost

gost=# 
CREATE TABLE public.gost
(
  id serial PRIMARY KEY,                                        -- Идентификатор записи
  designation text,                                             -- Обозначение Стандарта.
  name text,                                                    -- Наименование Стандарта.
  description text,                                             -- Краткиое описание Стандарта
  local_path text,                                              -- Путь к документу на локальном сервере.
  external_path text,                                           -- Путь к документу на удалённом сервере.
  date date,
  status text
)
WITH (
  OIDS=FALSE
);
ALTER TABLE public.gost
  OWNER TO namatv;
COMMENT ON COLUMN public.gost.id IS            'Идентификатор записи.';
COMMENT ON COLUMN public.gost.designation IS   'Обозначение Стандарта';
COMMENT ON COLUMN public.gost.name IS          'Наименование Стандарта';
COMMENT ON COLUMN public.gost.description IS   'Краткиое описание Стандарта';
COMMENT ON COLUMN public.gost.local_path IS    'Путь к документу на локальном сервере.';
COMMENT ON COLUMN public.gost.external_path IS 'Путь к документу на удалённом сервере.';

9.6 Импортируем содержимое таблицы gost из файла:

gost=# 
copy gost (local_path, designation, date, name, description, status)
     from '/home/namatv/out.txt';
copy gost (local_path, designation, date, name, description, status)
from 'D:\PRG\msys32\home\namatv\quicklisp\local-projects\clisp\vse-gost\out_1.txt';

10 Запуск веб на удаленном сервере