andrewkhodyakov / qsh_parser

Parser for QSH data files

Парсер файлов в формате qsh.

Утилита для чтения файлов в формате qsh.

Ограничения:

1. Поддерживает 4 версию файлов qsh.
2. Читает только файлы содержащие один поток данных.
3. Читает только потоки содержащие котировки биржевого стакана и тики сделок.

Применение:

1. Может применяться как модуль из коммандной строки - при этом данные выводятся в виде json строк в stdout.

2. Может применться как бибилиотке для встаривания - в этом случае создается объект-итератор прасера:

    from qsh_parser import QSHParser
    q = QSHParser('./20150302/TRNFP.Qscalp.Trades.2015-03-02.qsh')
    f.touch() #чтение заголовка файла
    for data in q:
        print(data)

qsh_parser's Issues

OrderLog stream support

Добавить возможность читать OrderLog стримы

Парсить OrdLog файлы

Здравствуйте Андрей,

Не могли бы помочь с парсингом OrdLog.qsh файлов? я пытаюсь распарсить файл RTS-3.19.2019-02-15.OrdLog.qsh по ссылке ftp://zerich.qscalp.ru/2019-02-15/ у меня выходит ошибка

Заранее спасибо!

Ошибка - Проверил на TQBR:ROSN 2020-04-03 10:30:01

В стакане была строка 348.0000000 1281
В результате парсинга:
{"timestamp": "2020-04-03T10:30:01.343000+03:00", "quotes": [{"rate": 6961, "volume": 97}, {"rate": 6960, "volume": 1281}, {"rate": 6941, "volume": -60}, {"rate": 6940, "volume": 0}]}

Цена ровно в 20 раз больше, интересно, связано ли это как-то с количеством строк в стакане?..

Incorrect condition

qsh_parser/qsh_parser.py

Line 224 in 8f7b99b

if _tmp >= 268435454:

As far as I understand there must be if _tmp > 268435454: OR if _tmp == 268435455:.

не читаются новые файлы

Пытаюсь прочитать qsh файлы. Все работает на примерах, но для новых файлов, например, AFKS.2020-01-03.Quotes.qsh отсюда http://erinrv.qscalp.ru/2020-01-03/ не работает. В чем может быть ошибка? Спасибо за помощь!

Traceback ниже:

---

UnicodeDecodeError Traceback (most recent call last)
in
----> 1 q.touch()

~\Documents\temp\dataa\qsh_parser\qsh_parser.py in touch(self)
692 """
693 if self._stream_dt is None:
--> 694 self._header.read(self._io_stream)
695 if self._header.data.get('stream_count') > 1:
696 _msg = 'More than one stream in file {}'.format(self._stream.name)

~\Documents\temp\dataa\qsh_parser\qsh_parser.py in read(self, stream)
520 for key in ['_format_version', '_app_name', '_user_comment',
521 '_record_start_time', '_stream_count']:
--> 522 getattr(self, key).value = getattr(self, key).read(stream)
523
524 self._head_len = stream.tell()

~\Documents\temp\dataa\qsh_parser\qsh_parser.py in read_string(self, stream)
174 - uleb128 - длинна массива - число бит для чтения
175 """
--> 176 return bytes.decode(stream.read(self.read_uleb(stream)))
177
178

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd8 in position 0: invalid continuation byte