nextgis / reformagkh

Граббер для сайта Реформа ЖКХ и данные

reformagkh

Данные с сайта Реформа ЖКХ (https://www.reformagkh.ru) с координатами:

• Многоквартирным жилым домам
• Управляющим компаниям
• Переселению граждан
• Капитальному ремонту

Внимание! Мы не поддерживаем этот набор скриптов и скорее всего они у вас не заработают. Если вам нужны актуальные данные - вам сюда: https://data.nextgis.com

Структура выгружаемых данных.

Таблица с результатами (фрагмент)

Веб-карта с результатами (пример)

Демо: https://demo.nextgis.com/resource/4019/display?panel=info

License

• Code - GNU GPL v2 or any later version
• Data - unknown, possibly Public Domain

Коммерческая поддержка

Нужна выгрузка данных? Закажите тут!

reformagkh's Issues

save original pages

as original data seems to disappear from Reforma website to be replaced with reduced one

Rotate proxies

to avoid captchas

Откуда взять ID региона?

Добрый день.

Изучаем ваш граббер. Проблема в том, что, согласно ману, ID региона - число.
Но на https://www.reformagkh.ru/ мы не видим числового ID (ближайшее, что нашли, это guid - длинная строка).

Где можно увидеть ID региона/города/и т.д.?
Спасибо заранее.

Ошибка при запуске скрипта

Добрый день. Настроил всё по инструкции.
Пытаюсь запустить,получаю ошибку. ID в atd.csv присутствует.

gkh>python get_reformagkh_myhouse.py 2227650 vlggg.csv -of html
Волгоградская область, Иловлинский муниципальный район, Иловлинское
Traceback (most recent call last): ] 0 of 50 ETA: --:--:--
File "get_reformagkh_myhouse.py", line 399, in
res = get_housedata(house_link,str(house_id),reg[0],reg[3],reg[1],reg[4])
File "get_reformagkh_myhouse.py", line 252, in get_housedata
lat,lon = soup.findAll('script')[12].text.split('\n')[3].split('[')[1].split(']')[0].split(',')
IndexError: list index out of range

Падает, если у здания несколько кадастровых номеров

Падает на доме http://www.reformagkh.ru/myhouse/profile/8254227

2281183
Traceback (most recent call last):                  ] 461 of 1448 ETA:  0:19:24
  File "get_reformagkh_data-v2.py", line 369, in <module>
    res = get_housedata(house_link,str(house_id),lvl1_name,lvl1_ids[lvl1_name],lvl2_name,lvl2_ids[lvl2_name])
  File "get_reformagkh_data-v2.py", line 231, in get_housedata
    energy_class = extract_value(trs, 48)                         #13 ╨Ъ╨╗╨░╤Б╤Б ╤Н╨╜╨╡╤А╨│╨╛╤Н╤Д╤Д╨╡╨║╤В╨╕╨▓╨╜╨╛╤Б╤В╨╕
  File "get_reformagkh_data-v2.py", line 113, in extract_value
    res = tr.findAll('td')[1].text.strip()
IndexError: list index out of range

No data at all

Win 7 x64 SP1 Rus+all updates
Python 2.7.11 (v2.7.11:6d1b6a68f775, Dec 5 2015, 20:40:30) [MSC v.1500 64 bit (AMD64)] on win32
No antivirus software

1. Tor Browser 6.0.6 - running
2. Try python c:\123\get_reformagkh_data-v3.py 2280999 c:\123\housedata.csv -of html
3. Got only housedata.csv with header LAT,LON,HOUSE_ID,ADDRESS,YEAR,LASTUPDATE,SERVICEDATE_START,SERIE,HOUSE_TYPE,CAPFOND,MGMT_COMPANY,MGMT_COMPANY_LINK,AVAR,LEVELS_MAX,LEVELS_MIN,DOORS,ROOM_COUNT,ROOM_COUNT_LIVE,ROOM_COUNT_NONLIVE,AREA,AREA_LIVE,AREA_NONLIVE,AREA_GEN,AREA_LAND,AREA_PARK,CADNO,ENERGY_CLASS,BLAG_PLAYGROUND,BLAG_SPORT,BLAG_OTHER,OTHER
   in c:\123
   No data at all

multiple cadaster numbers

Даже у здания несколько кадастровых номеров - берется только первый. Должны извлекаться все.

Указать явно парсер для BeautifulSoup

Add paginate in city pages

По запросу https://www.reformagkh.ru/myhouse?tid=2281183&limit=100000
в браузер выдаются все 1448 домов.
По этому же запросу в парсер сервер отдаёт 415 домов

В get_house_list надо перелистывать страницы: &limit=100&page=3

Получение данных по конкретной УК.

Есть ли возможность использовать скрипт, для получения данных только по конкретной УК, а не по всему региону?

0 результатов там где они точно естьи падение progressbar

Traceback (most recent call last):                      ] 0 of 0 ETA:  --:--:--         
  File "C:\Reforma\get_reformagkh_data-v2.py", line 322, in <module>                    
    pbar.finish()                                                                       
  File "build\bdist.win32\egg\progressbar\__init__.py", line 320, in finish             
  File "build\bdist.win32\egg\progressbar\__init__.py", line 283, in update             
  File "build\bdist.win32\egg\progressbar\__init__.py", line 243, in _format_line       
  File "build\bdist.win32\egg\progressbar\__init__.py", line 233, in _format_widgets    
  File "build\bdist.win32\egg\progressbar\widgets.py", line 261, in update              
ZeroDivisionError: division by zero     

Вчера работало, сегодня отказывается.

Неизвестная ошибка

Traceback (most recent call last):                   ] 112 of 610 ETA:  0:24:34
  File "C:\Reforma\get_reformagkh_data-v2.py", line 320, in <module>
    res = get_housedata(house_link,str(house_id),reg[0],reg[3],reg[1],reg[4])
  File "C:\Reforma\get_reformagkh_data-v2.py", line 160, in get_housedata
    res = urlopen_house(link + 'view/' + house_id,house_id)
  File "C:\Reforma\get_reformagkh_data-v2.py", line 107, in urlopen_house
    f = open(args.originals_folder + id + ".html","wb")
IOError: [Errno 22] invalid mode ('wb') or filename: 'html\\8926902.html'

И так может высыпать на любом по счету объекте. Обиднее всего, когда на каком-нибудь 550-м из 610. За два дня так и не смог выкачать всю информацию, прерывается.