reino17 / xivid Goto Github PK

Als ik ./xivid.sh type zou het handig zijn als ik er --version ofzo achter kan typen zodat ik kan zien of het de laatste nieuwe update is ofzo. Of een datum van de laatste commit. In elk geval is het nu niet duidelijk.

En ja, ik kan ook 'git checkout' typen, maar dan is het nog niet echt overzichtelijk welke versie ik nou heb.

https://www.rtlxl.nl/programma/beau/760e6852-d648-4dd1-b0fc-24b36b45411b

Werkt niet in Xivid?

Einde voor oudere systemen?

https://tweakers.net/nieuws/213454/ondersteuning-van-openssl-111-is-afgelopen.html

Kan deze link niet downloaden, terwijl aynil van gisteren wel luk: https://www.rtlxl.nl/programma/rooijakkers-over-de-vloer/78d42779-94b7-4725-951e-74c93f782c26

Melding: could not open input file.

Deze link levert geen download op... ligt dat aan kijk?

https://kijk.nl/programmas/het-blok-nieuw-zeeland/1JvxWYEGJor/seizoen/186085928084/afleveringen/video/empty_episode-het-blok-nieuw-zeeland-s5-e41-2021-04-20/lcfhXZik0Gl

Er lijkt alleen ondertiteling in te zitten.

Website

https://soundcloud.com/laidbackluke/laidback-luke-dj-set-live-at

Geeft (dit is een mp3 file)

https://cf-media.sndcdn.com/gF2U20J9lZfU?Policy=eyJTdGF0ZW1lbnQiOlt7IlJlc291cmNlIjoiKjovL2NmLW1lZGlhLnNuZGNkbi5jb20vZ0YyVTIwSjlsWmZVIiwiQ29uZGl0aW9uIjp7IkRhdGVMZXNzVGhhbiI6eyJBV1M6RXBvY2hUaW1lIjoxNTk0NjQyNjAxfX19XX0_&Signature=PxqBfPTvrnM-C-snnMgyF~Z1aXHlDKgFJOKvfBlQ5pVTPgw7eNu08T7IbBSv4oBS58Stqr~bwHMbyGSUn~Bx53eoNfr56slky96qDBjIuTlIDp6C--kCnCxQsd74Wes5bU0CIUHIH81l29uf-EO09dRbkW4McTZj9NgO26f1mwURyGtLeJeF8fM6IccdSynm2x05uG9gqnhfbgyHVXvGwsB~S0E27d2OYjHbYl4VdPfwXPcScJneIjFSxGawY-8A-Ik4JC88WOaqqmbTVhAKfQ9-AKiWdOaHfQIyFZyJe6a3SeNuX7onTPVo73o52BO5-OdQDC8-uPAcf8azA3Am5Q__&Key-Pair-Id=APKAI6TU7MMXM5DG6EPQ

Gek genoeg zijn deze urls maar kort geldig, want 10 minuten na het posten werkt hij al niet meer (error forbidden)

De m3u8 zou ook handig zijn maar weet niet of dat haalbaar is. De MP3 is eigenlijk het beste

Soundcloud.py (van Youtube-dl) is recent nog bijgewerkt
https://github.com/ytdl-org/youtube-dl/blob/d1b27220959921c8c96bfd92c946edb52c78c39b/youtube_dl/extractor/soundcloud.py

Maar:

ytdl-org/youtube-dl#23244

https://github.com/flyingrub/scdl

Deze zou nog moeten werken maar heeft wel veel openstaande issues, aangezien Soundcloud blijkbaar ook OPUS heeft naast Mp3. En mensen vragen allerlei extra functies zoals proxy enzo wat ik allemaal niet nodig heb.

Het issue is schijnbaar nog niet gefixed daar, maar hij doet het wel

Microsoft Windows [versie 6.1.7601]
Copyright (c) 2009 Microsoft Corporation. Alle rechten voorbehouden.


C:\Users\Algemeen\Downloads\Software\Youtube-DL>youtube-dl https://soundcloud.com/
laidbackluke/laidback-luke-dj-set-live-at
[soundcloud] laidbackluke/laidback-luke-dj-set-live-at: Downloading info JSON
[soundcloud] None: Downloading webpage
[soundcloud] None: Downloading webpage
[soundcloud] laidbackluke/laidback-luke-dj-set-live-at: Downloading info JSON
[soundcloud] 66196563: Downloading JSON metadata
[soundcloud] 66196563: Downloading webpage
[soundcloud] 66196563: Downloading JSON metadata
[soundcloud] 66196563: Downloading JSON metadata
[soundcloud] 66196563: Downloading JSON metadata
[download] Destination: Laidback Luke DJ set Live At Escape From Wonderland Oct
2012-66196563.mp3
[download]  48.6% of 55.09MiB at  3.67MiB/s ETA 00:07
ERROR: Interrupted by user

https://www.kijk.nl/programmas/recht-in-de-ogen-van/y3PRxdShXDF

Werkt niet met laatste Xivid versie. Url not supported.

Ik probeer een uitzending te downloaden van zin in zappelin waar mijn dochter op bezoek is geweest.
Vanuit xivid krijg ik echter de onderstaande melding:

xivid: geen video beschikbaar.

Zou je hier wellicht bij kunnen helpen?

De nieuwere video's van ABHD.nl (onderdeel van Autoblog / Autojunk / Apparata / Groen7) zijn allemaal Youtube video's.

De oudere video's zijn nog door hen zelf gehost. Bijvoorbeeld:

https://www.abhd.nl/video/brabus-rocket/

Kan je daar een extractor voor maken of een xidel commando?

Werkt dit ook op de Android versie van Xidel? Ik zag je wel posten in hun Github maar weet dus niet hoever je zelf bent gekomen.

Vraag 2: vervangt dit batchgemist of blijven daar updates voor komen?

Ik krijg nu ineens de volgende melding:

Fout: Xidel niet gevonden!
Installeer Xidel a.u.b. om dit script te kunnen gebruiken.

Vreemd omdat ik voorheen deze melding nooit kreeg en het script altijd prima werkte. Ik heb Xidel nooit geïnstalleerd omdat ik het script op mijn Synology draai en het daar dus altijd werkte, ook zonder Xidel kennelijk.

Tips?

Is het over met kijk.nl links? Zitten die voortaan ook op de DRM?

Misschien dat RTL iets heeft aangepast, maar het lijkt erop dat alle streams zonder geluid zijn. SBS heeft wel gewoon geluid.

Xivid kijkt nog steeds naar Xidel in /usr/bin.
Dat kan niet meer op moderne Android versies, alleen met proot package in Termux, waarna een chroot commando gedraaid kan worden. Daarna kan xidel geinstalleerd worden middels install.sh. Allemaal omslachtig gedoe.
Termux draait in de rest van de directories tegenwoordig niet ivm noexec permissieblokkades. Wat je kunt doen is alles in de $HOME directly gooien.

Dat vereist wel dat Xivid ook toestaat dat Xidel kan aangeroepen worden vanuit die directory. Ik heb ook geprobeerd te werken met termux-fix-shebang die oude vereiste op /usr/bin eruit zou snijden maar dat werkt niet.

Dus gelieve het script aan te passen dat Xidel in andere directories ook toegestaan is.

Zie https://wiki.termux.com/wiki/Differences_from_Linux

"Thus, all programs must be patched and recompiled to meet requirements of the Termux environment otherwise they will not be able to find their configuration files or other data."

De termux-exec alternatieve optie is niet handig.

Mediahuman https://www.mediahuman.com/download.html is een van de weinige XP software die nog Mixcloud en Soundcloud download support en vaak geupdate wordt. Helaas closed source en hij installeert deze een hoop troep erbij zoals QT bijvoorbeeld. Aangezien Youtube steeds strikter wordt qua muziek (en Youtube-dl na maanden pas updates krijgt (of niet) voor Mixcloud en Soundcloud) werd het tijd om te kijken naar een alternatief. Ik gebruikte normaal altijd Lacey (the-sz.com) of 4k video downloader (https://www.4kdownload.com/nl/products/product-videodownloader) maar die ondersteunen beiden geen Mixcloud meer. Nu weet ik dat Xivid voornamelijk gefocussed is op video, maargoed wie niet waagt wie niet wint qua verzoekjes :)

De code om Mixcloud en Souncloud te scrapen is er wel, vaak in Python scripts
https://github.com/Miserlou/SoundScrape

Of in Chrome en Firefox extensies
https://github.com/mixcloud-downloader

Het voordeel van die Mediahuman is dat het bestand niet opgeslagen wordt als

"ae745f33egb32HHff.m4a" maar gelijk de Artiest en Titel ophaalt en de mogelijkheid geeft die vooraf aan het downloaden te bewerken. Plus, direct converteert naar mp3 ipv m4a als het bestand gedownload is. Het temp bestand wordt dan gedelete.

Misschien allemaal teveel werk, met alleen de m4a link + eventuele download optie zou ik ook al blij zijn. Elke keer Chrome opstarten is irritant. Foobar2000 heeft wel input support voor Mixcloud via een plugin. AIMP via foo_youtube met externe youtube-dl en Winamp alleen met de onofficiële WACUP. Alledrie hebben geen download optie. VLC ondersteunt het niet native en ik heb geen plugin kunnen vinden.

Voorbeeldje van een Soundcloud endpoint: https://stream10.mixcloud.com/secure/c/m4a/64/0/0/1/c/6fcc-4335-4aaf-8305-84e709ccc1d9.m4a?sig=FJ29cabjN0VlZe_zdXQQcw

Er zit dus een signature bij en wellicht nog wat andere rommel zoals een token.

Enig idee waarom kijk links momenteel de melding “geen video beschikbaar” geven? Via downloadgemist kan ik de link wel downloaden.

Bijv https://kijk.nl/programmas/klein-maar-fijn/BvxAfhXDWBU/seizoen/166256168185/afleveringen/video/empty_episode-klein-maar-fijn-s1-e6-2021-01-11/NiHJ2IQwbua

Voorbeeld:

https://www.reddit.com/r/therewasanattempt/comments/v61h9j/to_push_past_armed_courtroom_guards/

video:
https://v.redd.it/rz0au4l9mz391/DASH_720.mp4

Het zou kunnen dat het e.e.a. met Widevine beveiligd is maar dat denk ik niet

Voorbeelden:

https://github.com/Solirs/gettit
https://github.com/cp6/Reddit-video-downloader
https://github.com/Cyan903/vreddit-download
https://github.com/hamolicious/Reddit-Video-Downloader/blob/master/reddit_video_downloader.py

Het is op zijn minst vreemd te noemen dat RTLXL meestal in 720P is maar met sommige uitzonderingen.
Het is denk ik interessant om uit te vinden wat er wél en wat er niet in 1080P geupload wordt. Zijn dit alleen fragmenten? Zijn dit alleen nieuwsfragmenten, of is er van de diverse uitzendingen een "verborgen" 1080P methode opvraagbaar.

https://www.rtlxl.nl/programma/humberto/5c39a0d0-e8fc-4f33-b888-9a8a6b94bd4d

Ik weet dat er soms een DRM melding kan komen te staan op bovenstaande pagina, in de player, MAAR het is niet duidelijk of dat specifiek voor de 1080P formaten geldt. De encryptie is overal CBC

'Unable to instantiate a key system supporting the required combinations (DRM_NO_KEY_SYSTEM)'

Batchgemist had een download optie (icm FFMPEG). Sinds kort is er ook zoiets voor Youtube-DL.
E.e.a. is wellicht interessant qua code.

https://github.com/grijul/yt-audio

Een audio only optie in Xivid met download zonder ingewikkelde FFMPEG commando's zou leuk zijn voor de verre toekomst

Dus

Xivid.sh -a

ofzo

Url:

https://www.mixcloud.com/Bakermatmusic/bakermat-presents-the-circus-046
/?utm_campaign=notification_new_upload&utm_medium=email&utm_source=notification&
utm_content=html

Als ik de m3u8 opsla kan hij de segments wel binnenhalen, maar speelt hij ze niet meer af, of althans hij haalt een stuk of 350 segments binnen van 10 seconden, dat is nooit de hele file natuurlijk.

Oude stream url's

https://stream10.mixcloud.com/secure/c/m4a/64/0/0/1/c/6fcc-4335-4aaf-8305-84e709ccc1d9.m4a?sig=FJ29cabjN0VlZe_zdXQQcw

nieuwe stream urls's

https://audio8.mixcloud.com/secure/hls/5/4/1/1/5bbc-72a0-4a97-9f29-8b809ea64eca.
m4a/streamindex-a1.m3u8

Dus de HLS streams worden niet goed geopend. Misschien dat je weer m4a's moet hebben?
VLC moet normaal toch gewoon HLS kunnen openen?

1 van de fragmenten is

https://audio6.mixcloud.com/secure/dash2/5/4/1/1/5bbc-72a0-4a97-9f29-8b809ea64eca.m4a/fragment-81-a1-x3.m4s

Zal best een pittige worden gok ik.

-Inloggen vereist al is een account zeer simpel te maken (wellicht dat je hier ook omheen kan of dit kan hard coden, zie onder)
-Proxy of VPN nodig om de geoblock te kunnen omzeilen. Alhoewel SBS en RTL ook geolock hebben.

Een Vlaamse developer heeft e.e.a. al uitgevogeld:

• Open the page of a video on Vier/Vijf.be
• Open the network inspector in Chrome
• Start playing the video
• Search for a POST request for api.viervijfzes.be personalization
• Right mouse click > Copy > Copy as cURL
• Copy the part after Authorization: and paste that in vier.py as the value of authorization_code.
• Now youtube-dl works for Vier/Vijf.be as before, until the authorization code expires (15 min or longer, I don't know).
• The proper solution would be to figure out how the authentication works (Amazon Cognito) and replicate that logic in Python (or other language)

Op Vier.be staat ook veel spul wat (voorheen) bij RTL Nederland stond, is dan nu verkocht aan België en bevat ondertitels.

Bij RTL Nederland staat het nog wel, maar dan verhuist het naar Videoland (betaald).
Vier.be is gratis.

E.e.a. heeft geen haast, voorbeeldje in bijlage.

vier.zip

Het uitvoeren van bashgemist.sh met de NPO livestreams geeft een http error 500 i.p.v. een URL:

# ./bashgemist.sh https://www.npostart.nl/live/npo-1 Error: err:FODC0002: Internet/HTTP Error: 500 when talking to: http://ida.omroep.nl/app.php/LI_NL1_4188102?token=5km863vlmntr5l8joe7gqvp2s3 Possible backtrace: $00000000006202B9: Q{http://www.benibela.de/2012/pxp/extensions}serialize-json + 489 $0000000000553D44: perhaps TXQTermTryCatch + 169188 ? but unlikely $000000000051EB14: perhaps TXQTermBinaryOp + 5012 ? but unlikely $0000000000506876: perhaps TXQTermModule + 6854 ? but unlikely $000000000045F148: perhaps ? ? but unlikely

Call xidel with --trace-stack to get an actual backtrace Error: err:XPST0008: Unknown variable: $json bashgemist: geen video's beschikbaar.

De niet livestream links lijken wel nog goed te functioneren:

# ./bashgemist.sh https://www.npostart.nl/nos-journaal/28-02-2017/POW_03375558 https://nl-ams-p11-am3.cdn.streamgate.nl/eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJleHAiOjE1NTQ4MzY1MTcsInVyaSI6Ilwvdm9kXC9ucG9cL3VzcFwvbnBvXC9obHNfdW5lbmNyeXB0ZWRcL1BPV18wMzM3NTU1OFwvUE9XXzAzMzc1NTU4X3Y0LmlzbSIsImNsaWVudF9pcCI6IjgzLjI0Ny4zMy44NiJ9.pCkBEICg11yrAlW1q7DaX30s-zGwHm1CjIBEEUljEaE/vod/npo/usp/npo/hls_unencrypted/POW_03375558/POW_03375558_v4.ism/POW_03375558_v4-audio=128000-video=1109000.m3u8

Is it possible to download subtitles together with the streams?

Helaas, NPO heeft z'n site en/of API aangepast. Downloads zijn niet meer mogelijk, althans: je krijgt overal een video van +500KB die meldt dat de aflevering niet beschikbaar is.

Ook de tekst in het redirected vod-pad: "DOEG" spreekt boekdelen.

Waarschijnlijk is de enige methode nog DRM met de nieuwe API... de browser/app werkt wel.

Thanx!
--MV

Hi,

Zou het misschien mogelijk zijn om bij de NPO te kunnen inloggen en op deze manier hogere kwaliteit streams te bekijken?

Groet