Project Ubuntu Newznab Server

Project Ubuntu Newznab Server

Na het project van vorig jaar om naast de XBMC HTPC ook een Ubuntu LAMP server te maken van een oude PC om met CouchPotato en SickBeard via SabNZBd films te gaan downloaden vanaf Usenet Newsgroepen. Bleek echter al snel dat deze qua hardware niet voldeed. Lees te traag was. Daarom in plaats van de langverlangde NAS nu toch maar een nieuw werkstation gebouwd (zie project Helios ) om zodoende het oude werkstation Zeus om te kunnen bouwen tot volwaardige server. Deze oude AMD dualcore beschikt over een RAID5 met 4 disks van elk 1 Terrabyte en zou dus na modificatie uitermate geschikt zijn om als nieuwe server dienst te doen.

 

 

Verbouwing Zeus

Nadat eind vorig jaar het nieuwe werkstation gereed was werd het dus tijd om het oude werkpaard eens grondig onder handen te nemen. Er was vorig al een nieuwe voeding in geplaatst en ook de opstartdisk was vervangen door een SSD van 128 Gb.

 

Zeus open
 Zeus front, links (0nder) de HDD bracket met 4 sata disks van 1Tb

 

 Nu moest er nog een case-fan en de CPU-fan vervangen worden door stillere nieuwe versies, de SSD lag nog los dus die kreeg een bracket om in te rusten. En er werd nog een poginggedaan om de GPU te vervangen door een snellere met pasieve koeling.

 

Zeus bovenzijde
 Van bovenaf gezien, SSD bracket geplaatst, nieuwe case- en CPU-fan geplaatst.

 

 Daarna werd alles eens grondig schoongemaakt en de kabels wat beter gemanaged. Vervolgens was het systeem aan de beurt. Na een uitgebreide backup-actie was het tijd om naast het bestaande Windows XP als Dualboot de Ubuntu Server software te installeren. Hiervoor de laatste versie Server 12.10 64 bits (Quantal Quetzal) gedownload, vervolgens de windows partitie verkleind en het besturingssysteem met Grub2 opstart erbij geïnstalleerd op de SSD.

 

Installatie
 Ubuntu server 12.10 64b Installatie met LAMP

 

 Na de installatie de LAMP configuratie aangemaakt oftewel Linux, Apache, MySQL en PHP erop gezet met SSH en Samba ten behoeve van netwerksharing. Nadathet nieuwe werkstation op de studeer anex computerkamer was geplaatst en een oude MP3 / AVI server plaats had gemaakt werd ook de nieuwe Ubuntu LAMP server naar boven gehaald en tussen het nieuwe werkstation Helios en de oude Ubuntu server Calypso geplaatst.

 

Computers
Vlnr new workstation Intell i5 with 2 screens win 7 prof. - Ubuntu 12.10 64bit (Helios ) next to it; old workstation - new LAMP server AMDAthlonWinXP - Ubuntu 12.10 server 64bit (ZEUS ) , very old Linux server Ubuntu 11.04 LTS 32bit (Calypso)

 

 

Installatie downloadsoftware

Om de oude Ubuntu server te vervangen moest de nieuwe LAMP server nog van de nodige downloadsoftware worden voorzien. Eerst dus SabNZBd gedownload en geïnstallerd, daarna CouchPotato en SickBeard er op gezet en vervolgens aan de voorbereidinge voor Newznab begonnen.

Dit zou niet eenvoudig worden dat wist ik al. Ondanks een beetje kennis van PHP , MySQL en Apache zou er heel veel via de terminal commandline geïnstalleerd en geconfigureerd moeten worden en zelfs hier en daar moesten de nodige PHP en ini files aangepast worden. Zie voor dit gedeelte van het project de technische samenvatting op Johfrael MyWiki: Project Newznab Ubuntu server 12.10

Om te beginnen moest er een betaalde versie van Newznab+ gedownload worden. Hierbij krijg je per email een Newznab+ usercode om de download mee op te halen. Na deze op de juiste plaats uitgepakt te hebben eerst alles update en upgraden, vervolgens PHP configureren, een MySQL database aanmakenn en de voorbereidngen voor de Apache webserver ten behoeve van Newznab en vervolgens Apache configureren. Dan moeten er nog een aantal andere pakketjes gedownload en geïnstallerd worden zoals:

  • Unrar
  • FFmpeg (X264 / fdk-aac / libvpx)
  • Lame
  • MediaInfo
  • Sphinx

Uiteindelijk kan dan de Newznab installatie plaatsvinden welke voor een deel vanuit een web-based installer in een browser gebeurd. Na de installatie moet Newnab nog geconfigureerd worden en na het updaten en aanpassen van een aantal zaken kan je beginnen met de instellingen voor zoeken, indexen en downloaden.

Pas na het invullen van de  3rd Party Application Paths en het instellen van Groups, Usenet Settings, Lookup Settings, Password Settings en de Sphinx Settings, kan er begonnen worden met met het updaten en vullen van de php binaries en releases.

Na de eerste zoekfuncties ziet Newznab er als volgt uit: 

 

 
 Newznab server  
Schermafbeelding van Newznab Server.  
 Newznab Plus  
 

En dan is het de beurt aan de server en software om te indexeren. Je kan nog wat instellingen wijzigen en automatiseren maarhet grote werk zit erop en nu kun je afwachten wat er aan NZB's wordt gecreëerd.

Waarom een eigen indexserver?

Waarom zoveel moeite doen om zelf een server met indexsysteem te maken. Ja dat is een goede vraag, er zijn vollop ander alternatieven zoals Torrents, Spotnet en Spotweb  en talloze NZB indexeringssites. De beste indexeerders zijn echter ermee moeten stopppen vanwege acties van stichting BREIN. Een daarvan was NZBmatrix die voor 80-90% zorgde voor goed geindexeerde NZB's. Als je gebruikt maakt van automatische downloadprogramma's zoals CouchPotato en SickBeard om in de juiste gewenste HD kwaliteit met of zonder ondertiteling films te downloaden ben je echter afhankelijk van goede indexeringen. Die waren er steeds minder en wer het dus steeds moeilijker om gratis aan NZB's te komen. Er zijn wel indexeringssites waar je tegen betaling of alleen door een invite op uitnodiging kon inschrijven. Maar om daarvoor in aanmerking te komen viel niet mee. Veel van deze indexeringssites maken gebruik van de techniek van Newznab. En als je toch al in Ubuntu op een LAMP server met Ubuntu en SickBeard via SabNZBd bezig bent is het dus helemaal geen slecht idee om zelf een private server op te zetten. Dan ben je immers niet afhankelijk van andere indexers die niet openbaar kunnen opereren omdat ze dan door middel van Takedown-requests en bedreigingen met financiële sancties of embargo van betaalsites moeten sluiten omdat hetgeen ze aanbieden illegaal is. (NB: Ook het downloaden kan overigens illegaal zijn.)

Newznab is een Content Management Systeem (CMS) voor een website die automatisch binaries van Usenet indexeert en via een regex categoriseert en voorziet van informatie. Daarbij wordt alles zo ingedeeld dat programma's zoals Sickbeard, Couchpotato e.a. er via een api-sleutel bij kunnen, en dus zo naar nzb's kunnen zoeken voor de door jou opgegeven zoektermen. nzb.su is een "live"-voorbeeld van een newznab-site.

 

 

Disclaimer/waarschuwing:

Let op!
Het is volgens de wet niet toegestaan om auteursrechtelijk beschermd materiaal te verspreiden en ook niet om dit te downloaden. Niets op deze site is bedoeld als schending van auteursrechten of ter bevordering van verspreiden danwel downloaden van illegaal materiaal.

Zie meer hierover op deze website: http://www.downloadverbod.nl/