Continue instroom houdt in dat jij als contentpartner een regelmatige upload doet naar het meemoo-archiefsysteem via een geautomatiseerde flow. Deze aanlevering gebeurt via FTP of S3.
Tot 2022: via FTP
FTP is een soort doorgeefluik tussen twee computers of servers waarmee je eenvoudig bestanden kan uitwisselen. Belangrijk hierbij is dat je een snelle en vooral stabiele internetverbinding hebt met voldoende bandbreedte. Daarom bekijken we eerst samen of het lokale netwerk van je organisatie sterk genoeg is om de bestanden op te laden.
Hoe maak ik verbinding met de FTP?
Wat lever ik precies aan via FTP?
Je levert zogenaamde 'pairs' aan:
- Reeds getransformeerde metadata in XML, inclusief MD5-checksum
- Essence of archiefbestand
Belangrijk hierbij is dat er een koppeling of gedeelde naamgeving bestaat tussen de metadata en de essence! De vuistregel is bestandsnaam XML = bestandsnaam essence = hoofd lokale CP ID (minus de extensie).
Je kan voor je (externe) ontwikkelaar een technische gebruiker (technical user) laten aanmaken voor de automatische upload naar de FTP. Vraag dit account aan bij je trajectbegeleider.
Hoe werkt continue instroom via FTP precies?
De FTP-watchfolder zal continu checken of er een compleet 'pair' aangeleverd is. Er zijn dan drie opties, die gereflecteerd worden in drie folders in de incoming-map:
- Processing: de bestanden zijn opgepikt door de borndigital-component van meemoo. Deze gaat controleren of het correcte materiaal aangeleverd is.
- Incomplete: essence of metadata ontbreekt (het 'pair' is onvolledig)
- Refused: er wordt niet aan de extensievoorwaarden voldaan. Dit zijn afspraken over de scope die gemaakt worden tijdens het voortraject.
Als een correct 'pair' in scope aangeleverd is, dan wordt dit 'pair' automatisch door meemoo verwijderd van de FTP. De bestanden worden dan geïngest in het meemoo-archiefsysteem in de tenant van de contentpartner in wiens homefolder op de FTP de bestanden zijn opgeladen.
Vanaf 2023: via S3
Contentpartners die graag aan continue instroom doen, zullen vanaf 2023 valide meemoo-SIP's moeten aanleveren, via S3. Dit is nodig zodat ook jullie meervoudige objecten kunnen aanleveren.
>> Meer daarover lees je hier.
S3 is een zogenaamde 'object storage'. Meer weten? Dat kan via deze Wikipediapagina. In het kort houdt dit in dat er met objecten i.p.v. met files gewerkt wordt.
Er zullen dus meemoo-SIP's moeten aangeleverd worden, in 'bags', en geen 'pairs' meer.
De naamgeving voor de aanlevering van objecten via S3 is veel strikter dan voor files. Meer weten hierover?