Het ideale datafeed-systeem voor netwerken

Momenteel ben ik met een project bezig waar veel informatie uit affiliate-datafeeds samengebracht zal worden. Door de grote variatie in formaten waarin de datafeeds worden aangeleverd is dit nog lastiger dan je op het eerste oog zou denken. Veel van deze variatie kan aan de kant van de netwerken door techniek worden opgelost, de rest zal in samenwerking met de merchants (en de nodige publisher input) gedaan moeten worden. Bij deze mijn input, hoe zou mijn ideale datafeed-systeem bij de netwerken er uit zien?

XML/CSV

Iets wat tegenwoordig elk affiliatenetwerk ondersteunt zijn de verschillende bestandsoorten, XML & CSV. Niets op aan te merken, en behoeft verder weinig uitleg.

Encoding

Iets wat nog niet elk netwerk ondersteunt is de keuze tussen verschillende vormen encoding. De meest gebruikte encodings zijn iso-8859-1 en utf-8. Bij TradeDoubler zijn er momenteel negen verschillende encodings te vinden, terwijl hier bijvoorbeeld bij Daisycon nog geen keuze in lijkt te zijn waardoor er nogal eens wat vreemde tekens en/of vraagtekens op het scherm getoverd worden.

HTML aan/uitzetten

De mogelijkheid om HTML in de velden aan of uit te zetten zou ook een standaard moeten zijn. Terwijl de ene merchant enkel plain tekst aan levert, levert de ander velden vol met HTML codes om bijvoorbeeld de product omschrijving te ordenen en bepaalde woorden vetgedrukt te maken. Laat deze keuze aan de publisher door de HTML-tags er optioneel uit te filteren. TradeTracker ondersteund dit momenteel al.

Velden zelf samenstellen

Waarom alle velden downloaden en verwerken terwijl je wellicht maar de helft gebruikt? Bij Zanox is het al mogelijk om elke kolom te selecteren en al dan niet te verwerken in de datafeed. Gebruik je bijvoorbeeld geen omschrijving? Haal deze dan uit je feed. Op deze manier beperk je de feed enkel tot de data die je ook daadwerkelijk gebruikt.

Specifieke velden

Het komt nog dikwijls voor dat een merchant in één veld verschillende vormen van informatie aan levert. In plaats van drie velden met “land”;”regio”;”plaats” krijgen we dan één veld waar de termen na elkaar staan met een scheidingsteken als / of -. Voorkom dat publishers je hierdoor links laten liggen en geef elk stukje informatie een eigen veld!

Compressie

Met name voor sommige grote datafeeds – die vaak genoeg ieder etmaal worden gedownload – kan het veel dataverbruik schelen als de publisher de optie heeft om de feeds gecomprimeerd binnen te halen. Zanox en TradeDoubler ondersteunen deze optie al en leveren de bestanden (optioneel) in ZIP/GZ formaat, waar geen enkele server problemen mee zal hebben om uit te pakken.

Update feed

Iets wat nog veel meer winst in dataverbruik op kan leveren, is het aanbieden van update datafeeds. Momenteel is het gebruikelijk om telkens weer de complete feed binnen te halen, zelfs al is er maar 2 % wijziging t.o.v. de laatste download. Het aanbieden van feeds die enkel de gewijzigde en verwijderbare producten doorgeeft sinds de laatste download of de laatste X dagen zou hierbij veel kunnen schelen.

Dode links controleren

Niets is vervelender dan bezoekers doorsturen naar een 404-pagina. Een taak van het netwerk is dan wat mij betreft ook het nagaan van alle productlinks op een bepaald interval. In het geval van capaciteitsproblemen kan desnoods steekproefsgewijs gecontroleerd worden door uit elke categorie een aantal links na te gaan en te cross checken met de informatie uit de datafeed.

Hetzelfde geld voor de afbeelding links. Het gebeurd nog altijd regelmatig dat een merchant de afbeeldingen verplaatst maar dit niet in de feed verwerkt. Door continu steekproeven uit te voeren kan hier sneller op worden ingespeeld door het netwerk.

Standaardisatie

Waarschijnlijk de moeilijkste, zo niet één van de moeilijkste issues wat betreft datafeeds, is standaardisatie. Het zal immers in nauw verband met de merchants moeten gebeuren. Het idee erachter is dat niet elke merchant zijn data op zijn eigen manier indeelt, maar dat er aan de kant van het netwerk per categorie één standaard komt waar de merchants zijn data in kan verwerken. Daisycon is hier al mee bezig en heeft levert op de travel-branche al een aantal gestandaardiseerde feeds aan. Als je als netwerk direct bepaalde velden verplicht stelt voorkom je dat er feeds aangeleverd worden waar de publishers niets mee kunnen door gebrek aan informatie.

Het opstellen van de standaarden zal echter al de nodige problemen veroorzaken. Een standaard voor boeken, met ieder boek zijn eigen ISBN nummer en beperkt aantal variabelen, zal een stuk eenvoudiger zijn dan een standaard voor de telecom branche. Je hebt daar niet enkel te maken met de telefoons met de bijbehorende prijzen en productinformatie, maar elke telefoon heeft gecombineerd met elk abonnement een eigen prijs, met per winkel vaak nog zijn eigen speciale aanbiedingen..

Verder zijn de merchants er momenteel nog niet klaar voor. Veel zijn al allang blij dát ze een datafeed aan kunnen leveren, laat staan dat dit precies in het formaat gebeurd zoals dat door het netwerk is opgesteld. Zoals gezegd, dit zal de moeilijkste stap zijn, maar het netwerk met een goed aantal gestandaardiseerde feeds zal mijn inziens zeker een streep voor hebben!

Afsluitend

Zoals altijd heeft alles wel een keerzijde. Een aanzienlijk deel van bovenstaande punten valt via technische trucjes ook aan de publisherkant op te lossen. Het voordeel hierbij is dat publishers die met alle uitzonderingen om kunnen gaan simpelweg minder concurrentie hebben dan wanneer iedereen de feeds eenvoudig in zijn/haar site kan verwerken. Toch zou het voor “het grote plaatje” beter uitpakken als deze punten al bij het netwerk worden aangepakt. Ik hoop dat er wellicht wat netwerken meelezen en er ook daadwerkelijk wat aan hebben! Voor meer informatie ben ik uiteraard te bereiken.

Verder wil ik iedereen vragen om aan te geven wat jij zoal aan dit lijstje toe te voegen en/of te veranderen hebt!

Over Wilco de Kreij

Wilco is een 26-jarige internet ondernemer met een grote passie voor online marketing. Hij heeft door de jaren heen vele verschillende (online) ondernemingen opgezet, in zowel binnen- als buitenland. Je vindt hem ook op Twitter & Google+.

Reacties

  1. Hey Wilco,

    goede opsomming! Na meer dan een jaar experimenteren met telecom datafeeds ben ik ook wel redelijk thuis is het geheel. De punten die je hier noemt zijn geloof ik wel de belangrijkste. Enige punt wat ik nog zou willen toevoegen is:

    Niet zomaar een feed veranderen.
    Helaas komt het nogal eens voor dat een adverteerder van de ene op de andere dag de layout of inhoud van een datafeed veranderd. Hebben we net met heel veel moeite en filters een feed weten te gebruiken, veranderd men ineens de structuur. Het lijkt me een kleine moeite om dit vooraf aan te kondigen en bijvoorbeeld nog een tijd de oude aan te blijven bieden. De nieuwe feed kan dan via een andere url geplaatst worden en iedere gebruiker kan zelf bepalen wanneer hij overstapt [binnen redelijke termijn]

  2. Hey Roger! Leuk dat je hier ook meeleest :)

    Goed punt! Had die ook in m’n hoofd maar ben die (blijkbaar) vergeten te beschrijven.. Beste oplossing is idd zoals je al aangeeft de oude & nieuwe feed even naast elkaar hosten met een periode overlap, en iedereen die de oude feed nog download een mailtje sturen. Thnx voor je toevoeging!

  3. Prima wensenlijstje. Misschien ook leuk voor affiliateblog.nl?

Laat wat van je horen

*


  • cheap nfl jerseys
  • wholesale jerseys
  • wholesale nfl jerseys china
  • cheap super bowl jerseys