Skjermskraping – automatisk kopiering av større eller mindre mengder data fra en nettside for å lagre dem på din egen maskin eller server – kan være en litt teknisk krevende øvelse. Enten må du kunne såpass programmering at du kan skrive et script som henter eller du kan bruke et program som Kapow. Nå har det kommet en mye enklere måte å gjøre det på som krever langt mindre teknisk innsikt: Firefox tillegget OutWit Hub. Sammenlignet med tidligere metoder for å gjøre dette er OutWit veldig enkel å bruke. Outwit gjør det også mye enklere å kopiere enkelttabeller og datasamlinger fra nettsider manuelt.
Når du kommer til en side du vil skrape trykker du på outwit-knappen i verktøylinja. Så får du opp en stor mengde valg hvor du kan sette opp skrapingen eller bare strukturere dataene på siden og kopiere dem. Noen av funksjonene ser ut til først å komme med den kommende proffutgaven av programmet.
Hva kan du bruke skjermskraping til i journalistisk sammenheng? Kort fortalt: Det er ikke alltid lett å få tak i datasettene som enten offentlige eller private virksomheter sitter på. Når det gjelder offentlige datasamlinger har man strengt tatt krav på å få dem med offentlighetsloven i hånd, men noen ganger er det enklere bare å skrape dataene selv fra virksomhetens nettsider.Deretter kan du lage en søkbar database av informasjonen du har samlet inn. Så gjentar du skrapingen hver gang nettsiden du skraper publiserer ny informasjon og basen din blir mer og mer omfattende.
Espen Andersen – i NRK Brennpunkt – er en av en håndfull norske journalister som har brukt denne teknikken flere ganger. En av gangene han har brukt denne teknikken var for å lage den søkbare utgaven av flykesmennenes postlister. Fylkesmennene har hittil bare lagt ut oversikter over de siste dagenes inn og utgående post, uten mulighet for å søke i informasjonen. For å gjøre livet og jobben langt lettere for norske journalister skraper han alle fylkesmennene jevnlig, strukturerer dataene pent i en base og lar oss bruke dem. Nye oep.no skal etterhvert også omfatte fylkesmennene, men det gjenstår å se om det blir et bedre søk.
For flere tips og triks om nyttige teknikker og verktøy, sjekk ut bloggposten om tips og triks. Den er ikke helt oppdatert, så om du har tips om flere eller bedre triks og tjenester er det supert om du skriver en kommentar.
Enkel skjermskraping i Firefox
Skjermskraping – automatisk kopiering av større eller mindre mengder data fra en nettside for å lagre dem på din egen maskin eller server – kan være en litt teknisk krevende øvelse. Enten må du kunne såpass programmering at du kan skrive et script som henter eller du kan bruke et program som Kapow. Nå har det kommet en mye enklere måte å gjøre det på som krever langt mindre teknisk innsikt: Firefox tillegget OutWit Hub. Sammenlignet med tidligere metoder for å gjøre dette er OutWit veldig enkel å bruke. Outwit gjør det også mye enklere å kopiere enkelttabeller og datasamlinger fra nettsider manuelt.
Slik gjør du: Du må bruke firefox. Så laster du ned outwit-tillegget.
Når du kommer til en side du vil skrape trykker du på outwit-knappen i verktøylinja. Så får du opp en stor mengde valg hvor du kan sette opp skrapingen eller bare strukturere dataene på siden og kopiere dem. Noen av funksjonene ser ut til først å komme med den kommende proffutgaven av programmet.
Hva kan du bruke skjermskraping til i journalistisk sammenheng? Kort fortalt: Det er ikke alltid lett å få tak i datasettene som enten offentlige eller private virksomheter sitter på. Når det gjelder offentlige datasamlinger har man strengt tatt krav på å få dem med offentlighetsloven i hånd, men noen ganger er det enklere bare å skrape dataene selv fra virksomhetens nettsider.Deretter kan du lage en søkbar database av informasjonen du har samlet inn. Så gjentar du skrapingen hver gang nettsiden du skraper publiserer ny informasjon og basen din blir mer og mer omfattende.
Espen Andersen – i NRK Brennpunkt – er en av en håndfull norske journalister som har brukt denne teknikken flere ganger. En av gangene han har brukt denne teknikken var for å lage den søkbare utgaven av flykesmennenes postlister. Fylkesmennene har hittil bare lagt ut oversikter over de siste dagenes inn og utgående post, uten mulighet for å søke i informasjonen. For å gjøre livet og jobben langt lettere for norske journalister skraper han alle fylkesmennene jevnlig, strukturerer dataene pent i en base og lar oss bruke dem. Nye oep.no skal etterhvert også omfatte fylkesmennene, men det gjenstår å se om det blir et bedre søk.
Takk til Kevin Anderson for tipset som kom på IJ-kurset om sosiale medier i journalistikken hvor han er en av foreleserne denne uka.
For flere tips og triks om nyttige teknikker og verktøy, sjekk ut bloggposten om tips og triks. Den er ikke helt oppdatert, så om du har tips om flere eller bedre triks og tjenester er det supert om du skriver en kommentar.
Beslektede poster: