1.3. Korpus#
I dhlab brukes Python-klassen Corpus for å representere et korpus. Et korpus er en samling av tekster, og kan være en bok, en avis, en samling av bøker, en samling av aviser, eller en samling av alt som er tilgjengelig.
Ved hjelp av denne klassen kan man velge ut hvilke objekter fra NBs digital samling man vil jobbe med, se metadata som forfatter, år, osv. Man kan så hente ut informasjon om teksten som frekvenslister, konkordanser, og kollokasjoner. Man kan også lese teksten via nb.no.
# Importer bibliotekene
import dhlab as dh # dhlab inneholder Corpus og andre nyttige funksjoner
from dhlab import nbtext as nb # Tekstverktøy
Her viser vi ulike måter man kan bygge korpus fra NBs samling. Et korpus kan enten være et utvalg bøker, eller et utvalg aviser. Avgrensningen kan være metadata eller innhold i selve teksten.
Den lettetste måten å definere et korpus er å bruke søk i metadata. Corpus har flere parametre som kan brukes til å avgrense korpuset.
1.3.1. Corpus-klassens parametre:#
doctype:
Type objekt man vil søke i. Har man velge mellom
"digibok"(bøker),"digavis"(aviser),"digitidsskrift"(tidsskrift),"digistorting"(stortingsdokumenter),"digimanus"(brev og manuskripter) eller"kudos"(kunnskapsdokumenter fra offentlig sektor). Standardverdien er"digibok".
author:
Navnet på en forfatter.
freetext:
Fritt søk i metadata. Kan kombinere flere av parametrene med nøkkelordene
"AND","OR"og"NOT". For eksempel:"digibok AND Ibsen".
fulltext:
Ord innenfor publikasjonen. Bruk nøkkelordene
"AND","OR"og"NOT"for å kombinere ord. For eksempel:"Ibsen AND teater".
from_year:
Startår for ønsket tidsperiode.
to_year:
Sluttår for ønsket tidsperiode.
from_timestamp:
Startdato for ønsket tidsperiode. Formatet er
YYYYMMDD, mens bøker harYYYY0101som format.
to_timestamp:
Sluttdato for ønsket tidsperiode. Formatet er som for
from_timestamp.
title:
Tittelen på dokumentet eller publikasjonen.
ddk:
Deweys desimalklassifikasjon.
subject:
Emnet eller temaet for dokumentet.
lang:
Språket dokumentet er skrevet på. 3 bokstav ISO-kode.
limit:
Grense for antall resultater som returneres. Standardverdien er 10.
order_by:
Hvordan resultatene skal sorteres. For eksempel kan det være “random” for tilfeldig sortering.
1.3.2. Eksempler#
1.3.2.1. Bygg et korpus der forfatteren er Vigdis Hjorth#
dh.Corpus(author='Vigdis Hjorth', limit=3)
| dhlabid | urn | title | authors | oaiid | sesamid | isbn10 | city | timestamp | year | publisher | langs | subjects | ddc | genres | literaryform | doctype | ocr_creator | ocr_timestamp | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 100657753 | URN:NBN:no-nb_digibok_2022082448091 | Vid hörnet på kvällen | Hjorth , Vigdis / Øien , Jan-Kåre / Falk , Ann... | oai:nb.bibsys.no:990939807284702202 | c1592098b2cfcd515d5c3b2067c3db3e | Stockholm | 1988 | 1988 | Norstedts | swe / nob | 839.82374 | novel | Skjønnlitteratur | digibok | ||||
| 1 | 100403751 | URN:NBN:no-nb_digibok_2020050848559 | Ubehaget i kulturen | Hjorth , Vigdis / Linneberg , Arild | oai:nb.bibsys.no:999919961100402202 | d7756cabad7c041cce220672a99e0f03 | 20180101 | 2018 | Cappelen Damm | nob | Kunstnermiljøer / Kunstnarmiljø | 839.8238 | novel / text | Skjønnlitteratur | digibok | nb | 20060101 | ||
| 2 | 100282495 | URN:NBN:no-nb_digibok_2016021507604 | Fattigdom | Hjorth , Vigdis | oai:nb.bibsys.no:990226577974702202 | 0bd45c23f93e63a7f493c771cd389bb0 | 8252160336 | Oslo | 20020101 | 2002 | Samlaget | nob | fattigdom / fattige / globalisering | 305.56 | Faglitteratur | digibok | nb | 20060101 |
1.3.2.2. Bygg et korpus fra Dewey 900 (trunkert), som et definert med emneord fiske i katalogdata#
Korpuset defineres med metadata som dewey, emneord, navn , år, etc. Her kan Webdewey være til god hjelp.
dh.Corpus(ddk='9*', subject='fiske', limit=3)
| dhlabid | urn | title | authors | oaiid | sesamid | isbn10 | city | timestamp | year | publisher | langs | subjects | ddc | genres | literaryform | doctype | ocr_creator | ocr_timestamp | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 100002314 | URN:NBN:no-nb_digibok_2007030701056 | Fangstmenn på de to hav | Norderval , Monrad | oai:nb.bibsys.no:999624344854702202 | 0000372b963beab2b790ba91f1c21e92 | 19570101 | 1957 | Misjonsselskapets forlag | nob | geografi/historie / arktis / fangst / fiske / ... | 919.8 | Faglitteratur | digibok | nb | 20060101 | |||
| 1 | 100650806 | URN:NBN:no-nb_pliktmonografi_000013717 | Buođo buođu : Čáhccegátte sámiid árbevierut : ... | Solbakk , Aage / Solbakk , Aage / Solbakk , Aage | oai:nb.bibsys.no:999920368802402202 | f0e3590b980603b07585bb0f43a67d8c | [Deatnu] | 2022 | 2022 | DeanuInstituhtta | mul / sme / nob | Samer / Kulturhistorie / Samar / Kulturhistori... | 948.46390049457 | tekst | Faglitteratur | digibok | |||
| 2 | 100521428 | URN:NBN:no-nb_digibok_2007052400022 | Villmarksliv : med Per fra Lappoluobbal | Tufte , Thorbjørn / Gaino , Per Larsen | oai:nb.bibsys.no:999605318154702202 | e0542cdae48dc1ca877e923432fa13f5 | 8250400283 | 19730101 | 1973 | Grøndahl | nob | Fiske / Jakt / Samer / samer | 914.846 / 914.846 / 799 | Faglitteratur | digibok | nb | 20060101 |
1.3.2.3. Korpus med bøker fra 1990 til 2000 som inneholder ordet demokrati#
dh.Corpus(doctype='digibok', fulltext='demokrati', from_year=1990, to_year=2000, limit=3)
| dhlabid | urn | title | authors | oaiid | sesamid | isbn10 | city | timestamp | year | publisher | langs | subjects | ddc | genres | literaryform | doctype | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 103 | 100097641 | URN:NBN:no-nb_digibok_2007112600077 | Med krystallkule og computer : prognoser og sc... | Selstad , Tor | oai:nb.bibsys.no:999105787534702202 | 235a0b262f1ebb20ed265645bc01e2f1 | 8200212726 | Oslo | 19910101 | 1991 | Universitetsforlaget | nob | research / social planning / Forecasting / met... | 303.49 | Faglitteratur | digibok | |
| 83 | 100108600 | URN:NBN:no-nb_digibok_2009040300003 | Samene : historie, kultur, samfunn | Hætta , Odd Mathis | oai:nb.bibsys.no:999311934784702202 | 23aefe72a27743af5072f61a8accb557 | 8276460283 | 19930101 | 1993 | Alta lærerhøgskole | nob | Kulturhistorie / Historie / Samer / Historisk ... | 305.894 | Faglitteratur | digibok | ||
| 10 | 100253082 | URN:NBN:no-nb_digibok_2015062208098 | Kunsten å omgås hverandre : en bok om ledelse,... | Fløistad , Guttorm | oai:nb.bibsys.no:999623170124702202 | e0ad973e5f790b9d4303790879eb614e | 8205189811 | [Oslo] | 19930101 | 1993 | Ad notam Gyldendal | nob | Organizational Culture / Organization and Admi... | Uklassifisert | digibok |
1.3.2.4. Korpus med flere søkeord#
dh.Corpus(doctype='digibok', fulltext='her OR kan OR du OR legge OR inn OR flere OR søkeord', from_year=2010, to_year=2020, limit=3)
| dhlabid | urn | title | authors | oaiid | sesamid | isbn10 | city | timestamp | year | publisher | langs | subjects | ddc | genres | literaryform | doctype | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 51 | 100371842 | URN:NBN:no-nb_digibok_2018042548217 | Tidlig hjelp - ikke vent og se : lesevansker h... | Grøntvedt , Kjersti K. | oai:nb.bibsys.no:991235097424702202 | f7b066477e0f76b384eebd62a409fff9 | Bryne | 20120101 | 2012 | Logometrica | nob | lesevansker / språklige / minoriteter / minori... | 371.914 / 371.9144 / 371.914 / 371.914 / 371.9... | Faglitteratur | digibok | ||
| 103 | 100601308 | URN:NBN:no-nb_digibok_2021120148012 | Hurtigruten : skipene og historien mellom stor... | Landsem, Arnstein / Pedersen, Monrad | oai:nb.bibsys.no:999919858792202202 | 100908912fcfb50a5b2f41665edc827a | 2016 | 2016 | Vigmostad & Bjørke | nob | passasjerskip / historikk / rutebåter / oppsla... | 387.52409481 | Faglitteratur | digibok | |||
| 109 | 100682508 | URN:NBN:no-nb_digibok_2025011348089 | Skeive kunstnere : Håndverkeren Genius 19 juni... | oai:nb.bibsys.no:999920573901302202 | 95be07fb49e2e5cfe469533a417b74f9 | [Oslo] | 20160101 | 2016 | [Skeive kunstnere] | mul / nor / eng | Skeiv kunst | 704.0866 | tekst / stillbilde | Faglitteratur | digibok |
1.3.2.5. Aviskorpus#
dh.Corpus(doctype='digavis', from_timestamp=20061201, to_timestamp=20070101, limit=3)
| dhlabid | urn | title | authors | oaiid | sesamid | isbn10 | city | timestamp | year | publisher | langs | subjects | ddc | genres | literaryform | doctype | ocr_creator | ocr_timestamp | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 203531103 | URN:NBN:no-nb_digavis_vestnesavisa_null_null_2... | vestnesavisa | 20061213 | 2006 | digavis | nb | 20060101 | |||||||||||
| 1 | 203916567 | URN:NBN:no-nb_digavis_agderposten_null_null_20... | agderposten | 20061214 | 2006 | digavis | nb | 20060101 | |||||||||||
| 2 | 201406947 | URN:NBN:no-nb_digavis_ranablad_null_null_20061... | ranablad | Rana | 20061207 | 2006 | digavis | nb | 20060101 |
1.3.2.6. Legg korpuset i en variabel#
Variabelen brukes til å referere til korpuset senere
korpus = dh.Corpus(ddk="9*", subject="reindrift", from_year=1960, to_year=2020, limit=5)
korpus
| dhlabid | urn | title | authors | oaiid | sesamid | isbn10 | city | timestamp | year | publisher | langs | subjects | ddc | genres | literaryform | doctype | ocr_creator | ocr_timestamp | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 100291537 | URN:NBN:no-nb_digibok_2016042648022 | Forollhogna , Skarvan og Roltdalen | Nyaas , Arne / Sandvik , Jostein / Stabell , Erik | oai:nb.bibsys.no:990925872404702202 | 03c370cb82e94a2b65d928df4ae546e9 | 20090101 | 2009 | Gyldendal | nob | Nasjonalparker / Forollhogna nasjonalpark / Sk... | 914.81 / 948.24 | Uklassifisert | digibok | nb | 20060101 | |||
| 1 | 100115552 | URN:NBN:no-nb_digibok_2012102208080 | Grenser i Sameland | Aarseth , Bjørn | oai:nb.bibsys.no:998730159834702202 | c0060a1f6e1265e59a167899aafa4e59 | 8290036256 | 19890101 | 1989 | nob | Norge / Finland / Sverige / Samer / Samisk nær... | 948.00494 | Faglitteratur | digibok | nb | 20060101 | |||
| 2 | 100364819 | URN:NBN:no-nb_digibok_2018020948033 | Reinen på Hardangervidda : natur og kultur | Vaa , Johan / Bitustøyl , Kjell | oai:nb.bibsys.no:991237194454702202 | 8358d28bbb7a9dc5f74ad6b5ba8ac8f7 | 20120101 | 2012 | Villreinutvalet på Hardangervidda | nno | dyregraver / reindrift / fjell / Norge / Rein ... | 639.1 / 639.1 / 948.28 / 639.11 / 639.109481 | Faglitteratur | digibok | nb | 20060101 | |||
| 3 | 100582026 | URN:NBN:no-nb_digibok_2021072648528 | I gränslandet : berättelsen om Klemet och Stor... | Andersson , Karl / Brygfjell , Dag | oai:nb.bibsys.no:991512880974702202 | c45f178c43877e03fdc386f25df411c3 | [Korgen] | 2015 | 2015 | Okstindan bokforlag | mul / swe / nob | Samer / Reindrift / Historie / Historie / Hist... | 920.7 | biography | Faglitteratur | digibok | nb | 20060101 | |
| 4 | 100505739 | URN:NBN:no-nb_digibok_2007113002004 | Om befolkningsutvikling og ressursforvaltning ... | Minde , Henry | oai:nb.bibsys.no:999000346374702202 | 1fa0176f15fc61ab988711e0dab28ca3 | 19890101 | 1989 | nob | bokmeldinger / reindrift / nordkalotten / same... | 948.451800494 | Faglitteratur | digibok | nb | 20060101 |
1.3.3. 2. Bruk av Corpus#
Corpus tilbyr en rekke metoder for å gjøre korpus lettere å jobbe med:
from_identifiers:
Konstruerer et Corpus fra en liste med identifikatorer.
from_df:
Typecaster en Pandas DataFrame til Corpus-klassen. DataFrame må inneholde en URN-kolonne.
from_csv:
Importerer et korpus fra csv.
extend_from_identifiers:
Utvide korpuset med en liste med identifikatorer.
evaluate_words:
Evaluerer en liste med ord mot korpuset.
add:
Verktøy for å legge til et Corpus eller en DataFrame til det eksisterende korpuset.
sample:
Oppretter et tilfeldig subkorpus med et gitt antall.
conc:
Henter kollokasjoner av gitte ord i korpuset.
coll:
Henter kollokasjoner av gitte ord i korpuset.
freq:
Henter ordfrekvenser for korpuset.
1.3.3.1. Ta vare på eller rediger korpuset i excel#
# Korpus-variabel + .corpus + .to_csv(filnavn)
korpus.frame.to_csv('korpus.csv', index=None)
# Korpus-variabel + .corpus + .csv(filnavn)
korpus.frame.to_excel('korpus.xlsx', index=None)
Importer korpus fra excel-dokument
korpus = nb.restore_metadata_from_excel('korpus.xlsx')
korpus
| dhlabid | urn | title | authors | oaiid | sesamid | isbn10 | city | timestamp | year | publisher | langs | subjects | ddc | genres | literaryform | doctype | ocr_creator | ocr_timestamp | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | 100291537 | URN:NBN:no-nb_digibok_2016042648022 | Forollhogna , Skarvan og Roltdalen | Nyaas , Arne / Sandvik , Jostein / Stabell , Erik | oai:nb.bibsys.no:990925872404702202 | 03c370cb82e94a2b65d928df4ae546e9 | NaN | NaN | 20090101 | 2009 | Gyldendal | nob | Nasjonalparker / Forollhogna nasjonalpark / Sk... | 914.81 / 948.24 | NaN | Uklassifisert | digibok | nb | 20060101 |
| 1 | 100115552 | URN:NBN:no-nb_digibok_2012102208080 | Grenser i Sameland | Aarseth , Bjørn | oai:nb.bibsys.no:998730159834702202 | c0060a1f6e1265e59a167899aafa4e59 | 8.290036e+09 | NaN | 19890101 | 1989 | NaN | nob | Norge / Finland / Sverige / Samer / Samisk nær... | 948.00494 | NaN | Faglitteratur | digibok | nb | 20060101 |
| 2 | 100364819 | URN:NBN:no-nb_digibok_2018020948033 | Reinen på Hardangervidda : natur og kultur | Vaa , Johan / Bitustøyl , Kjell | oai:nb.bibsys.no:991237194454702202 | 8358d28bbb7a9dc5f74ad6b5ba8ac8f7 | NaN | NaN | 20120101 | 2012 | Villreinutvalet på Hardangervidda | nno | dyregraver / reindrift / fjell / Norge / Rein ... | 639.1 / 639.1 / 948.28 / 639.11 / 639.109481 | NaN | Faglitteratur | digibok | nb | 20060101 |
| 3 | 100582026 | URN:NBN:no-nb_digibok_2021072648528 | I gränslandet : berättelsen om Klemet och Stor... | Andersson , Karl / Brygfjell , Dag | oai:nb.bibsys.no:991512880974702202 | c45f178c43877e03fdc386f25df411c3 | NaN | [Korgen] | 2015 | 2015 | Okstindan bokforlag | mul / swe / nob | Samer / Reindrift / Historie / Historie / Hist... | 920.7 | biography | Faglitteratur | digibok | nb | 20060101 |
| 4 | 100505739 | URN:NBN:no-nb_digibok_2007113002004 | Om befolkningsutvikling og ressursforvaltning ... | Minde , Henry | oai:nb.bibsys.no:999000346374702202 | 1fa0176f15fc61ab988711e0dab28ca3 | NaN | NaN | 19890101 | 1989 | NaN | nob | bokmeldinger / reindrift / nordkalotten / same... | 948.451800494 | NaN | Faglitteratur | digibok | nb | 20060101 |
1.3.3.2. Bygg korpus fra boksøk på nb.no#
Søk etter bøker på nb.no, legg til debugon sammen med søkekriteriet. Kopier hele siden (ctrl-A) og lim inn resultatet mellom “”” … “”” nedenfor. Kommandoen som brukes er pure_urn(<tekst>) som prøver å finne URN-er i alt mulig av tekst.
urns = nb.pure_urn("""
--- lim inn teksten her, så trekkes urn (bokas identifikator) ut i en liste:
Vigdis Hjorth : et forfatterportrett
Jenssen, Ruth | Biblioteksentralen
1994
(api)
id: 7f0b021f40bf6804bca32e5b79e8d66a
urn: URN:NBN:no-nb_digibok_2015090158054
isDigital: true
viewability: ALL
allowedFrom: NORWAY
contentClasses:
legaldeposit
bokhylla
jp2
Som om ingenting : bare om Vigdis Hjorth
Linneberg, Arild | Hjorth, Vigdis | Solstad, Dag
2009
(api)
id: 847bd73c3318f6874a66d0f969ba495a
urn: URN:NBN:no-nb_digibok_2011051820014
isDigital: true
viewability: ALL
allowedFrom: NB
contentClasses:
restricted
legaldeposit
jp2
Leve posthornet! : Vigdis Hjorth
Horn, Ellen | Riksteatret
2014
(api)
id: e6d86eeb4ac8509533d647c9793f01dc
urn: URN:NBN:no-nb_digibok_2014091948002
isDigital: true
viewability: ALL
allowedFrom: EVERYWHERE
contentClasses:
public
legaldeposit
jp2
Fryd og fare : essay om diktning og eksistens
Hjorth, Vigdis
2013
(api)
id: 5ecd6c199ff74aa7c57c2292b61df17d
urn: URN:NBN:no-nb_digibok_2018031548382
--- teksten er kuttet her
""")
# Legger til URN-prefix for hver URN
urns = ["URN:NBN:no-nb_digibok_" + x for x in urns]
c = dh.Corpus() # Tomt korpus objekt
c.extend_from_identifiers(identifiers=urns) # Legger til kodene vi hentet fra teksten over
c # Viser korpuset
| urn | dhlabid | title | authors | oaiid | sesamid | isbn10 | city | timestamp | year | publisher | langs | subjects | ddc | genres | literaryform | doctype | ocr_creator | ocr_timestamp | |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 0 | URN:NBN:no-nb_digibok_2015090158054 | 100267417.0 | Vigdis Hjorth : et forfatterportrett | Jenssen , Ruth | oai:nb.bibsys.no:999409908064702202 | 7f0b021f40bf6804bca32e5b79e8d66a | [Oslo] | 19940101.0 | 1994.0 | Biblioteksentralen | nob | Uklassifisert | digibok | nb | 20060101.0 | ||||
| 1 | URN:NBN:no-nb_digibok_2018031548382 | 100367884.0 | Fryd og fare : essay om diktning og eksistens | Hjorth , Vigdis | oai:nb.bibsys.no:991334240574702202 | 5ecd6c199ff74aa7c57c2292b61df17d | [Oslo] | 20130101.0 | 2013.0 | Cappelen Damm | nob | Historisk framstilling / Norsk litteratur / Li... | 809 / 839.824 / 809 / 839.824 | Faglitteratur | digibok | nb | 20060101.0 | ||
| 2 | URN:NBN:no-nb_digibok_2014091948002 | 100496097.0 | Leve posthornet ! : Vigdis Hjorth | Horn , Ellen | oai:nb.bibsys.no:991429153194702202 | e6d86eeb4ac8509533d647c9793f01dc | [Oslo] | 20140101.0 | 2014.0 | Riksteatret | nob | Uklassifisert | digibok | nb | 20060101.0 | ||||
| 3 | URN:NBN:no-nb_digibok_2011051820014 | 100579548.0 | Som om ingenting : bare om Vigdis Hjorth | Linneberg , Arild / Hjorth , Vigdis / Solstad ... | oai:nb.bibsys.no:990925957234702202 | 847bd73c3318f6874a66d0f969ba495a | [Oslo] | 20090101.0 | 2009.0 | Cappelen Damm | nob | Norsk litteratur | 839.828 / 839.828 | festschrift | Faglitteratur | digibok | nb | 20060101.0 |
Tilbake til DHLAB ved Nasjonalbiblioteket