resources/images/dhlab-logo-nb.png

1.3. Korpus#

I dhlab brukes Python-klassen Corpus for å representere et korpus. Et korpus er en samling av tekster, og kan være en bok, en avis, en samling av bøker, en samling av aviser, eller en samling av alt som er tilgjengelig.

Ved hjelp av denne klassen kan man velge ut hvilke objekter fra NBs digital samling man vil jobbe med, se metadata som forfatter, år, osv. Man kan så hente ut informasjon om teksten som frekvenslister, konkordanser, og kollokasjoner. Man kan også lese teksten via nb.no.

# Importer bibliotekene
import dhlab as dh # dhlab inneholder Corpus og andre nyttige funksjoner
import dhlab.nbtext as nb # Tekstverktøy

Her viser vi ulike måter man kan bygge korpus fra NBs samling. Et korpus kan enten være et utvalg bøker, eller et utvalg aviser. Avgrensningen kan være metadata eller innhold i selve teksten.

Den lettetste måten å definere et korpus er å bruke søk i metadata. Corpus har flere parametre som kan brukes til å avgrense korpuset.

1.3.1. Corpus-klassens parametre:#

  • doctype:

    • Type objekt man vil søke i. Har man velge mellom "digibok"(bøker), "digavis"(aviser), "digitidsskrift"(tidsskrift), "digistorting"(stortingsdokumenter), "digimanus"(brev og manuskripter) eller "kudos"(kunnskapsdokumenter fra offentlig sektor). Standardverdien er "digibok".

  • author:

    • Navnet på en forfatter.

  • freetext:

    • Fritt søk i metadata. Kan kombinere flere av parametrene med nøkkelordene "AND", "OR" og "NOT". For eksempel: "digibok AND Ibsen".

  • fulltext:

    • Ord innenfor publikasjonen. Bruk nøkkelordene "AND", "OR" og "NOT" for å kombinere ord. For eksempel: "Ibsen AND teater".

  • from_year:

    • Startår for ønsket tidsperiode.

  • to_year:

    • Sluttår for ønsket tidsperiode.

  • from_timestamp:

    • Startdato for ønsket tidsperiode. Formatet er YYYYMMDD, mens bøker har YYYY0101 som format.

  • to_timestamp:

    • Sluttdato for ønsket tidsperiode. Formatet er som for from_timestamp.

  • title:

    • Tittelen på dokumentet eller publikasjonen.

  • ddk:

    • Deweys desimalklassifikasjon.

  • subject:

    • Emnet eller temaet for dokumentet.

  • lang:

    • Språket dokumentet er skrevet på. 3 bokstav ISO-kode.

  • limit:

    • Grense for antall resultater som returneres. Standardverdien er 10.

  • order_by:

    • Hvordan resultatene skal sorteres. For eksempel kan det være “random” for tilfeldig sortering.

1.3.2. Eksempler#

1.3.2.1. Bygg et korpus der forfatteren er Vigdis Hjorth#

dh.Corpus(author='Vigdis Hjorth', limit=3)
dhlabid urn title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype ocr_creator ocr_timestamp
0 100640602 URN:NBN:no-nb_pliktmonografi_000000479 Endelig sommer Ambjørnsen , Ingvar / Majid , Shazia / Loe , E... oai:nb.bibsys.no:999920146303102202 bc5a2c41eb165363789e6d9cd18627ac Oslo 2021 2021 Cappelen Damm nob Norske noveller / Samlinger / Norske noveller ... 839.823008 fiction / tekst Skjønnlitteratur digibok
1 100391675 URN:NBN:no-nb_digibok_2018102207021 Leve posthornet ! : roman Hjorth , Vigdis oai:nb.bibsys.no:991224636334702202 2cd64275535e167e30e84d5591691121 [Oslo] 20120101 2012 Cappelen Damm nob norsk / litteratur / norske / romaner / 2010-t... 839.82 / 839.82 / 839.8238 / 839.823 novel Skjønnlitteratur digibok nb 20060101
2 100193587 URN:NBN:no-nb_digibok_2014022706020 Fordeler og ulemper ved å være til : roman Hjorth , Vigdis oai:nb.bibsys.no:990925944504702202 d25394b7d5bf0135776f24abe00acbc2 [Oslo] 20090101 2009 Cappelen Damm nob 839.823 novel Skjønnlitteratur digibok nb 20060101

1.3.2.2. Bygg et korpus fra Dewey 900 (trunkert), som et definert med emneord fiske i katalogdata#

Korpuset defineres med metadata som dewey, emneord, navn , år, etc. Her kan Webdewey være til god hjelp.

dh.Corpus(ddk='9*', subject='fiske', limit=3)
dhlabid urn title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype ocr_creator ocr_timestamp
0 100002314 URN:NBN:no-nb_digibok_2007030701056 Fangstmenn på de to hav Norderval , Monrad oai:nb.bibsys.no:999624344854702202 0000372b963beab2b790ba91f1c21e92 19570101 1957 Misjonsselskapets forlag nob geografi/historie / arktis / fangst / fiske / ... 919.8 Faglitteratur digibok nb 20060101
1 100659676 URN:NBN:no-nb_digibok_2022111748021 Kapteinsgården i Lærdal : livet på gården og p... Flinder , Ida Marie Refsum oai:nb.bibsys.no:990601415814702202 f6121a803fcc38d6e9df6d5fddac162a Oslo 2000 2000 Astrup Fearnley A/S nob Lokalhistorie / Laks / Fiske / Sportsfiske 948.3815 Faglitteratur digibok
2 100606567 URN:NBN:no-nb_digibok_2021101148545 Fiskerne i Gaza Hammervold , Jan P. oai:nb.bibsys.no:999919920071602202 8d60d840c73ecccd40e63319787c39d1 2018 2018 Forl. Rødt nob Fiskerier / Palestina-spørsmålet / Politikk / ... 956.943 text Faglitteratur digibok nb 20060101

1.3.2.3. Korpus med bøker fra 1990 til 2000 som inneholder ordet demokrati#

dh.Corpus(doctype='digibok', fulltext='demokrati', from_year=1990, to_year=2000, limit=3)
dhlabid urn title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype
55 100487706 URN:NBN:no-nb_digibok_2010112405036 Praha : den magiske byen Thor , Clas / Newth , Eirik oai:nb.bibsys.no:999203247204702202 a96710ff76bf5395548cf38ce0177f33 8257409308 / 8210034758 Oslo 19920101 1992 Tiden nob / swe tsjekkoslovakia / geografi / praha / reiser 914.3704 Uklassifisert digibok
80 100459382 URN:NBN:no-nb_digibok_2010021103005 Ord for alt. A : Språkbok Tørjesen , Torill Wiiger / Aass , Torunn Eide oai:nb.bibsys.no:999819067454702202 f568206dfd358d7e06069d07ceb1f4e7 8202171237 [Oslo] 19980101 1998 Cappelen nno norsk / grunnskole / lærebøker Uklassifisert digibok
30 100209794 URN:NBN:no-nb_digibok_2014061308041 Oljealder : 1965-1995 Tamnes , Rolf oai:nb.bibsys.no:999728883494702202 0f997436d01a27457cd059702ad3d1f6 8200228932 / 8200226395 19970101 1997 Universitetsforl. nob Foreign policy / International relations / Int... 327.481 / 327.481 Faglitteratur digibok

1.3.2.4. Korpus med flere søkeord#

dh.Corpus(doctype='digibok', fulltext='her OR kan OR du OR legge OR inn OR flere OR søkeord', from_year=2010, to_year=2020, limit=3)
dhlabid urn title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype
71 100664429 URN:NBN:no-nb_digibok_2021072248516 Norsk historie 1536-1814 : vegar til sjølvstende Dyrvik, Ståle oai:nb.bibsys.no:991126399924702202 dfc2b1c29cc35653c9ba2b0abe03b357 2011 2011 Samlaget nno Historie / Norge / Nyere tid / Oppslagsbøker /... 948.103 / 948.1 / 948.102 / 948.1 / 948.1 Faglitteratur digibok
20 100229375 URN:NBN:no-nb_digibok_2014101638109 XXX Viken , Anne oai:nb.bibsys.no:991016807914702202 00097c42b7a8558bedc20f9ca5f79342 Oslo 20100101 2010 Flamme forl. nob 839.821 poetry Skjønnlitteratur digibok
94 100607710 URN:NBN:no-nb_digibok_2021120148609 Et hav av minner Valpy, Fiona / Foss, Guri oai:nb.bibsys.no:999919933575602202 4bd8123b5438a04f1331cd0983924716 Oslo 2018 2018 Cappelen Damm nob / eng 823.92 novel Skjønnlitteratur digibok

1.3.2.5. Aviskorpus#

dh.Corpus(doctype='digavis', from_timestamp=20061201, to_timestamp=20070101, limit=3)
dhlabid urn title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype ocr_creator ocr_timestamp
0 204038625 URN:NBN:no-nb_digavis_ostlendingen_null_null_2... ostlendingen 20061212 2006 digavis nb 20060101
1 203591050 URN:NBN:no-nb_digavis_ostlandetsblad_null_null... ostlandetsblad 20061229 2006 digavis nb 20060101
2 202679594 URN:NBN:no-nb_digavis_porsgrunnsdagblad_null_n... porsgrunnsdagblad Porsgrunn 20061215 2006 digavis nb 20060101

1.3.2.6. Legg korpuset i en variabel#

Variabelen brukes til å referere til korpuset senere

korpus = dh.Corpus(ddk="9*", subject="reindrift", from_year=1960, to_year=2020, limit=5)
korpus
dhlabid urn title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype ocr_creator ocr_timestamp
0 100365971 URN:NBN:no-nb_digibok_2018030248103 Om sørsamisk historie : foredrag fra seminar p... Lyngman , Susanne oai:nb.bibsys.no:990715892284702202 880a89550bf8b4c936eba2b1af050d3a 20070101 2007 Stiftelsen Saemien Sijte mul / nob / swe / nno Sørsamer / Historie / Samisk kulturminner / Sa... 948 / 948 Faglitteratur digibok nb 20060101
1 100472261 URN:NBN:no-nb_digibok_2010032307035 I villreinens rike : Setesdal Vesthei , Ryfylk... Frøstrup , Johan Christian / Bang-Andersen , S... oai:nb.bibsys.no:990001151004702202 d6e1d58a454d2c15b44d9a225d948c1d 8291495149 19990101 1999 Friluftsforl. nob Rein / Jakt / Landskap / Lokalhistorie / Reind... 948.3 / 799.2765 Faglitteratur digibok nb 20060101
2 100364819 URN:NBN:no-nb_digibok_2018020948033 Reinen på Hardangervidda : natur og kultur Vaa , Johan / Bitustøyl , Kjell oai:nb.bibsys.no:991237194454702202 8358d28bbb7a9dc5f74ad6b5ba8ac8f7 20120101 2012 Villreinutvalet på Hardangervidda nno dyregraver / reindrift / fjell / Norge / Rein ... 639.1 / 639.1 / 948.28 / 639.11 / 639.109481 Faglitteratur digibok nb 20060101
3 100120396 URN:NBN:no-nb_digibok_2012111607025 Veodalen : en dal og dens folk Henriksen , Vera oai:nb.bibsys.no:990115559984702202 aaa1f2bfad4f575a72f9f451b9d3d287 8202208904 20010101 2001 Cappelen nob Norge / turisthytter / seterdrift / reindrift ... 948.2513 Faglitteratur digibok nb 20060101
4 100251490 URN:NBN:no-nb_digibok_2014110607503 Tundraens folk Ravna , Øyvind / Kerner , Karl N. / Olsen , Ro... oai:nb.bibsys.no:990112932924702202 5f9905f7ad3e3fedb4a4a2d0d1d35eba 8252926010 [Oslo] 20010101 2001 Landbruksforl. mul / nob / sme Kolasamer / Urbefolkninger / Reindriftsnæring ... 947 Faglitteratur digibok nb 20060101

1.3.3. 2. Bruk av Corpus#

Corpus tilbyr en rekke metoder for å gjøre korpus lettere å jobbe med:

  • from_identifiers:

    • Konstruerer et Corpus fra en liste med identifikatorer.

  • from_df:

    • Typecaster en Pandas DataFrame til Corpus-klassen. DataFrame må inneholde en URN-kolonne.

  • from_csv:

    • Importerer et korpus fra csv.

  • extend_from_identifiers:

    • Utvide korpuset med en liste med identifikatorer.

  • evaluate_words:

    • Evaluerer en liste med ord mot korpuset.

  • add:

    • Verktøy for å legge til et Corpus eller en DataFrame til det eksisterende korpuset.

  • sample:

    • Oppretter et tilfeldig subkorpus med et gitt antall.

  • conc:

    • Henter kollokasjoner av gitte ord i korpuset.

  • coll:

    • Henter kollokasjoner av gitte ord i korpuset.

  • freq:

    • Henter ordfrekvenser for korpuset.

1.3.3.1. Ta vare på eller rediger korpuset i excel#

# Korpus-variabel + .corpus + .to_csv(filnavn)
korpus.frame.to_csv('korpus.csv', index=None)
# Korpus-variabel + .corpus + .csv(filnavn)
korpus.frame.to_excel('korpus.xlsx', index=None)

Importer korpus fra excel-dokument

korpus = nb.restore_metadata_from_excel('korpus.xlsx')
korpus
dhlabid urn title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype ocr_creator ocr_timestamp
0 100365971 URN:NBN:no-nb_digibok_2018030248103 Om sørsamisk historie : foredrag fra seminar p... Lyngman , Susanne oai:nb.bibsys.no:990715892284702202 880a89550bf8b4c936eba2b1af050d3a NaN NaN 20070101 2007 Stiftelsen Saemien Sijte mul / nob / swe / nno Sørsamer / Historie / Samisk kulturminner / Sa... 948 / 948 NaN Faglitteratur digibok nb 20060101
1 100472261 URN:NBN:no-nb_digibok_2010032307035 I villreinens rike : Setesdal Vesthei , Ryfylk... Frøstrup , Johan Christian / Bang-Andersen , S... oai:nb.bibsys.no:990001151004702202 d6e1d58a454d2c15b44d9a225d948c1d 8.291495e+09 NaN 19990101 1999 Friluftsforl. nob Rein / Jakt / Landskap / Lokalhistorie / Reind... 948.3 / 799.2765 NaN Faglitteratur digibok nb 20060101
2 100364819 URN:NBN:no-nb_digibok_2018020948033 Reinen på Hardangervidda : natur og kultur Vaa , Johan / Bitustøyl , Kjell oai:nb.bibsys.no:991237194454702202 8358d28bbb7a9dc5f74ad6b5ba8ac8f7 NaN NaN 20120101 2012 Villreinutvalet på Hardangervidda nno dyregraver / reindrift / fjell / Norge / Rein ... 639.1 / 639.1 / 948.28 / 639.11 / 639.109481 NaN Faglitteratur digibok nb 20060101
3 100120396 URN:NBN:no-nb_digibok_2012111607025 Veodalen : en dal og dens folk Henriksen , Vera oai:nb.bibsys.no:990115559984702202 aaa1f2bfad4f575a72f9f451b9d3d287 8.202209e+09 NaN 20010101 2001 Cappelen nob Norge / turisthytter / seterdrift / reindrift ... 948.2513 NaN Faglitteratur digibok nb 20060101
4 100251490 URN:NBN:no-nb_digibok_2014110607503 Tundraens folk Ravna , Øyvind / Kerner , Karl N. / Olsen , Ro... oai:nb.bibsys.no:990112932924702202 5f9905f7ad3e3fedb4a4a2d0d1d35eba 8.252926e+09 [Oslo] 20010101 2001 Landbruksforl. mul / nob / sme Kolasamer / Urbefolkninger / Reindriftsnæring ... 947 NaN Faglitteratur digibok nb 20060101

1.3.3.2. Bygg korpus fra boksøk på nb.no#

Søk etter bøker på nb.no, legg til debugon sammen med søkekriteriet. Kopier hele siden (ctrl-A) og lim inn resultatet mellom “”” … “”” nedenfor. Kommandoen som brukes er pure_urn(<tekst>) som prøver å finne URN-er i alt mulig av tekst.

urns = nb.pure_urn("""

--- lim inn teksten her, så trekkes urn (bokas identifikator) ut i en liste:
Vigdis Hjorth : et forfatterportrett
Jenssen, Ruth | Biblioteksentralen
1994
(api)
id: 7f0b021f40bf6804bca32e5b79e8d66a
urn: URN:NBN:no-nb_digibok_2015090158054
isDigital: true
viewability: ALL
allowedFrom: NORWAY
contentClasses:
legaldeposit
bokhylla
jp2
Som om ingenting : bare om Vigdis Hjorth
Linneberg, Arild | Hjorth, Vigdis | Solstad, Dag
2009
(api)
id: 847bd73c3318f6874a66d0f969ba495a
urn: URN:NBN:no-nb_digibok_2011051820014
isDigital: true
viewability: ALL
allowedFrom: NB
contentClasses:
restricted
legaldeposit
jp2
Leve posthornet! : Vigdis Hjorth
Horn, Ellen | Riksteatret
2014
(api)
id: e6d86eeb4ac8509533d647c9793f01dc
urn: URN:NBN:no-nb_digibok_2014091948002
isDigital: true
viewability: ALL
allowedFrom: EVERYWHERE
contentClasses:
public
legaldeposit
jp2
Fryd og fare : essay om diktning og eksistens
Hjorth, Vigdis
2013
(api)
id: 5ecd6c199ff74aa7c57c2292b61df17d
urn: URN:NBN:no-nb_digibok_2018031548382
--- teksten er kuttet her
""")
# Legger til URN-prefix for hver URN
urns = ["URN:NBN:no-nb_digibok_" + x for x in urns]
c = dh.Corpus() # Tomt korpus objekt
c.extend_from_identifiers(identifiers=urns) # Legger til kodene vi hentet fra teksten over
c # Viser korpuset
urn dhlabid title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype ocr_creator ocr_timestamp
0 URN:NBN:no-nb_digibok_2015090158054 100267417.0 Vigdis Hjorth : et forfatterportrett Jenssen , Ruth oai:nb.bibsys.no:999409908064702202 7f0b021f40bf6804bca32e5b79e8d66a [Oslo] 19940101.0 1994.0 Biblioteksentralen nob Uklassifisert digibok nb 20060101.0
1 URN:NBN:no-nb_digibok_2018031548382 100367884.0 Fryd og fare : essay om diktning og eksistens Hjorth , Vigdis oai:nb.bibsys.no:991334240574702202 5ecd6c199ff74aa7c57c2292b61df17d [Oslo] 20130101.0 2013.0 Cappelen Damm nob Historisk framstilling / Norsk litteratur / Li... 809 / 839.824 / 809 / 839.824 Faglitteratur digibok nb 20060101.0
2 URN:NBN:no-nb_digibok_2014091948002 100496097.0 Leve posthornet ! : Vigdis Hjorth Horn , Ellen oai:nb.bibsys.no:991429153194702202 e6d86eeb4ac8509533d647c9793f01dc [Oslo] 20140101.0 2014.0 Riksteatret nob Uklassifisert digibok nb 20060101.0
3 URN:NBN:no-nb_digibok_2011051820014 100579548.0 Som om ingenting : bare om Vigdis Hjorth Linneberg , Arild / Hjorth , Vigdis / Solstad ... oai:nb.bibsys.no:990925957234702202 847bd73c3318f6874a66d0f969ba495a [Oslo] 20090101.0 2009.0 Cappelen Damm nob Norsk litteratur 839.828 / 839.828 festschrift Faglitteratur digibok nb 20060101.0

Tilbake til DHLAB ved Nasjonalbiblioteket