Ctrl+K

Korpus

resources/images/dhlab-logo-nb.png

1.3. Korpus#

I dhlab brukes Python-klassen Corpus for å representere et korpus. Et korpus er en samling av tekster, og kan være en bok, en avis, en samling av bøker, en samling av aviser, eller en samling av alt som er tilgjengelig.

Ved hjelp av denne klassen kan man velge ut hvilke objekter fra NBs digital samling man vil jobbe med, se metadata som forfatter, år, osv. Man kan så hente ut informasjon om teksten som frekvenslister, konkordanser, og kollokasjoner. Man kan også lese teksten via nb.no.

# Importer bibliotekene
import dhlab as dh # dhlab inneholder Corpus og andre nyttige funksjoner
import dhlab.nbtext as nb # Tekstverktøy

Her viser vi ulike måter man kan bygge korpus fra NBs samling. Et korpus kan enten være et utvalg bøker, eller et utvalg aviser. Avgrensningen kan være metadata eller innhold i selve teksten.

Den lettetste måten å definere et korpus er å bruke søk i metadata. Corpus har flere parametre som kan brukes til å avgrense korpuset.

1.3.1. Corpus-klassens parametre:#

  • doctype:

    • Type objekt man vil søke i. Har man velge mellom "digibok"(bøker), "digavis"(aviser), "digitidsskrift"(tidsskrift), "digistorting"(stortingsdokumenter), "digimanus"(brev og manuskripter) eller "kudos"(kunnskapsdokumenter fra offentlig sektor). Standardverdien er "digibok".

  • author:

    • Navnet på en forfatter.

  • freetext:

    • Fritt søk i metadata. Kan kombinere flere av parametrene med nøkkelordene "AND", "OR" og "NOT". For eksempel: "digibok AND Ibsen".

  • fulltext:

    • Ord innenfor publikasjonen. Bruk nøkkelordene "AND", "OR" og "NOT" for å kombinere ord. For eksempel: "Ibsen AND teater".

  • from_year:

    • Startår for ønsket tidsperiode.

  • to_year:

    • Sluttår for ønsket tidsperiode.

  • from_timestamp:

    • Startdato for ønsket tidsperiode. Formatet er YYYYMMDD, mens bøker har YYYY0101 som format.

  • to_timestamp:

    • Sluttdato for ønsket tidsperiode. Formatet er som for from_timestamp.

  • title:

    • Tittelen på dokumentet eller publikasjonen.

  • ddk:

    • Deweys desimalklassifikasjon.

  • subject:

    • Emnet eller temaet for dokumentet.

  • lang:

    • Språket dokumentet er skrevet på. 3 bokstav ISO-kode.

  • limit:

    • Grense for antall resultater som returneres. Standardverdien er 10.

  • order_by:

    • Hvordan resultatene skal sorteres. For eksempel kan det være “random” for tilfeldig sortering.

1.3.2. Eksempler#

1.3.2.1. Bygg et korpus der forfatteren er Vigdis Hjorth#

dh.Corpus(author='Vigdis Hjorth', limit=3)
dhlabid urn title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype ocr_creator ocr_timestamp
0 100289474 URN:NBN:no-nb_digibok_2016040508206 Forfatterne møter Kierkegaard Sæterbakken , Stig / Dahle , Gro / Ørstavik , ... oai:nb.bibsys.no:991313581624702202 daeb5dd26d62e6f0f148ebb2b39f350b Oslo 20130101 2013 Forl. Press mul / nob / dan Resepsjon / Eksistensialisme / Nordmenn / Forf... 198.9 / 198.9 / 198.9 / 198.9092 / 198.9 Faglitteratur digibok nb 20060101
1 100223880 URN:NBN:no-nb_digibok_2014090408133 Skal vi være venner ? Vestly , Anne-Cath . / Nilsson-Brännström , Mo... oai:nb.bibsys.no:990210682594702202 86868653012e01a7ce61f4c491a0aa8a 8252542948 Oslo 20020101 2002 Bokklubbens barn nob vennskap / barnebøker / fortellinger Uklassifisert digibok nb 20060101
2 100216983 URN:NBN:no-nb_digibok_2014070705108 Pelle-Ragnar i den gule gården Hjorth , Vigdis / Bøhn , Ingun oai:nb.bibsys.no:998330735084702202 25deb70709965adac728a0548df02349 8202097576 [Oslo] 19830101 1983 Cappelen nob barnebøker / flytting / skjønnlitteratur 839.823 fiction Skjønnlitteratur digibok nb 20060101

1.3.2.2. Bygg et korpus fra Dewey 900 (trunkert), som et definert med emneord fiske i katalogdata#

Korpuset defineres med metadata som dewey, emneord, navn , år, etc. Her kan Webdewey være til god hjelp.

dh.Corpus(ddk='9%', subject='fiske', limit=3)
dhlabid urn title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype ocr_creator ocr_timestamp
0 100281890 URN:NBN:no-nb_digibok_2009080504024 Jernaldernaust på Vestvågøy i Lofoten Nilsen , Gørill oai:nb.bibsys.no:999804227954702202 70720140157808e4d566b8009cba9813 19980101 1998 Institutt for arkeologi, Det samfunnsvitenskap... nob Naust / Jernalder / Funn / Båter / Fiske / nor... 948.4454 / 725.34 Faglitteratur digibok nb 20060101
1 100401640 URN:NBN:no-nb_digibok_2009101900012 Mandal bys historie . B. 1-2 B. 2 : Den førind... Eliassen , Finn-Einar oai:nb.bibsys.no:999610861654702202 3f6b164b785fefd4820c15c2d8079b72 8299025613 19950101 1995 Mandal kommune nob Norge / Byhistorie / Historie / Lokalhistorie ... 948.3222 / 948.3222 Faglitteratur digibok nb 20060101
2 100016272 URN:NBN:no-nb_digibok_2010100603053 Glommaguiden : en fiskeguide for Glomma og Ren... Ljøstad , O. T. / Andersen , Kari / Ljøstad , ... oai:nb.bibsys.no:999907360754702202 8d9ce145d0f973f96437b03570e4195a 8299485509 19990101 1999 O.T. Ljøstad mul / nob / eng fiske / friluftsliv / sportsfiske / østlandet ... 799.1 / 914.82 Faglitteratur digibok nb 20060101

1.3.2.3. Korpus med bøker fra 1990 til 2000 som inneholder ordet demokrati#

dh.Corpus(doctype='digibok', fulltext='demokrati', from_year=1990, to_year=2000, limit=3)
dhlabid urn title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype
86 100140845 URN:NBN:no-nb_digibok_2009051504007 Kontorautomasjon Grøstad , Evy Opsahl / Utengen , Inger-Kari oai:nb.bibsys.no:999310751494702202 34002bac73068b1d39f30d56c2d24d61 8200409066 Oslo 19930101 1993 Universitetsforlaget nob Uklassifisert digibok
53 100066637 URN:NBN:no-nb_digibok_2008012904052 Det Kollektive eventyr : en bok om Norge, Euro... Jensen , Axel oai:nb.bibsys.no:999423074024702202 385a88e098cfa8b3eab8c5c46bbcd86f 8203260527 19940101 1994 Aschehoug nob europa / europeisk / fellesskap / eu / folkere... 341.24 Faglitteratur digibok
23 100659155 URN:NBN:no-nb_digibok_2022101448072 Att förstå Europa : mångfald och sammanhang : ... Gren-Eklund, Gunilla oai:nb.bibsys.no:999614156574702202 5eae0227c0bd4fdb37cf903da9147c28 9150611585 1996 1996 Uppsala universitet swe Humanisme / Minoriteter / europa / historie 940 conference publication Faglitteratur digibok

1.3.2.4. Korpus med flere søkeord#

dh.Corpus(doctype='digibok', fulltext='her OR kan OR du OR legge OR inn OR flere OR søkeord', from_year=1960, to_year=1980, limit=3)
dhlabid urn title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype
25 100317220 URN:NBN:no-nb_digibok_2016112908134 Hvem drepte? Armstrong , Charlotte / Torgersen , Einar oai:nb.bibsys.no:990302341904702202 999c657a27b3a3214802b4d66fdc09d6 Oslo 19600101 1960 Green nob / eng 813 fiction Skjønnlitteratur digibok
14 100003140 URN:NBN:no-nb_digibok_2007032701077 Norge rundt med Booken Solheim , John oai:nb.bibsys.no:999428646544702202 a8988a78c579ccdaaec3b83595d3d2cc Oslo 19620101 1962 Aschehoug nob 920 Faglitteratur digibok
23 100282539 URN:NBN:no-nb_digibok_2016021609013 Gateorienteringsløp : en idrettsfysiologisk un... Gjerset , Asbjørn / Strømme , Sigmund B. oai:nb.bibsys.no:998220152264702202 0b88c23b9371c38afc9f73b10907c88e 8250200292 Oslo 19740101 1974 nob orienteringssport / orientering / fysiologi 796.5 / 612.04 Faglitteratur digibok

1.3.2.5. Aviskorpus#

dh.Corpus(doctype='digavis', from_timestamp=20060101, to_timestamp=20070101, limit=3)
dhlabid urn title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype ocr_creator ocr_timestamp
0 203787798 URN:NBN:no-nb_digavis_andoyposten_null_null_20... andoyposten 20060629 2006 digavis nb 20060101
1 203851091 URN:NBN:no-nb_digavis_romsdalsbudstikke_null_n... romsdalsbudstikke 20060907 2006 digavis nb 20060101
2 202139539 URN:NBN:no-nb_digavis_demokraten_null_null_200... demokraten Fredrikstad 20060925 2006 digavis nb 20060101

1.3.2.6. Legg korpuset i en variabel#

Variabelen brukes til å referere til korpuset senere

korpus = dh.Corpus(ddk="9%", subject="reindrift", from_year=1960, to_year=2020, limit=5)
korpus
dhlabid urn title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype ocr_creator ocr_timestamp
0 100417939 URN:NBN:no-nb_digibok_2020040107019 Rondane : fjellfolk og villrein Jordhøy , Per oai:nb.bibsys.no:991322662614702202 44acad31ad546e5bd297feab47a5852b 20130101 2013 Snøhetta forl. nno fjell / reindrift / reindriftslandskap / Norge... 599.65 / 948.25 Faglitteratur digibok nb 20060101
1 100388575 URN:NBN:no-nb_digibok_2018090407010 Landet bakom Johansen , Dag Ove oai:nb.bibsys.no:991431678204702202 0262f5f99f6bdb2e664172e04aaa7bf2 Rognan 20140101 2014 Bondes forl. nob Emigrasjon / Fra Norge / Emigrasjon / Fra Norg... 979.80049457 / 979.8 / 979.8004945 Faglitteratur digibok nb 20060101
2 100394510 URN:NBN:no-nb_digibok_2019072907112 Levangerhistorier Brendalsmo , Jan / Stylegar , Frans-Arne oai:nb.bibsys.no:991334499984702202 3ee1caf1854cece47e45e1fdb5de8652 20130101 2013 Novus mul / nob / nno / swe byer / byhistorie / markedsplasser / samer / g... 948.4213 / 948.4213 / 948.4213 biography Faglitteratur digibok nb 20060101
3 100365971 URN:NBN:no-nb_digibok_2018030248103 Om sørsamisk historie : foredrag fra seminar p... Lyngman , Susanne oai:nb.bibsys.no:990715892284702202 880a89550bf8b4c936eba2b1af050d3a 20070101 2007 Stiftelsen Saemien Sijte mul / nob / swe / nno Sørsamer / Historie / Samisk kulturminner / Sa... 948 / 948 Faglitteratur digibok nb 20060101
4 100472261 URN:NBN:no-nb_digibok_2010032307035 I villreinens rike : Setesdal Vesthei , Ryfylk... Frøstrup , Johan Christian / Bang-Andersen , S... oai:nb.bibsys.no:990001151004702202 d6e1d58a454d2c15b44d9a225d948c1d 8291495149 19990101 1999 Friluftsforl. nob Rein / Jakt / Landskap / Lokalhistorie / Reind... 948.3 / 799.2765 Faglitteratur digibok nb 20060101

1.3.3. 2. Bruk av Corpus#

Corpus tilbyr en rekke metoder for å gjøre korpus lettere å jobbe med:

  • from_identifiers:

    • Konstruerer et Corpus fra en liste med identifikatorer.

  • from_df:

    • Typecaster en Pandas DataFrame til Corpus-klassen. DataFrame må inneholde en URN-kolonne.

  • from_csv:

    • Importerer et korpus fra csv.

  • extend_from_identifiers:

    • Utvide korpuset med en liste med identifikatorer.

  • evaluate_words:

    • Evaluerer en liste med ord mot korpuset.

  • add:

    • Verktøy for å legge til et Corpus eller en DataFrame til det eksisterende korpuset.

  • sample:

    • Oppretter et tilfeldig subkorpus med et gitt antall.

  • conc:

    • Henter kollokasjoner av gitte ord i korpuset.

  • coll:

    • Henter kollokasjoner av gitte ord i korpuset.

  • freq:

    • Henter ordfrekvenser for korpuset.

1.3.3.1. Ta vare på eller rediger korpuset i excel#

# Korpus-variabel + .corpus + .to_csv(filnavn)
korpus.frame.to_csv('korpus.csv', index=None)

# Korpus-variabel + .corpus + .csv(filnavn)
korpus.frame.to_excel('korpus.xlsx', index=None)

Importer korpus fra excel-dokument

korpus = nb.restore_metadata_from_excel('korpus.xlsx')
korpus
dhlabid urn title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype ocr_creator ocr_timestamp
0 100417939 URN:NBN:no-nb_digibok_2020040107019 Rondane : fjellfolk og villrein Jordhøy , Per oai:nb.bibsys.no:991322662614702202 44acad31ad546e5bd297feab47a5852b NaN NaN 20130101 2013 Snøhetta forl. nno fjell / reindrift / reindriftslandskap / Norge... 599.65 / 948.25 NaN Faglitteratur digibok nb 20060101
1 100388575 URN:NBN:no-nb_digibok_2018090407010 Landet bakom Johansen , Dag Ove oai:nb.bibsys.no:991431678204702202 0262f5f99f6bdb2e664172e04aaa7bf2 NaN Rognan 20140101 2014 Bondes forl. nob Emigrasjon / Fra Norge / Emigrasjon / Fra Norg... 979.80049457 / 979.8 / 979.8004945 NaN Faglitteratur digibok nb 20060101
2 100394510 URN:NBN:no-nb_digibok_2019072907112 Levangerhistorier Brendalsmo , Jan / Stylegar , Frans-Arne oai:nb.bibsys.no:991334499984702202 3ee1caf1854cece47e45e1fdb5de8652 NaN NaN 20130101 2013 Novus mul / nob / nno / swe byer / byhistorie / markedsplasser / samer / g... 948.4213 / 948.4213 / 948.4213 biography Faglitteratur digibok nb 20060101
3 100365971 URN:NBN:no-nb_digibok_2018030248103 Om sørsamisk historie : foredrag fra seminar p... Lyngman , Susanne oai:nb.bibsys.no:990715892284702202 880a89550bf8b4c936eba2b1af050d3a NaN NaN 20070101 2007 Stiftelsen Saemien Sijte mul / nob / swe / nno Sørsamer / Historie / Samisk kulturminner / Sa... 948 / 948 NaN Faglitteratur digibok nb 20060101
4 100472261 URN:NBN:no-nb_digibok_2010032307035 I villreinens rike : Setesdal Vesthei , Ryfylk... Frøstrup , Johan Christian / Bang-Andersen , S... oai:nb.bibsys.no:990001151004702202 d6e1d58a454d2c15b44d9a225d948c1d 8.291495e+09 NaN 19990101 1999 Friluftsforl. nob Rein / Jakt / Landskap / Lokalhistorie / Reind... 948.3 / 799.2765 NaN Faglitteratur digibok nb 20060101

1.3.3.2. Bygg korpus fra boksøk på nb.no#

Søk etter bøker på nb.no, legg til debugon sammen med søkekriteriet. Kopier hele siden (ctrl-A) og lim inn resultatet mellom “”” … “”” nedenfor. Kommandoen som brukes er pure_urn(<tekst>) som prøver å finne URN-er i alt mulig av tekst.

urns = nb.pure_urn("""

--- lim inn teksten her, så trekkes urn (bokas identifikator) ut i en liste:
Vigdis Hjorth : et forfatterportrett
Jenssen, Ruth | Biblioteksentralen
1994
(api)
id: 7f0b021f40bf6804bca32e5b79e8d66a
urn: URN:NBN:no-nb_digibok_2015090158054
isDigital: true
viewability: ALL
allowedFrom: NORWAY
contentClasses:
legaldeposit
bokhylla
jp2
Som om ingenting : bare om Vigdis Hjorth
Linneberg, Arild | Hjorth, Vigdis | Solstad, Dag
2009
(api)
id: 847bd73c3318f6874a66d0f969ba495a
urn: URN:NBN:no-nb_digibok_2011051820014
isDigital: true
viewability: ALL
allowedFrom: NB
contentClasses:
restricted
legaldeposit
jp2
Leve posthornet! : Vigdis Hjorth
Horn, Ellen | Riksteatret
2014
(api)
id: e6d86eeb4ac8509533d647c9793f01dc
urn: URN:NBN:no-nb_digibok_2014091948002
isDigital: true
viewability: ALL
allowedFrom: EVERYWHERE
contentClasses:
public
legaldeposit
jp2
Fryd og fare : essay om diktning og eksistens
Hjorth, Vigdis
2013
(api)
id: 5ecd6c199ff74aa7c57c2292b61df17d
urn: URN:NBN:no-nb_digibok_2018031548382
--- teksten er kuttet her
""")

# Legger til URN-prefix for hver URN
urns = ["URN:NBN:no-nb_digibok_" + x for x in urns]

c = dh.Corpus() # Tomt korpus objekt
c.extend_from_identifiers(identifiers=urns) # Legger til kodene vi hentet fra teksten over
c # Viser korpuset
urn dhlabid title authors oaiid sesamid isbn10 city timestamp year publisher langs subjects ddc genres literaryform doctype ocr_creator ocr_timestamp
0 URN:NBN:no-nb_digibok_2015090158054 100267417.0 Vigdis Hjorth : et forfatterportrett Jenssen , Ruth oai:nb.bibsys.no:999409908064702202 7f0b021f40bf6804bca32e5b79e8d66a [Oslo] 19940101.0 1994.0 Biblioteksentralen nob Uklassifisert digibok nb 20060101.0
1 URN:NBN:no-nb_digibok_2018031548382 100367884.0 Fryd og fare : essay om diktning og eksistens Hjorth , Vigdis oai:nb.bibsys.no:991334240574702202 5ecd6c199ff74aa7c57c2292b61df17d [Oslo] 20130101.0 2013.0 Cappelen Damm nob Historisk framstilling / Norsk litteratur / Li... 809 / 839.824 / 809 / 839.824 Faglitteratur digibok nb 20060101.0
2 URN:NBN:no-nb_digibok_2014091948002 100496097.0 Leve posthornet ! : Vigdis Hjorth Horn , Ellen oai:nb.bibsys.no:991429153194702202 e6d86eeb4ac8509533d647c9793f01dc [Oslo] 20140101.0 2014.0 Riksteatret nob Uklassifisert digibok nb 20060101.0
3 URN:NBN:no-nb_digibok_2011051820014 100579548.0 Som om ingenting : bare om Vigdis Hjorth Linneberg , Arild / Hjorth , Vigdis / Solstad ... oai:nb.bibsys.no:990925957234702202 847bd73c3318f6874a66d0f969ba495a [Oslo] 20090101.0 2009.0 Cappelen Damm nob Norsk litteratur 839.828 / 839.828 festschrift Faglitteratur digibok nb 20060101.0

Tilbake til DHLAB ved Nasjonalbiblioteket

Contents