Requesting Wikidata

Dieser Abschnitt dokumentiert die verschiedenen Abfragen, die durchgeführt wurden, um die Daten des WFPP und DFF um Informationen aus Wikidata zu ergänzen.

Beide Datensammlungen (WFPP und DFF) werden als Quellen bei Wikidata gelistet. Sie haben eine eigene Property, wie es bei Wikidata heißt. Ist diese bekannt, kann sie für gezielte Abfragen genutzt werden. Da die beiden Datensammlungen unterschiedliche Ausrichtungen haben, was sich in den Schwerpunkten niederschlägt, unterscheiden sich auch die Abfragen auf Wikidata.

WFPP

Es ist sehr leicht, die Frauen des WFPP über Wikidata abzufragen. Hierbei sind alle Einträge von Interesse, die mit dem WFPP verknüpft sind. Die entscheidende Information ist die Property P7498. Alle Einträge in Wikidata, die diese Kennung führen, verweisen auf das WFPP.

Statement: Get all women with an ID of the Women Film Pioneers Project (WFPP)

Die folgenden Zeilen können für eine Abfrage über Wikidata Wikidata Query Service kopiert werden. Als Antwort erhält man eine Liste von Frauen mit Namen, Verlinkungen auf die Wikidata-Seite (enthält die ID auf Wikidata) und den Wert, den die WFPP-ID auf Wikidata hat (der Wert ist die Bezeichnung für die “Women Film Pioneers ID” im Format “vorname-nachname”). Dadurch, dass diese Anfrage so offen gestellt ist, unabhängig von den lokalen Daten, werden auch Frauen angezeigt, die im lokalen WFPP-Datensatz von Juli 2022 noch nicht enthalten sind.

Das Ergebnis wurde als .csv-Datei heruntergeladen und diente als Ausgangspunkt für weitere Abfragen.

SELECT DISTINCT ?item ?itemLabel ?value WHERE {
  SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
  {
    SELECT DISTINCT ?item ?value WHERE {
      ?item wdt:P7498 ?value.      
    }
  }
}

DFF

Das DFF dokumentiert nicht nur die Pionierinnen des frühen Kinos. Diese sind nur ein kleiner Teilbereich der ganzen Sammlung. Aus diesem Grund kann eine Abfrage nicht wie beim WFPP erfolgen. Die Abfrage erfolgt hier zunächst viel größer und wird später sehr stark verengt.

Die Datenabfrage bei Wikidata zielt auf alle weiblichen Personen, die eine Filmportal-ID haben, ab. Die Property auf Wikidata lautet P2639. Darüber lassen sich Verbindungen zum DFF herstellen.

Das Ergebnis umfasst eine sehr große Menge an Frauen, die nicht im Zentrum unserer Forschungsgruppe DAVIF stehen. Deshalb wurde das Ergebnis in einem weiteren Verarbeitungsschritt gefiltert, sodass nur jene Filmportal-IDs angezeigt werden, die auch in den ursprünglich von uns abgefragten Daten enthalten sind.

Statement: Get all women with an ID of the DFF

Dieser Link führt zum Wikidata Query Service.

SELECT DISTINCT ?item ?itemLabel ?value WHERE {
  SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
  {
    SELECT DISTINCT ?item ?value WHERE {
      # hat FilmID
      ?item wdt:P2639 ?value.
      # ist weiblich
      ?item wdt:P21 wd:Q6581072.
    }
  }
}

Abfrage bei Wikidata nach WFPP und DFF

Die beiden bisherigen Abfragen unterscheiden sich sehr in ihrer Struktur:

Für das WFPP wurden sie so offen wie möglich gehalten. Dadurch erschienen auch unbekannte Personen, die nicht im ursprünglichen Datensatz erfasst waren. Wikidata dient hier als eine sehr interessante Ressource.
Für das DFF wurden aufgrund der mangelnden Filtermöglichkeiten die Abfragen relativ eng gehalten. Dadurch wurden überraschende Ergebnisse verhindert.

Eine pragmatische Herangehensweise ist eine Abfrage von Personen, die beide IDs enthalten. Hier gibt es eine kleine Überraschung, denn diese Abfrage liefert zwei Personen, die nicht im lokalen DFF-Datensatz enthalten sind, aber bei Wikidata eine Filmportal-ID führen: Alice Guy-Blaché und Bradley King.

SELECT DISTINCT ?item ?itemLabel WHERE {
  SERVICE wikibase:label { bd:serviceParam wikibase:language "en". }
  {
    SELECT DISTINCT ?item ?value WHERE {
      ?item p:P7498 ?statement0.
      ?item p:P2639 ?statement1.
      ?statement0 (ps:P7498) ?value.
    }
  }
}

Biografien der Pionierinnen in Wikidata

Die beiden oben abgefragten Personenlisten wurden genutzt, um für diese IDs weitere Informationen zu den einzelnen Personen abzufragen. Die einzelnen Schritte dazu sind auf Github nachzulesen.

WFPP - Biografien

Die Daten finden sich auch auf Google Drive. In dieser Tabelle gibt es noch einige gedoppelte Zeilen. Diese entstehen immer dann, wenn es für eine Person mehrere VIAF-IDs gibt oder mehrere Angaben zu citizenship.

Wenn für jede Person nur eine Zeile gewünscht wird, ist diese Tabelle auf Google Drive die richtige. Gibt es in einer Spalte mehrere Werte pro Person, sind sie hier mit einen “|” getrennt hintereinander geschrieben.

DFF-Biografien

Die Daten finden sich auch auf Google Drive.

Dürftige Datenlage für …

Wikidata könnte noch eine Reihe von weiteren interessanten Datenpunkten liefern, zum Beispiel zu work-time, residence, work-location, employed. Da diese Datenfelder über alle Frauen nur sehr dürftig ausgefüllt waren, flossen sie nicht in die Tabellen ein.

Spezialfälle bei DFF in Verbindung mit Wikidata

In der Analyse dieser Daten ist auffällig, dass es eine Reihe von Frauen gibt, die zwar unter gleichem Namen und Filmportal-ID angelegt sind, jedoch unterschiedliche Wikidata-IDs führen. Die Struktur der Wikidata-IDs (fortlaufende IDs mit Q957xxxxx) lässt vermuten, dass von Seiten des DFF Daten nach Wikidata übertragen wurden, ohne zu überprüfen, ob diese Person dort bereits erfasst wurde.

Diese Liste enthält diese wahrscheinlich doppelt angelegten Frauen:

Filmografien

Es gibt verschiedene Optionen, die Abfragen auf Wikidata zu gestalten.

Ein erster Ansatz nahm die Frauen und deren konkrete Tätigkeiten in den Fokus. Die Wikidata-Abfrage lautete, ausgeführt in einer Schleife über alle Personen: “Gib mir alle Einträge, in denen diese Frau diese Tätigkeit ausgeführt hat.” Das Ergebnis zeigt in der Regel neben Filmen auch Bücher und andere Objekte an. Da die Tätigkeiten für die Abfrage konkret benannt werden, sind hier keine neuen Erkenntnisse möglich.

Der zweite Ansatz setzte nicht die Tätigkeit in der Abfrage voraus, sondern fragte offen nach der Tätigkeit. Die Wikidata-Abfrage lautete: “Gib mir alle Einträge, die eine Subkategorie von Film sind und in denen diese Frau genannt wird.” Als Resultat werden Einträge angezeigt, die ausschließlich mit Filmen verknüpft sind. Zusätzlich ist die von einer Frau in diesem Kontext ausgeführte Tätigkeit ergebnisoffen und lässt neue Erkenntnisse zu.

Die biografischen Angaben zu einer Frau auf Wikidata werden nicht automatisch erweitert, wenn die Person auf anderen Webseiten, d.h. in anderen Datensammlungen, hinzugefügt wird. Um von Wikidata eine qualitative Antwort zur Tätigkeit einer Frau zu erhalten, müssen zwei Datensätze gepflegt werden: Die Biografie der Frau sowie die Filmographie, auf die sich die Tätigkeit bezieht. Tätigkeiten sind also einerseits direkt mit einem Eintrag zu einer Frau verknüpft und andererseits mit einem Eintrag zu einem Film und müssen jeweils aktualisiert werden.

Mika Schories hat den zweiten Ansatz (aufgrund der Ergebnisoffenheit einerseits und der Einschränkung auf Filme andererseits) für stärker empfunden und damit weitergearbeitet.

Die Dateien sind auf Github abgelegt: Wikidata Filmografien.

Die Filmografien, abgerufen von Wikidata, fließen auch in die Auswertung der Tätigkeiten ein, auf die an anderer Stelle näher eingegangen wird.

Die Filmografien der WFFP-Pionierinnen, die vie Wikidata abgerufen wurden, liegen auf Google Drive.

Es liegen ebenso die Filmografien der DFF-Frauen, die Wikidata abgerufen wurden, auf Google Drive.

Übereinstimmungen gemeinsamer Datensatz und Wikidata-Filmografie

Es gibt 54 Frauen, für die filmografische Daten sowohl im WFPP-Datensatz als auch im DFF-Datensatz vorliegen. Für 25 dieser Frauen wurden die filmografischen Daten des WFPP von Pauline Junginger erfasst. Für fast alle dieser 25 Frauen gibt es auch Wikidata-Informationen. Lediglich für Stella F. Simon sind keine Filminformationen auf Wikidata dokumentiert.

Weitet man den Blick nochmals auf die Liste der 54 Frauen, zeigt die folgende Tabelle, für welche drei Frauen bei Wikidata keine filmografischen Informationen hinterlegt sind.

--- title: "Requesting Wikidata" format: html: code-tools: source: true --- Dieser Abschnitt dokumentiert die verschiedenen Abfragen, die durchgeführt wurden, um die Daten des WFPP und DFF um **Informationen aus Wikidata zu ergänzen**. Beide Datensammlungen (WFPP und DFF) werden als Quellen bei Wikidata gelistet. Sie haben eine eigene *Property*, wie es bei Wikidata heißt. Ist diese bekannt, kann sie für gezielte Abfragen genutzt werden. Da die beiden Datensammlungen unterschiedliche Ausrichtungen haben, was sich in den Schwerpunkten niederschlägt, unterscheiden sich auch die Abfragen auf Wikidata. ```{r} #| echo: false #| warning: false #| error: false library(tidyverse) library(tidywikidatar) tw_enable_cache() tw_set_cache_folder(path = fs::path(fs::path_home_r(), "R", "tw_data")) tw_set_language(language = "en") tw_create_cache_folder(ask = FALSE) ``` ## WFPP Es ist sehr leicht, die Frauen des WFPP über Wikidata abzufragen. Hierbei sind alle Einträge von Interesse, die mit dem WFPP verknüpft sind. Die entscheidende Information ist die Property [P7498](https://www.wikidata.org/wiki/Property:P7498). Alle Einträge in Wikidata, die diese Kennung führen, verweisen auf das WFPP. ### Statement: Get all women with an ID of the Women Film Pioneers Project (WFPP) Die folgenden Zeilen können für eine Abfrage über Wikidata [Wikidata Query Service](https://query.wikidata.org) kopiert werden. Als Antwort erhält man eine Liste von Frauen mit Namen, Verlinkungen auf die Wikidata-Seite (enthält die ID auf Wikidata) und den Wert, den die WFPP-ID auf Wikidata hat (der Wert ist die Bezeichnung für die “Women Film Pioneers ID” im Format “vorname-nachname”). Dadurch, dass diese Anfrage so offen gestellt ist, unabhängig von den lokalen Daten, werden auch Frauen angezeigt, die im lokalen WFPP-Datensatz von Juli 2022 noch nicht enthalten sind. Das Ergebnis wurde als .csv-Datei heruntergeladen und diente als Ausgangspunkt für weitere Abfragen. ```{} SELECT DISTINCT ?item ?itemLabel ?value WHERE { SERVICE wikibase:label { bd:serviceParam wikibase:language "en". } { SELECT DISTINCT ?item ?value WHERE { ?item wdt:P7498 ?value. } } } ``` ## DFF Das DFF dokumentiert nicht nur die Pionierinnen des frühen Kinos. Diese sind nur ein kleiner Teilbereich der ganzen Sammlung. Aus diesem Grund kann eine Abfrage nicht wie beim WFPP erfolgen. Die Abfrage erfolgt hier zunächst viel größer und wird später sehr stark verengt. Die Datenabfrage bei Wikidata zielt auf alle weiblichen Personen, die eine Filmportal-ID haben, ab. Die Property auf Wikidata lautet [P2639](https://www.wikidata.org/wiki/Property:P2639). Darüber lassen sich Verbindungen zum DFF herstellen. Das Ergebnis umfasst eine sehr große Menge an Frauen, die nicht im Zentrum unserer Forschungsgruppe DAVIF stehen. Deshalb wurde das Ergebnis in einem weiteren Verarbeitungsschritt gefiltert, sodass nur jene Filmportal-IDs angezeigt werden, die auch in den ursprünglich von uns abgefragten Daten enthalten sind. ### Statement: Get all women with an ID of the DFF Dieser Link führt zum [Wikidata Query Service](https://query.wikidata.org/#SELECT%20DISTINCT%20%3Fitem%20%3FitemLabel%20%3Fvalue%20WHERE%20%7B%0A%20%20SERVICE%20wikibase%3Alabel%20%7B%20bd%3AserviceParam%20wikibase%3Alanguage%20%22en%22.%20%7D%0A%20%20%7B%0A%20%20%20%20SELECT%20DISTINCT%20%3Fitem%20%3Fvalue%20WHERE%20%7B%0A%20%20%20%20%20%20%23%20hat%20FilmID%0A%20%20%20%20%20%20%3Fitem%20wdt%3AP2639%20%3Fvalue.%0A%20%20%20%20%20%20%23%20ist%20weiblich%0A%20%20%20%20%20%20%3Fitem%20wdt%3AP21%20wd%3AQ6581072.%0A%20%20%0A%20%20%20%20%20%20%0A%20%20%20%20%7D%0A%20%20%7D%0A%7D). ```{} SELECT DISTINCT ?item ?itemLabel ?value WHERE { SERVICE wikibase:label { bd:serviceParam wikibase:language "en". } { SELECT DISTINCT ?item ?value WHERE { # hat FilmID ?item wdt:P2639 ?value. # ist weiblich ?item wdt:P21 wd:Q6581072. } } } ``` ## Abfrage bei Wikidata nach WFPP und DFF Die beiden bisherigen Abfragen unterscheiden sich sehr in ihrer Struktur: - Für das WFPP wurden sie so offen wie möglich gehalten. Dadurch erschienen auch unbekannte Personen, die nicht im ursprünglichen Datensatz erfasst waren. Wikidata dient hier als eine sehr interessante Ressource. - Für das DFF wurden aufgrund der mangelnden Filtermöglichkeiten die Abfragen relativ eng gehalten. Dadurch wurden überraschende Ergebnisse verhindert. Eine pragmatische Herangehensweise ist eine Abfrage von Personen, die beide IDs enthalten. Hier gibt es eine kleine Überraschung, denn diese Abfrage liefert zwei Personen, die nicht im lokalen DFF-Datensatz enthalten sind, aber bei Wikidata eine Filmportal-ID führen: Alice Guy-Blaché und Bradley King. ```{} SELECT DISTINCT ?item ?itemLabel WHERE { SERVICE wikibase:label { bd:serviceParam wikibase:language "en". } { SELECT DISTINCT ?item ?value WHERE { ?item p:P7498 ?statement0. ?item p:P2639 ?statement1. ?statement0 (ps:P7498) ?value. } } } ``` ## Biografien der Pionierinnen in Wikidata Die beiden oben abgefragten Personenlisten wurden genutzt, um für diese IDs weitere Informationen zu den einzelnen Personen abzufragen. Die einzelnen Schritte dazu sind auf [Github](https://github.com/mschories/DAVIF/blob/main/gather/wikidata-biographies.R) nachzulesen. ### WFPP - Biografien Die Daten finden sich auch auf [Google Drive](https://docs.google.com/spreadsheets/d/1ml9CqsVmM-ZCrIEgXpw7SU1_U37N6xVtvvLkK8ihjDU/edit?usp=sharing). In dieser Tabelle gibt es noch einige gedoppelte Zeilen. Diese entstehen immer dann, wenn es für eine Person mehrere VIAF-IDs gibt oder mehrere Angaben zu *citizenship*. Wenn für jede Person nur eine Zeile gewünscht wird, ist diese Tabelle auf [Google Drive](https://docs.google.com/spreadsheets/d/1ml9CqsVmM-ZCrIEgXpw7SU1_U37N6xVtvvLkK8ihjDU/edit?gid=1520101147#gid=1520101147) die richtige. Gibt es in einer Spalte mehrere Werte pro Person, sind sie hier mit einen "|" getrennt hintereinander geschrieben. ```{r} #| message: false #| echo: false #| warning: false #| error: false df_wfpp_bio_wikidata <- read_csv(file = "../data/wikidata/wfpp-bio-wikidata.csv") DT::datatable(df_wfpp_bio_wikidata, rownames = FALSE) ``` ### DFF-Biografien Die Daten finden sich auch auf [Google Drive](https://docs.google.com/spreadsheets/d/1v3FtlZ_pGZqrJl-Orp-7EJo8htBtBnRU-FBYVtTxutQ/edit?gid=293343388#gid=293343388). ```{r} #| echo: false #| warning: false #| error: false #| message: false df_dff_bio_wikidata <- read_csv(file = "../data/wikidata/dff-bio-wikidata.csv") %>% select(-`...1`) DT::datatable(df_dff_bio_wikidata, rownames = FALSE) ``` ## Dürftige Datenlage für ... Wikidata könnte noch eine Reihe von weiteren interessanten Datenpunkten liefern, zum Beispiel zu *work-time*, *residence*, *work-location*, *employed*. Da diese Datenfelder über alle Frauen nur sehr dürftig ausgefüllt waren, flossen sie nicht in die Tabellen ein. ## Spezialfälle bei DFF in Verbindung mit Wikidata In der Analyse dieser Daten ist auffällig, dass es eine Reihe von Frauen gibt, die zwar unter gleichem Namen und Filmportal-ID angelegt sind, jedoch unterschiedliche Wikidata-IDs führen. Die Struktur der Wikidata-IDs (fortlaufende IDs mit Q957xxxxx) lässt vermuten, dass von Seiten des DFF Daten nach Wikidata übertragen wurden, ohne zu überprüfen, ob diese Person dort bereits erfasst wurde. Diese Liste enthält diese wahrscheinlich doppelt angelegten Frauen: ```{r} #| echo: false #| warning: false #| error: false #| message: false dff_wikidata_ids_doubles <- df_dff_bio_wikidata %>% mutate(filmportal_id = toupper(filmportal_id)) %>% select(filmportal_id, name_person, id_person) %>% distinct() %>% arrange(id_person) %>% mutate(doubles = row_number(), .by = c(filmportal_id, name_person)) filmportal_ids_to_filter <- dff_wikidata_ids_doubles %>% filter(doubles == 2) %>% select(filmportal_id) %>% distinct() %>% pull(.) DT::datatable(dff_wikidata_ids_doubles %>% filter(filmportal_id %in% filmportal_ids_to_filter) %>% arrange(name_person) %>% select(name_person, everything(), -doubles), rownames = FALSE) ``` ## Filmografien Es gibt verschiedene Optionen, die Abfragen auf Wikidata zu gestalten. Ein **erster Ansatz** nahm die **Frauen und deren konkrete Tätigkeiten** in den Fokus. Die Wikidata-Abfrage lautete, ausgeführt in einer Schleife über alle Personen: “Gib mir alle Einträge, in denen diese Frau diese Tätigkeit ausgeführt hat." Das Ergebnis zeigt in der Regel neben Filmen auch Bücher und andere Objekte an. Da die Tätigkeiten für die Abfrage konkret benannt werden, sind hier keine neuen Erkenntnisse möglich. Der **zweite Ansatz** setzte nicht die Tätigkeit in der Abfrage voraus, sondern fragte **offen nach der Tätigkeit**. Die Wikidata-Abfrage lautete: “Gib mir alle Einträge, die eine Subkategorie von Film sind und in denen diese Frau genannt wird.” Als Resultat werden Einträge angezeigt, die ausschließlich mit Filmen verknüpft sind. Zusätzlich ist die von einer Frau in diesem Kontext ausgeführte Tätigkeit ergebnisoffen und lässt neue Erkenntnisse zu. Die biografischen Angaben zu einer Frau auf Wikidata werden nicht automatisch erweitert, wenn die Person auf anderen Webseiten, d.h. in anderen Datensammlungen, hinzugefügt wird. Um von Wikidata eine qualitative Antwort zur Tätigkeit einer Frau zu erhalten, müssen zwei Datensätze gepflegt werden: Die Biografie der Frau sowie die Filmographie, auf die sich die Tätigkeit bezieht. Tätigkeiten sind also einerseits direkt mit einem Eintrag zu einer Frau verknüpft und andererseits mit einem Eintrag zu einem Film und müssen jeweils aktualisiert werden. Mika Schories hat den **zweiten Ansatz** (aufgrund der Ergebnisoffenheit einerseits und der Einschränkung auf Filme andererseits) für **stärker empfunden und damit weitergearbeitet**. Die Dateien sind auf Github abgelegt: [Wikidata Filmografien](https://github.com/mschories/DAVIF/blob/main/gather/wikidata-filmography.R). Die Filmografien, abgerufen von Wikidata, fließen auch in die Auswertung der Tätigkeiten ein, auf die [an anderer Stelle](taetigkeiten.qmd) näher eingegangen wird. Die Filmografien der WFFP-Pionierinnen, die vie Wikidata abgerufen wurden, liegen auf [Google Drive](https://docs.google.com/spreadsheets/d/1WC_-0_6ICttEQz8N-4rS4N6xJ7_KqKc96qfZR37tmgs/edit?gid=0#gid=0). Es liegen ebenso die Filmografien der DFF-Frauen, die Wikidata abgerufen wurden, auf [Google Drive](https://docs.google.com/spreadsheets/d/1Za8EJFrUdqIOeOsTtTaNFCvS4uEj2nHLyaWnRfeHcY8/edit?gid=583830400#gid=583830400). ### Übereinstimmungen gemeinsamer Datensatz und Wikidata-Filmografie ```{r} #| echo: false #| warning: false #| error: false #| message: false load(file = "../data/doc/df_merged_bio.RData") load(file = "../data/doc/df_merged_bio_film.RData") wfpp_filmography_wd <- read_csv(file = "../data/wikidata/wfpp-filmography-wikidata.csv", show_col_types = FALSE) wfpp_women_wd_bio <- wfpp_filmography_wd %>% filter(id_person %in% df_merged_bio$id_person) %>% select(id_person, name_person) %>% distinct() wfpp_women_wd_bio_film <- df_merged_bio_film %>% filter(!id_person %in% wfpp_filmography_wd$id_person) %>% select(id_person, name_person) %>% distinct() wfpp_women_wd_bio_missing <- df_merged_bio %>% filter(!id_person %in% wfpp_filmography_wd$id_person) #%>% select(id_person, name_person) %>% distinct() ``` Es gibt **54 Frauen**, für die filmografische Daten sowohl im WFPP-Datensatz als auch im DFF-Datensatz vorliegen. Für **25 dieser Frauen** wurden die filmografischen Daten des WFPP von Pauline Junginger erfasst. Für fast alle dieser 25 Frauen gibt es auch Wikidata-Informationen. Lediglich für Stella F. Simon sind keine Filminformationen auf Wikidata dokumentiert. Weitet man den Blick nochmals auf die Liste der 54 Frauen, zeigt die folgende Tabelle, für welche drei Frauen bei Wikidata keine filmografischen Informationen hinterlegt sind. ```{r} #| echo: false #| warning: false #| error: false #| message: false DT::datatable(wfpp_women_wd_bio_missing %>% select(name, worked_as = Worked.As, wd_id = id_person, wfpp_id = id, filmportal_id), rownames = FALSE, options = list(dom = "t")) ```