aleximmer / wikitablestotriples Goto Github PK

Use already implemented algorithm by willi. Return set of possible matches and use different parameters.

Use correct data set in database to optimize the parameters. Precision is high enough but recall could be better. Together with @Chaoste

clean up the project in order to make it publicly accessible.

• rm temporary files
• merge list_extraction/extensions into /wikitable
• update readme
• organise scripts -> assigned to @busfahren in another issue

Im Moment werden alle Tabellen, die irgendwie rowspan oder colspan benutzen rausgeschmissen.
Es gibt aber Tabellen, die sich auflösen lassen:

• Wenn colspan oder rowspan im Header auftaucht -> ABBRUCH (Header kann aus mehreren Zeilen bestehen -> Wie erkennen?)
• Wenn colspan in einer Zeile weiter unten auftaucht, diese Zeile einfach löschen (Kann einen Abschnitt markieren):
  | a | b | c | d |
  | Abschnitt 2 | // Zeile löschen
  | e | f | g | h |
• Wenn rowspan (nicht im Header) auftaucht, dieses Feld verdoppeln/verdreifachen/...
  | a | b | c | d |
  | a | f | g | h | // So sieht es bei erfolgreicher Korrektur auf "a" aus

@busfahren Wie hast du das bisher gelöst. Werde die Ideen am Mittwoch präsentieren und dann mal schauen, was sie sagen. Ob es den Aufwand wert ist etc. Den HTML Code umzuschreiben wird nämlich etwas eklig (aber nicht allzu schwer).

By now key-extraction uses the same method as cross-column to find the right ontologies. We should implement finding the right ontologies by comparing strings.

refactor keyExtractor

• english comments
• more python-native language
  *
  *

left issue for key-extraction method.

improve test-tool by adding property/ontology-names and let the user correct the returned data.

you said it is in a script. please add it to the table-module @busfahren.

Bisherige Disziplinen:

• Spalten-Einträge müssen einzigartig sein
• Entitäten (Wiki-Links) prozentual bewerten
• Spaltennamen auf textuelle Evidenz mit Artikelnamen (+Plural) prüfen
• Spaltennamen auf "Name" oder "Titel" prüfen
• Umso weiter links die Spalte ist, desto mehr Punkte
• Spalte ist mit -Tags markiert (Manchmal wird diese HTML-Schreibweise verwendet werden)
• Erstes Rating ist vom zweiten Rating weit genug entfernt

Fehlt noch:

• Spaltennamen auf Textuelle Evidenz mit Abstracts und Tabellennamen (wenn vorhanden) prüfen
• Properties/Owls der Spalte mit den anderen Spaltennamen abgleichen
• Kategorien der Wikiseite/-tabelle mit den Spaltennamen abgleichen

• validate based on abstract (api built so far)
• validate based on categories (api built as well)

refactor page-module to inherit from wiki-Page instead of referencing it.

auf keynote-icloud pushen.