Gra słowna wymaga czegoś więcej niż listy legalnych ciągów znaków. Musi mówić, co oznacza każdy z nich means, a znaczenie jest najtrudniejszą rzeczą do przechowania.
WordChess plays on a 25×25 board with a 148,941-word English dictionary6, wpisy średnio o długości 8,6 litery, niektóre sięgające 25. To jest łatwa część. Lista legalnych słów to po prostu zbiór ciągów znaków, które gra zaakceptuje. Ciekawą częścią jest powiedzenie graczowi, co oznacza ciąg znaków na planszy means, i zrobienie tego jednocześnie w dwudziestu dwóch językach.
Leksykografowie wyciągają wyraźną granicę między lemat i ichy formy fleksyjne. Lemat to hasło, którego szukasz, run, house, be. Wokół niego krąży paradygmat form powierzchniowych: runs, ran, running. Każda z nich niesie ten sam rdzeniowy sens, ubrana w inną rolę gramatyczną.3 Słownik poświęca swój tekst lematowi, a cienie zostawia, by wskazywały drogę do domu.
Ile cieni rzuca słowo, zależy od języka. Angielski jest analityczny: opiera się na szyku wyrazów i drobnych słówkach pomocniczych, dlatego czasownik rzadko ma więcej niż garść form. Fiński jest aglutynacyjny, buduje znaczenie, doklejając sufiksy do rdzenia. Pojedynczy fiński rzeczownik odmienia się w około piętnastu przypadkach, w liczbie pojedynczej i mnogiej, a przed końcówkami przymiotników dzierżawczych i klitykami nakładają się kolejne; praktyczna liczba odrębnych form sięga tysięcy.4 Węgierski upycha cały angielski zwrot, in my housew jednym słowie, házamban.5
Definicje pochodzą z Wiktionary, darmowego słownika, który może edytować każdy. Jest ogromny i wielojęzyczny: projekt obejmuje ponad sto aktywnych edycji językowych i dziesiątki milionów haseł, tworzonych wspólnie przez wolontariuszy, a nie przez płatne kolegium redakcyjne.1 W przypadku gry działającej w 22 językach, żaden inny darmowy leksykon nie dorównuje mu pod względem zakresu.
Ale zakres na papierze to nie zakres, który można odczytać na głos. Wiktionary przechowuje formy odmienione w sposób, który oszczędza ludzkim redaktorom pisania tego samego objaśnienia dziesięć tysięcy razy. Zamiast podawać pełną definicję, wpis niebędący lematem zawiera szablon form-of, mały wskaźnik, który w istocie mówi: „to jest konkretna forma gramatyczna tego lematu”.2 Wpis dla smoulders nie jest prozą; to szablon, który renderuje się jako „third-person singular simple present of smoulder.”1
Te wskazówki nie są błędem zaokrąglenia. Na angielskim Wiktionary, z około 1,27 miliona definicji, ok. 478 000, czyli znacznie ponad jedna trzecia, to definicje typu „form of”, a nie rozwinięte znaczenia.1 Dane tam są. Po prostu są złożone.
Zatem istotne wyzwanie nigdy nie polegało na tym, że „słowo jest brakujące”. Polegało na tym, że znaczenie słowa znajdowało się wewnątrz szablonu, który naiwny parser by odrzucił. Definicje WordChess zostały zbudowane poprzez czytanie surowych zrzutów Wiktionary i rozwijanie szablonów fleksyjnych język po języku, ucząc parser, co oznacza każda wskazówka, i przepisując ją na zwykłą glosę.6
Każdy język ukrywa swoje formy za różnymi mechanizmami. Hiszpański chowa formy czasowników za {{forma verbo}}, rozwiązywanym jako „verbal form of X.” Niemiecki używa {{Grundformverweis Dekl/Konj}} dla form deklinowanych i koniugowanych. Fiński opiera się na {{taivutusmuoto}}. W rosyjskim często nie przechowywana jest żadna szablona formy, odmienione słowo jest gołą przekierowaniem (собаки → собака), które należy podążyć, aby odzyskać glosę „forma słowa”.6 Obsłuż każdą konwencję, a zakres pokrycia skoczy.
| Język | Przed | Po | Zysk |
|---|---|---|---|
| Niemiecki | 45% | 92% | +47 |
| Holenderski | 58% | 90% | +32 |
| Fiński | 54% | 74% | +20 |
| Rosyjski | 20% | 70% | +50 |
| Grecki | 15% | 57% | +42 |
Pomiar wykonany na podstawie notatek projektowych i budowlanych tego projektu. Procenty oznaczają udział haseł słownikowych posiadających użyteczną definicję lub rozstrzygniętą glosę „forma słowa”.
Dane nigdy nie były brakujące. Były złożone w wskaźnik, a nadanie maszynie słowa oznaczało nauczenie się jej rozwinięcia.
Warto być szczerym co do tego, co teraz zawiera gra. Kiedy WordChess pokazuje, że собаки jest formą собака, „pies”, nie zrozumiał niczego. Zmapował jeden napis na inny napis, glosę, podążając za tymi samymi wskaźnikami, które zostawił ludzki redaktor. To jest lemmatyzacja, konik naturalnego przetwarzania języka: redukcja formy powierzchniowej do formy podstawowej, aby maszyna miała mniej różnych rzeczy do śledzenia.7
To jest realny i przydatny rodzaj poznania. Pozwala grze odpowiadać na pytanie „co to za słowo?” w Atenach czy Amsterdamie, bez leksykografa w zespole. Ale to jest poznanie jako wyszukiwanie, a nie poznanie jako znaczenie. Glosa to obietnica, że osoba czytająca ją rozpozna słowo. Maszyna trzyma tę obietnicę; czytelnik dostarcza sensu.
Niektóre języki napotykają sufit, którego żaden parser nie jest w stanie podnieść, ponieważ po prostu nie ma tam danych do rozwinięcia. Węgierskie hasła często zawierają jedynie etymologię i tabelę tłumaczeń, bez żadnego tekstu definicji, więc nawet idealny czytelnik wychodzi z niczym. Najtrudniejsze przypadki skupiają się tam, gdzie lingwistyka jest najtrudniejsza: języki aglutynacyjne, takie jak fiński i węgierski, które generują ogromne paradigmy, oraz pisma cyrylickie i greckie, gdzie pokrycie społecznościowe jest z natury cieńsze. Grecki wzrósł z 15% do 57%; fakt, że zatrzymuje się daleko poniżej 92% niemieckiego, jest faktem o źródle, a nie o kodzie. 6