olski.grammar¶
The grammar formalism: symbols, productions, and feature unification.
A grammar is data, in Python. What a production says is: this constituent is made of these parts, and these features of the parts must be the same feature. Agreement is therefore not a check bolted onto the parse; it is the parse. A noun phrase whose adjective disagrees with its noun has no derivation, so it is not olski.
Feature values are sets, because a Polish form is usually ambiguous:
pliku is genitive, locative or vocative, and program is nominative or
accusative. Unification intersects those sets, and a constituent survives only
while every intersection stays non-empty. That is how Program zapisuje
ustawienia resolves — nominative for the subject, accusative for the object —
without anything having to choose a reading up front.
Zbiór = str | Collection[str]
module-attribute
¶
Spec = Var | frozenset
module-attribute
¶
NIE_NIESIE = frozenset()
module-attribute
¶
Part = Sym | Word
module-attribute
¶
EMPTY = Env()
module-attribute
¶
Var
dataclass
¶
A feature variable, shared between the parts of one production.
Source code in olski/grammar.py
25 26 27 28 29 30 31 32 | |
Sym
dataclass
¶
A reference to a non-terminal, with constraints on its features.
Source code in olski/grammar.py
91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 | |
name
instance-attribute
¶
constraints = ()
class-attribute
instance-attribute
¶
__init__(name, constraints=())
¶
__post_init__()
¶
Source code in olski/grammar.py
98 99 | |
__hash__()
¶
Hasz policzony raz, z powodu, który podaje Production.__hash__.
Source code in olski/grammar.py
101 102 103 | |
__repr__()
¶
Source code in olski/grammar.py
105 106 107 108 109 | |
Word
dataclass
¶
A terminal: one morphological reading, constrained by tag and lemma.
Source code in olski/grammar.py
112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 | |
pos
instance-attribute
¶
constraints = ()
class-attribute
instance-attribute
¶
lemmas = None
class-attribute
instance-attribute
¶
bez_lematów = None
class-attribute
instance-attribute
¶
bez_lematów_formy = None
class-attribute
instance-attribute
¶
niesione = None
class-attribute
instance-attribute
¶
__init__(pos, constraints=(), lemmas=None, bez_lematów=None, bez_lematów_formy=None, niesione=None)
¶
__post_init__()
¶
Source code in olski/grammar.py
137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 | |
__hash__()
¶
Hasz policzony raz, z powodu, który podaje Production.__hash__.
Source code in olski/grammar.py
153 154 155 | |
__repr__()
¶
Source code in olski/grammar.py
157 158 | |
Głowa
dataclass
¶
Znacznik na tej córce, którą konstytuent jest.
Znacznik wchodzi do ciała, a nie obok niego, bo obok byłby numerem pozycji, a numer myli się bez śladu: przestawione ciało zostawia go niezmienionym i nikt tego nie zauważy. Znacznik przesuwa się razem ze swoją częścią.
Source code in olski/grammar.py
186 187 188 189 190 191 192 193 194 195 | |
Production
dataclass
¶
One way of building a constituent, and the features it comes out with.
Source code in olski/grammar.py
215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 | |
head
instance-attribute
¶
body
instance-attribute
¶
features = ()
class-attribute
instance-attribute
¶
głowa = 0
class-attribute
instance-attribute
¶
koszty = ()
class-attribute
instance-attribute
¶
koszt
property
¶
__init__(head, body, features=(), głowa=0, koszty=())
¶
__post_init__()
¶
Source code in olski/grammar.py
241 242 243 244 245 246 247 248 | |
__hash__()
¶
Hasz policzony raz, bo gramatyka powstaje raz i już się nie zmienia.
Produkcja jest częścią każdego stanu tablicy Earleya, a jej części
rozbiór sprawdza w zbiorze, którym odsiewa stany (olski/parse/tablica.py),
więc każde z tych trojga haszuje się po kilka milionów razy na dokument.
Hasz wywiedziony z pól przechodziłby za każdym razem całe ciało,
a w nim więzy każdej części.
Równość zostaje ta, którą daje dataclass: hasz nie jest polem.
Source code in olski/grammar.py
254 255 256 257 258 259 260 261 262 263 264 | |
__repr__()
¶
Source code in olski/grammar.py
266 267 | |
Grammar
¶
A set of productions, indexed by the constituent they build.
Cechy, których produkcja żąda od córki oznaczonej Głowa,
wychodzą z konstytuenta same, bo konstytuent jest tą córką:
grupa_orzeczenia żądające liczby i rodzaju od czasownika
wypuszcza tę liczbę i ten rodzaj bez wypisywania ich drugi raz.
Wypisane wygrywa, więc produkcja wypuszczająca co innego mówi to wprost,
a symbol, który cechy swojej głowy w górę nie niesie,
stoi w nie_wypuszczane.
Domyślność idzie w tę stronę, bo pomyłki są tu nierówne.
Cechy nieobecnej unifikacja nie sprawdza,
więc konstytuent milczący o cesze przechodzi pod każdy więz na nią
i wypisanie pominięte luzowałoby gramatykę bez śladu w wydruku,
a wpis zbędny w nie_wypuszczane zawęża
i widać go po zdaniu, które przestało się wyprowadzać.
Source code in olski/grammar.py
301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 335 336 337 338 339 340 341 342 343 344 345 346 347 348 349 350 351 352 353 354 355 356 357 358 359 360 361 362 363 364 365 366 367 368 369 370 371 372 373 374 375 376 377 378 379 380 381 382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 402 403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 420 421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 462 463 464 465 466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 481 482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 498 499 500 501 502 503 504 505 506 507 508 509 510 511 512 513 514 515 516 517 518 519 520 521 522 523 524 525 526 527 528 529 530 531 532 533 534 535 536 537 538 539 540 541 542 543 544 545 546 547 548 549 550 551 552 553 554 555 556 557 558 559 560 561 562 563 564 565 566 567 568 569 570 571 572 573 574 575 576 577 578 579 580 581 582 583 584 585 586 587 588 589 590 591 592 593 594 595 596 597 598 599 600 601 602 603 604 605 606 607 608 609 610 611 612 613 614 615 616 617 618 619 620 621 622 623 624 625 626 627 628 629 630 631 632 633 634 635 636 637 638 639 640 641 642 643 644 645 646 647 648 649 650 651 652 653 654 655 656 657 658 659 660 661 662 663 664 665 666 667 668 669 670 671 672 673 674 675 676 677 678 679 680 681 682 683 684 685 686 687 688 689 690 691 692 693 694 695 696 697 698 699 700 701 702 703 704 705 706 707 708 709 710 711 712 713 714 715 716 717 718 719 720 721 722 723 724 725 726 727 728 729 730 731 732 733 734 735 736 737 738 739 740 741 742 743 744 | |
start = start
instance-attribute
¶
nie_wypuszczane = {symbol: frozenset(cechy) for symbol, cechy in (nie_wypuszczane or {}).items()}
instance-attribute
¶
productions = []
instance-attribute
¶
__init__(start, nie_wypuszczane=None)
¶
Source code in olski/grammar.py
320 321 322 323 324 325 326 327 328 329 330 331 332 333 334 | |
rule(head, body, koszty=(), **features)
¶
Source code in olski/grammar.py
336 337 338 339 340 341 342 343 344 345 346 347 348 | |
dopisz(production)
¶
Wpisz produkcję gotową, czyli wziętą z innej gramatyki.
Tędy powstaje wariant gramatyki: sonda przepisuje produkcje do gramatyki
uboższej takimi, jakie są. Złożona drugi raz z części gubiłaby to,
czego rule nie przyjmuje osobnym argumentem, czyli głowę.
Source code in olski/grammar.py
366 367 368 369 370 371 372 373 374 375 376 377 | |
for_head(head)
¶
Source code in olski/grammar.py
379 380 | |
licencjonuje(pos, lemma, lematy, features)
¶
Czy jakikolwiek terminal tej gramatyki bierze takie czytanie formy.
Pytanie stawiane przed rozbiorem i wyprowadzone z gramatyki, a nie napisane obok niej: czytanie, którego nie bierze tu żaden terminal, nie przejdzie przy żadnym środowisku cech, bo unifikacja tylko zawęża. Forma, której w ten sposób nie zostaje ani jedno czytanie, jest tym, na czym odrzucenie stanęło; docs/design-notes.md wywodzi, czemu warstwa mówiąca to samo obok gramatyki byłaby gramatyką napisaną dwa razy.
Source code in olski/grammar.py
382 383 384 385 386 387 388 389 390 391 392 393 394 395 396 397 398 399 400 401 | |
terminale_dla(pos)
¶
Terminale, które w ogóle biorą tę część mowy, każdy raz.
Pytanie o licencję pada raz na czytanie formy, a odpowiada za nie część mowy w większości przypadków, więc indeks stoi na niej: bez niego każde czytanie przechodzi przez wszystkie terminale gramatyki. Ten sam terminal stoi w kilku produkcjach, a odpowiada wszędzie tak samo, więc wchodzi tu raz.
Source code in olski/grammar.py
403 404 405 406 407 408 409 410 411 412 413 414 415 416 417 418 419 | |
zaczynane()
¶
Terminal → części ciała, którymi konstytuent może się od niego zacząć.
Terminal zaczyna sam siebie, a symbol każdym terminalem, do którego
schodzi po pierwszych córkach; pod kluczem None stoją części
zaczynające się bez żadnego terminala, czyli te o wyprowadzeniu pustym,
i klucz ten stoi tu nawet pusty, bo odsiew sięga po niego bez pytania.
Odsiewa on stan, którego następna córka nie ma w swojej pozycji grafu
od czego się zacząć (olski/parse/tablica.py): taki stan ciała nie dokończy,
więc nie wejdzie do żadnego czytania. Pyta o to pozycja grafu, a nie
stan, więc odpowiedź jest ułożona po terminalach.
Source code in olski/grammar.py
421 422 423 424 425 426 427 428 429 430 431 432 433 434 435 436 437 438 439 440 441 442 443 444 445 446 447 448 449 450 451 452 453 454 455 456 457 458 459 460 461 | |
heads()
¶
Source code in olski/grammar.py
463 464 | |
undefined()
¶
Non-terminals referred to by some production and defined by none.
Odpowiedź stoi w gramatyce, a pyta o nią każde rozbierane zdanie, więc liczy się ją raz.
Source code in olski/grammar.py
466 467 468 469 470 471 472 473 474 475 476 477 478 479 480 | |
nieosiągalne()
¶
Symbole, które gramatyka definiuje, a start do nich nie schodzi.
Literówka w nazwie symbolu zgłasza się tylko z jednej strony:
w referencji odmawia rozbioru (undefined),
a w głowie produkcji daje symbol, do którego nie sięga żadne czytanie,
i wtedy gramatyka wyprowadza dalej to, co wyprowadzała przedtem.
Odpowiedź liczy się przy każdym pytaniu, bo pyta o nią przegląd,
a nie zdanie.
Source code in olski/grammar.py
482 483 484 485 486 487 488 489 490 491 492 493 494 495 496 497 498 499 500 501 502 503 504 505 | |
więzy_niesprawdzane()
¶
Pary symbolu i cechy, o którą pyta referencja, a symbol jej nie wypuszcza.
Cechy nieobecnej unify nie sprawdza, więc taki więz przepuszcza
każdy konstytuent, a literówka w nazwie cechy luzuje gramatykę,
nie zmieniając ani jednego wiersza wydruku.
Wypuszczaniem jest suma po produkcjach symbolu, a nie przecięcie:
jedna produkcja niesie cechę, której druga nie niesie,
i tym właśnie różni się forma odmienna od nieodmiennej.
Więzu na terminalu to nie obejmuje: cechy formy przychodzą z morfologii,
a nie z produkcji, więc inwentarz ich nazw podaje formalizmowi wołający
(więzy_terminali_niesprawdzane).
Source code in olski/grammar.py
507 508 509 510 511 512 513 514 515 516 517 518 519 520 521 522 523 524 525 526 527 528 529 530 531 532 533 | |
wypuszczane_bez_wiązania()
¶
Pary symbolu i cechy wypuszczanej zmienną, której nie wiąże ani jedna córka.
Taka cecha nie wychodzi z konstytuenta nigdy:
zmienną wiąże tylko więz na córce (unify),
a nierozwiązanej features_of nie wypuszcza, więc deklaracja milczy.
Literówka w nazwie zmiennej zgłasza się przez to tutaj,
tak jak literówka w nazwie cechy zgłasza się w więzy_niesprawdzane.
Source code in olski/grammar.py
535 536 537 538 539 540 541 542 543 544 545 546 547 548 549 550 551 552 553 554 555 556 557 | |
nie_wypuszczane_bez_żądania()
¶
Wpisy nie_wypuszczane, których nie żąda od głowy żadna produkcja.
Taki wpis zatrzymuje cechę, która i bez niego z konstytuenta nie wychodzi,
więc mówi o gramatyce coś, czego w niej nie ma;
zostaje po produkcji zdjętej albo przemianowanej i cichnie tak samo,
jak cichnie więz na cechę, której nikt nie wypuszcza
(więzy_niesprawdzane).
Source code in olski/grammar.py
559 560 561 562 563 564 565 566 567 568 569 570 571 572 573 574 575 576 577 578 579 | |
więzy_terminali_niesprawdzane(cechy)
¶
Pary części mowy i cechy, o którą pyta terminal, a inwentarz jej nie zna.
Cecha o nazwie spoza inwentarza nie przychodzi z żadnej formy, więc więz
na nią przepuszcza każdą i literówka luzuje gramatykę, nie zmieniając ani
jednego wiersza wydruku — tak samo jak w więzy_niesprawdzane,
tylko że tam nazwy pilnuje sama gramatyka, a tu morfologia, o której ten
formalizm nie wie nic. Inwentarz przychodzi więc argumentem od
wołającego, który zna oba: cechy formy zamyka VALUES
w olski/morph.py.
Żądanie samej obecności (Word.niesione) idzie tą samą drogą,
bo nazywa cechę tego samego inwentarza.
Source code in olski/grammar.py
581 582 583 584 585 586 587 588 589 590 591 592 593 594 595 596 597 598 599 600 601 602 | |
więzy_niespełnialne(wartości)
¶
Trójki części, cechy i wartości, których żąda więz, a część ich nie niesie.
Unifikacja przecina zbiory, więc pod takim więzem nie przechodzi ani jedna
wartość: konstytuent niosący tę cechę odpada, a przechodzi samo milczenie.
Symbol, który milczeć nie umie, bo cechę wypuszcza każde jego ciało, nie
przechodzi wtedy wcale i produkcja z takim więzem nie odbiera ani zdania,
ani czytania; takim ciałem stało tu dopełnienie → grupa_imienna[case=inf]
(DOKŁADANE_PRZYPADKI w olski/subset/rama.py).
Znalazła je ręka, bo nieosiągalne pyta o symbol,
a nieosiągalny jest tu układ cech pod symbolem osiągalnym.
Tyle zostaje po literówce w wartości i po pozycji napisanej nie tak, jak chciano.
Więz, pod który przechodzi samo milczenie, jest zgłaszany razem z tamtym,
bo żądanie ujemne pisze się NIE_NIESIE i nie wygląda przez to jak
literówka. O więzie, którego _wartości_wypuszczane nie rozstrzyga,
sprawdzenie milczy; że nie milczy o żadnym, mówi
więzy_nierozstrzygnięte.
Inwentarz wartości formy podaje wołający, tak samo jak nazwy cech podaje
więzy_terminali_niesprawdzane i z tego samego powodu:
cechy formy przychodzą z morfologii, o której ten formalizm nie wie nic.
Kształt argumentu jest kształtem tamtego inwentarza — wartość → nazwa cechy.
Source code in olski/grammar.py
604 605 606 607 608 609 610 611 612 613 614 615 616 617 618 619 620 621 622 623 624 625 626 627 628 629 630 631 632 633 634 635 | |
więzy_nierozstrzygnięte(wartości)
¶
Pary części i cechy, o których wartościach więzy_niespełnialne milczy.
Tamto sprawdzenie więz na parę bez odpowiedzi pomija, nie mówiąc o tym ani słowem, więc puste mówi dwie rzeczy naraz i nie rozdziela ich: że martwego więzu w gramatyce nie ma, oraz że o części więzów nie było jak orzec. Ta odpowiedź je rozdziela, więc pusta jest warunkiem, pod którym tamto sprawdzenie mówi o całej gramatyce.
Source code in olski/grammar.py
637 638 639 640 641 642 643 644 645 646 647 648 649 650 | |
__len__()
¶
Source code in olski/grammar.py
743 744 | |
Env
dataclass
¶
Variable bindings, immutable so that chart items can be hashed.
Source code in olski/grammar.py
752 753 754 755 756 757 758 759 760 761 762 763 764 765 766 767 768 769 770 | |
bindings = frozenset()
class-attribute
instance-attribute
¶
__init__(bindings=frozenset())
¶
get(name)
¶
Source code in olski/grammar.py
758 759 760 761 762 | |
bind(name, values)
¶
Source code in olski/grammar.py
764 765 766 | |
resolve(spec)
¶
The values a spec stands for, or None if a variable is still free.
Source code in olski/grammar.py
768 769 770 | |
V(name)
¶
Source code in olski/grammar.py
35 36 | |
nt(name, **features)
¶
Refer to a non-terminal: nt("grupa_imienna", case="nom", number=V("n")).
Source code in olski/grammar.py
270 271 272 | |
word(pos, lemma=None, bez_lematu=None, bez_lematu_formy=None, niesie=None, **features)
¶
Match a morphological reading: word("subst", case=V("c")).
pos may name alternatives, as in {"fin", "praet"}.
bez_lematu names alternatives the same way and excludes them instead,
and bez_lematu_formy excludes them by the whole form
rather than by the one reading being matched.
niesie nazywa cechy, które forma ma nieść, tym samym zbiorem.
Source code in olski/grammar.py
275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 | |
unify(constraints, features, env)
¶
Match constraints against a constituent's features.
Returns the extended bindings, or None if some feature's values do not intersect — which is what disagreement looks like from here.
A feature the constituent does not carry cannot disagree, so it is skipped
rather than failed: an uninflected part of speech is not in violation of an
agreement it takes no part in. A terminal demanding that a form carry the
feature at all says so outside this function, in Word.niesione.
Source code in olski/grammar.py
776 777 778 779 780 781 782 783 784 785 786 787 788 789 790 791 792 793 794 795 796 797 798 799 800 801 802 803 804 | |
bierze(terminal, pos, lemma, lematy, features, env)
¶
Czy terminal bierze to czytanie formy, i z jakimi wiązaniami.
Warunek na czytanie stoi tu raz, a pytają o niego dwie rzeczy. Rozbiór pyta
ze środowiskiem, które przyszło od rodzeństwa, a Grammar.licencjonuje
pyta z EMPTY, żeby odpowiedź nie zależała od zdania, w którym forma
stanęła.
lemma jest lematem tego czytania, a lematy lematami całej formy, czyli
tym, o co pyta Word.bez_lematów_formy. Oba przychodzą argumentem, żeby
warunek został w jednej kopii dla każdego, kto go woła. Odpowiedź od zdania nie
zależy przez to dalej: lematy formy są własnością formy, a nie jej miejsca.
Source code in olski/grammar.py
807 808 809 810 811 812 813 814 815 816 817 818 819 820 821 822 823 824 825 826 827 828 829 830 831 832 833 834 835 836 837 838 839 | |
features_of(production, env)
¶
The features a completed constituent carries out of its production.
Source code in olski/grammar.py
842 843 844 845 846 847 848 849 | |