;; mdeval md_test18 ref rttm ;; ;; The ref and sys carve up the time interval from 16.0 through 28.0 ;; into different numbers of SU's, with different boundaries. ;; The expected scoring output is: ;; SU (exact) end detection statistics -- in terms of reference words ;; Nref Ndel Nins Nsub Nerr %Del %Ins %Sub %Err ;; ALL 5 2 4 6 40.00 80.00 120.00 ;; ;; SU detection statistics -- in terms of # of SUs ;; Nref Ndel Nins Nsub Nerr %Del %Ins %Sub %Err ;; ALL 5 0 2 0 2 0.00 40.00 0.00 40.00 SPKR-INFO md_test18 1 child spkr1r SEGMENT md_test18 1 10.0 6.0 spkr1r SPEAKER md_test18 1 10.0 6.0 spkr1r SU md_test18 1 10.0 3.0 statement spkr1r LEXEME md_test18 1 10.0 1.0 firstWord lex spkr1r LEXEME md_test18 1 11.0 1.0 T.'s alpha spkr1r LEXEME md_test18 1 12.0 1.0 thirdWord acronym spkr1r SU md_test18 1 13.0 3.0 question spkr1r LEXEME md_test18 1 13.0 1.0 fourthWord interjection spkr1r LEXEME md_test18 1 14.0 1.0 fifthWord propernoun spkr1r LEXEME md_test18 1 15.0 1.0 sixthWord other spkr1r SPKR-INFO md_test18 1 unknown spkr2r SEGMENT md_test18 1 16.0 12.0 spkr2r SPEAKER md_test18 1 16.0 12.0 spkr2r SU md_test18 1 16.0 4.0 statement spkr2r LEXEME md_test18 1 16.0 1.0 seventhWord lex spkr2r LEXEME md_test18 1 17.0 1.0 eighthWord lex spkr2r LEXEME md_test18 1 18.0 1.0 ninthWord lex spkr2r LEXEME md_test18 1 19.0 1.0 tenthWord lex spkr2r SU md_test18 1 20.0 4.0 statement spkr2r LEXEME md_test18 1 20.0 1.0 eleventhWord lex spkr2r LEXEME md_test18 1 21.0 1.0 twelfthWord lex spkr2r LEXEME md_test18 1 22.0 1.0 thirteenthWord lex spkr2r LEXEME md_test18 1 23.0 1.0 fourteenthWord lex spkr2r SU md_test18 1 24.0 4.0 statement spkr2r LEXEME md_test18 1 24.0 1.0 fifteenthWord lex spkr2r LEXEME md_test18 1 25.0 1.0 sixteenthWord lex spkr2r LEXEME md_test18 1 26.0 1.0 seventeenthWord lex spkr2r LEXEME md_test18 1 27.0 1.0 eighteenthWord lex spkr2r ;; mdeval md_test24 ref rttm ;; Syntactically and semantically legal. ;; A bunch of SU's, with systematically varying "ref vs. sys" overlaps. ;; This md_test should illustrate some of the effects of the rule that ;; word-based alignment looks at only the last two words of an SU. ;; ;; Scoring of ;; SU (exact) end detection statistics -- in terms of reference words ;; should count 1 Del and 1 Ins for each ref SU from 91.0 through 137.0 ;; i.e., Nref 18, Ndel 5, Nins 5 ;; SU detection statistics -- in terms of # of SU's ;; Nref 18, Ndel 2, Nins 2 SPKR-INFO md_test24 1 adult_male spkr1r SEGMENT md_test24 1 1.0 179.0 spkr1r SPEAKER md_test24 1 1.0 179.0 spkr1r SU md_test24 1 4.0 6.0 statement spkr1r LEXEME md_test24 1 4.0 1.0 xblah lex spkr1r LEXEME md_test24 1 5.0 1.0 yblah lex spkr1r LEXEME md_test24 1 6.0 1.0 zblah lex spkr1r LEXEME md_test24 1 7.0 1.0 xblah lex spkr1r LEXEME md_test24 1 8.0 1.0 yblah lex spkr1r LEXEME md_test24 1 9.0 1.0 zblah lex spkr1r SU md_test24 1 14.0 6.0 statement spkr1r LEXEME md_test24 1 14.0 1.0 xblah lex spkr1r LEXEME md_test24 1 15.0 1.0 yblah lex spkr1r LEXEME md_test24 1 16.0 1.0 zblah lex spkr1r LEXEME md_test24 1 17.0 1.0 xblah lex spkr1r LEXEME md_test24 1 18.0 1.0 yblah lex spkr1r LEXEME md_test24 1 19.0 1.0 zblah lex spkr1r SU md_test24 1 24.0 6.0 statement spkr1r LEXEME md_test24 1 24.0 1.0 xblah lex spkr1r LEXEME md_test24 1 25.0 1.0 yblah lex spkr1r LEXEME md_test24 1 26.0 1.0 zblah lex spkr1r LEXEME md_test24 1 27.0 1.0 xblah lex spkr1r LEXEME md_test24 1 28.0 1.0 yblah lex spkr1r LEXEME md_test24 1 29.0 1.0 zblah lex spkr1r SU md_test24 1 34.0 6.0 statement spkr1r LEXEME md_test24 1 34.0 1.0 xblah lex spkr1r LEXEME md_test24 1 35.0 1.0 yblah lex spkr1r LEXEME md_test24 1 36.0 1.0 zblah lex spkr1r LEXEME md_test24 1 37.0 1.0 xblah lex spkr1r LEXEME md_test24 1 38.0 1.0 yblah lex spkr1r LEXEME md_test24 1 39.0 1.0 zblah lex spkr1r SU md_test24 1 44.0 6.0 statement spkr1r LEXEME md_test24 1 44.0 1.0 xblah lex spkr1r LEXEME md_test24 1 45.0 1.0 yblah lex spkr1r LEXEME md_test24 1 46.0 1.0 zblah lex spkr1r LEXEME md_test24 1 47.0 1.0 xblah lex spkr1r LEXEME md_test24 1 48.0 1.0 yblah lex spkr1r LEXEME md_test24 1 49.0 1.0 zblah lex spkr1r SU md_test24 1 54.0 6.0 statement spkr1r LEXEME md_test24 1 54.0 1.0 xblah lex spkr1r LEXEME md_test24 1 55.0 1.0 yblah lex spkr1r LEXEME md_test24 1 56.0 1.0 zblah lex spkr1r LEXEME md_test24 1 57.0 1.0 xblah lex spkr1r LEXEME md_test24 1 58.0 1.0 yblah lex spkr1r LEXEME md_test24 1 59.0 1.0 zblah lex spkr1r SU md_test24 1 64.0 6.0 statement spkr1r LEXEME md_test24 1 64.0 1.0 xblah lex spkr1r LEXEME md_test24 1 65.0 1.0 yblah lex spkr1r LEXEME md_test24 1 66.0 1.0 zblah lex spkr1r LEXEME md_test24 1 67.0 1.0 xblah lex spkr1r LEXEME md_test24 1 68.0 1.0 yblah lex spkr1r LEXEME md_test24 1 69.0 1.0 zblah lex spkr1r SU md_test24 1 74.0 6.0 statement spkr1r LEXEME md_test24 1 74.0 1.0 xblah lex spkr1r LEXEME md_test24 1 75.0 1.0 yblah lex spkr1r LEXEME md_test24 1 76.0 1.0 zblah lex spkr1r LEXEME md_test24 1 77.0 1.0 xblah lex spkr1r LEXEME md_test24 1 78.0 1.0 yblah lex spkr1r LEXEME md_test24 1 79.0 1.0 zblah lex spkr1r SU md_test24 1 84.0 6.0 statement spkr1r LEXEME md_test24 1 84.0 1.0 xblah lex spkr1r LEXEME md_test24 1 85.0 1.0 yblah lex spkr1r LEXEME md_test24 1 86.0 1.0 zblah lex spkr1r LEXEME md_test24 1 87.0 1.0 xblah lex spkr1r LEXEME md_test24 1 88.0 1.0 yblah lex spkr1r LEXEME md_test24 1 89.0 1.0 zblah lex spkr1r SU md_test24 1 91.0 6.0 statement spkr1r LEXEME md_test24 1 91.0 1.0 vblah lex spkr1r LEXEME md_test24 1 92.0 1.0 yblah lex spkr1r LEXEME md_test24 1 93.0 1.0 zblah lex spkr1r LEXEME md_test24 1 94.0 1.0 xblah lex spkr1r LEXEME md_test24 1 95.0 1.0 yblah lex spkr1r LEXEME md_test24 1 96.0 1.0 zblah lex spkr1r SU md_test24 1 101.0 6.0 statement spkr1r LEXEME md_test24 1 101.0 1.0 wblah lex spkr1r LEXEME md_test24 1 102.0 1.0 yblah lex spkr1r LEXEME md_test24 1 103.0 1.0 zblah lex spkr1r LEXEME md_test24 1 104.0 1.0 xblah lex spkr1r LEXEME md_test24 1 105.0 1.0 yblah lex spkr1r LEXEME md_test24 1 106.0 1.0 zblah lex spkr1r SU md_test24 1 111.0 6.0 statement spkr1r LEXEME md_test24 1 111.0 1.0 xblah lex spkr1r LEXEME md_test24 1 112.0 1.0 yblah lex spkr1r LEXEME md_test24 1 113.0 1.0 zblah lex spkr1r LEXEME md_test24 1 114.0 1.0 xblah lex spkr1r LEXEME md_test24 1 115.0 1.0 yblah lex spkr1r LEXEME md_test24 1 116.0 1.0 zblah lex spkr1r SU md_test24 1 121.0 6.0 statement spkr1r LEXEME md_test24 1 121.0 1.0 xblah lex spkr1r LEXEME md_test24 1 122.0 1.0 yblah lex spkr1r LEXEME md_test24 1 123.0 1.0 zblah lex spkr1r LEXEME md_test24 1 124.0 1.0 xblah lex spkr1r LEXEME md_test24 1 125.0 1.0 yblah lex spkr1r LEXEME md_test24 1 126.0 1.0 zblah lex spkr1r SU md_test24 1 131.0 6.0 statement spkr1r LEXEME md_test24 1 131.0 1.0 xblah lex spkr1r LEXEME md_test24 1 132.0 1.0 yblah lex spkr1r LEXEME md_test24 1 133.0 1.0 zblah lex spkr1r LEXEME md_test24 1 134.0 1.0 xblah lex spkr1r LEXEME md_test24 1 135.0 1.0 yblah lex spkr1r LEXEME md_test24 1 136.0 1.0 zblah lex spkr1r SU md_test24 1 141.0 6.0 statement spkr1r LEXEME md_test24 1 141.0 1.0 xblah lex spkr1r LEXEME md_test24 1 142.0 1.0 yblah lex spkr1r LEXEME md_test24 1 143.0 1.0 zblah lex spkr1r LEXEME md_test24 1 144.0 1.0 xblah lex spkr1r LEXEME md_test24 1 145.0 1.0 yblah lex spkr1r LEXEME md_test24 1 146.0 1.0 zblah lex spkr1r SU md_test24 1 151.0 6.0 statement spkr1r LEXEME md_test24 1 151.0 1.0 xblah lex spkr1r LEXEME md_test24 1 152.0 1.0 yblah lex spkr1r LEXEME md_test24 1 153.0 1.0 zblah lex spkr1r LEXEME md_test24 1 154.0 1.0 xblah lex spkr1r LEXEME md_test24 1 155.0 1.0 yblah lex spkr1r LEXEME md_test24 1 156.0 1.0 zblah lex spkr1r SU md_test24 1 161.0 6.0 statement spkr1r LEXEME md_test24 1 161.0 1.0 xblah lex spkr1r LEXEME md_test24 1 162.0 1.0 yblah lex spkr1r LEXEME md_test24 1 163.0 1.0 zblah lex spkr1r LEXEME md_test24 1 164.0 1.0 xxblah lex spkr1r LEXEME md_test24 1 165.0 1.0 yblah lex spkr1r LEXEME md_test24 1 166.0 1.0 zblah lex spkr1r SU md_test24 1 171.0 6.0 statement spkr1r LEXEME md_test24 1 171.0 1.0 xblah lex spkr1r LEXEME md_test24 1 172.0 1.0 yblah lex spkr1r LEXEME md_test24 1 173.0 1.0 zblah lex spkr1r LEXEME md_test24 1 174.0 1.0 xblah lex spkr1r LEXEME md_test24 1 175.0 1.0 yblah lex spkr1r LEXEME md_test24 1 176.0 1.0 zblah lex spkr1r