Перейти к содержимому
Dota2 AI Smart
ГлавнаяМатчиРазборДрафтИгратьТочностьБаза
Регистрация
МатчиДрафтИгратьАналитика

Независимый проект, не связан с Valve и Dota 2.

build e7916e3 · scoring-v0.8.1

scoring-v0.8.1

Точность

Сколько раз модель угадала фаворита, насколько честны её вероятности и бьёт ли она простые эвристики.

Попаданий
63%
260 из 410 с названным фаворитом
Brier
0.23
по всем 541 · монетка = 0.25
Воздержаний
131
разница вероятностей в полосе ничьей
Цифры не от текущей модели. У версии scoring-v0.8.1 ещё нет разобранных матчей с известным исходом, поэтому выше — метрики анализов предыдущих версий. Они станут актуальными после перегенерации корпуса.
~63% на матчах, где модель назвала фаворита; baseline по силе команд (Elo) ~67%. То есть простая оценка по силе команд сейчас не уступает полной модели. Один только драфт объясняет заметно меньше — по замеру 57.9% против 52.3% у «всегда Radiant», то есть исход решает далеко не он один. Оговорка, которая остаётся: рейтинги команд и пулы игроков берутся из снапшотов, сделанных позже матчей корпуса, то есть частично знающих их исходы — цифры выше это верхняя граница, а не чистое измерение.
Как читать эти цифры

Точность — доля матчей, где фаворит модели реально выиграл. Фаворит объявляется только при вероятности выше 55.7%: вокруг равенства у модели мёртвая зона, и матчи из неё в знаменатель не входят.

Brier — квадратичная ошибка вероятности: 0 — идеально, 0.25 — подбрасывание монетки. Считается по всем матчам с исходом, включая те, где модель воздержалась.

Модель воздержалась в 131 из 541 матчей (24%) — там драфты разошлись меньше чем на 4.20 балла. Точность 63.4% посчитана по оставшимся 410. Brier по этой же подвыборке был бы 0.228 — он ниже не потому, что модель точнее, а потому что самые спорные матчи из него исключены.

В оценку входит не только драфт: состояние команды по Elo и статистика игроков на конкретных героях. Исполнение и текущая форма в матче — не входят.

Сравнение с baseline

Честная проверка: бьём ли мы простые эвристики. Наша модель должна быть выше random и meta-baseline.

Простая оценка по силе команд (Elo) ≈ 67%. Замер по классам сигнала на 344 картах: один драфт — 57.9%, один Elo — 60.8%, вместе — 63.4% при 100% покрытии. Драфт значим, но не главный фактор исхода, и это стоит держать в голове, читая любую цифру выше.
Наша модель63.4%n=410
Случайно (50/50)50.0%n=410мы +13.4
Всегда Radiant54.4%n=410мы +9.0
Всегда Dire45.6%n=410мы +17.8
Выше patch meta50.2%n=410мы +13.2
Выше team rating67.4%n=371мы -4.0*
Closing oddsнет данных
* посчитан на другом наборе матчей, чем модель — разница не прямое сравнение.
По уверенности
medium-high68% (190/279)
medium53% (68/129)
medium-low100% (2/2)
По патчу
7.41d57% (109/190)
7.41b72% (98/137)
7.3961% (31/51)
7.41a63% (17/27)
7.41c100% (5/5)

Калибровка

Совпадает ли заявленная вероятность с реальным winrate. Δ считается от средней заявленной вероятности внутри корзины, а не от её нижней границы — иначе Δ завышается примерно на 2.5пп на ровном месте. Близкое к 0 = модель откалибрована честно.

  • 50-55%17 карт
  • 55-60%69 карт
  • 60-65%90 карт
  • 65-70%77 карт
  • 70-80%

Последние прогнозы

МатчФаворитВероятностьИсходОтметить победителя
TEAM VISIONvsTeam SpiritРавно41%/59%✗ мимо(Brier 0.16)
TEAM VISIONvsTeam SpiritTEAM VISION76%/24%✓ верно(Brier 0.06)
Team SpiritvsTEAM VISIONРавно58%/42%✗ мимо(Brier 0.18)
107 карт
  • 80%+50 карт

    • Длина заливки — что модель обещала в этой корзине, засечка — как вышло на самом деле. Совпали — модель называет свои числа честно; разошлись — она либо самоуверенна, либо осторожничает.

    ›Те же корзины цифрами: Δ и выборка
    404050506060707080809090100100идеальная калибровка50-55%: заявлено 54.4%, факт 53%, прогнозов 1755-60%: заявлено 57.7%, факт 58%, прогнозов 6960-65%: заявлено 62.6%, факт 54%, прогнозов 9065-70%: заявлено 67.5%, факт 65%, прогнозов 7770-80%: заявлено 74.6%, факт 67%, прогнозов 10780%+: заявлено 84.6%, факт 80%, прогнозов 50заявленная вероятность, %фактический winrate, %
    Точка выше диагонали — модель была осторожнее, чем следовало; ниже — переоценила себя. Площадь точки — число прогнозов в корзине.
    КорзинаСредняя заявленнаяПрогнозовРеальный winrateΔ
    50-55%54.4%1753%-1%
    55-60%57.7%6958%+0%
    60-65%62.6%9054%-8%
    65-70%67.5%7765%-3%
    70-80%74.6%10767%-7%
    80%+84.6%5080%-5%
    TEAM VISIONvsTeam Spirit
    TEAM VISION
    75%/25%
    ✓ верно(Brier 0.06)
    Team SpiritvsTEAM VISIONРавно57%/43%✗ мимо(Brier 0.19)
    Team SpiritvsTeam YandexРавно45%/55%✗ мимо(Brier 0.30)
    Team YandexvsTeam SpiritTeam Spirit18%/82%✓ верно(Brier 0.03)
    BoomBoysvsTeam SpiritTeam Spirit35%/65%✓ верно(Brier 0.12)
    TEAM VISIONvsTeam YandexTEAM VISION68%/32%✓ верно(Brier 0.10)
    TEAM VISIONvsTeam YandexРавно53%/47%✗ мимо(Brier 0.28)
    Team YandexvsTEAM VISIONРавно44%/56%✗ мимо(Brier 0.20)
    BoomBoysvsNigma GalaxyBoomBoys67%/33%✓ верно(Brier 0.11)
    Nigma GalaxyvsBoomBoysРавно44%/56%✗ мимо(Brier 0.31)
    BoomBoysvsNigma GalaxyBoomBoys72%/28%✓ верно(Brier 0.08)
    Team SpiritvsTeam LiquidРавно43%/57%✗ мимо(Brier 0.32)
    Team LiquidvsTeam SpiritTeam Liquid60%/40%✗ мимо(Brier 0.36)
    Nigma GalaxyvsTeam YandexTeam Yandex39%/61%✓ верно(Brier 0.15)
    Nigma GalaxyvsTeam YandexTeam Yandex34%/66%✓ верно(Brier 0.12)
    Team YandexvsNigma GalaxyTeam Yandex64%/36%✗ мимо(Brier 0.40)
    Team SpiritvsTEAM VISIONРавно50%/50%✗ мимо(Brier 0.25)
    Team SpiritvsTEAM VISIONTEAM VISION38%/62%✗ мимо(Brier 0.39)
    TEAM VISIONvsTeam SpiritTEAM VISION65%/35%✓ верно(Brier 0.12)
    Team FalconsvsTeam LiquidTeam Liquid34%/66%✓ верно(Brier 0.11)
    Team FalconsvsTeam LiquidTeam Falcons62%/38%✗ мимо(Brier 0.38)
    Team LiquidvsTeam FalconsTeam Liquid65%/35%✗ мимо(Brier 0.42)
    BoomBoysvsIron WingBoomBoys69%/31%✓ верно(Brier 0.10)
    BoomBoysvsIron WingIron Wing31%/69%✗ мимо(Brier 0.48)
    BoomBoysvsIron WingРавно48%/52%✗ мимо(Brier 0.23)
    Team FalconsvsNigma GalaxyРавно59%/41%✗ мимо(Brier 0.35)
    Nigma GalaxyvsTeam FalconsTeam Falcons40%/60%✗ мимо(Brier 0.36)
    Team FalconsvsNigma GalaxyTeam Falcons61%/39%✓ верно(Brier 0.15)
    Team LiquidvsTeam YandexРавно59%/41%✗ мимо(Brier 0.35)
    Team YandexvsTeam LiquidTeam Liquid24%/76%✗ мимо(Brier 0.58)
    BoomBoysvsTEAM VISIONРавно50%/50%✗ мимо(Brier 0.25)
    TEAM VISIONvsBoomBoysРавно58%/42%✗ мимо(Brier 0.34)
    BoomBoysvsTEAM VISIONBoomBoys69%/31%✗ мимо(Brier 0.48)
    Iron WingvsTeam SpiritРавно55%/45%✗ мимо(Brier 0.31)
    Team SpiritvsIron WingTeam Spirit75%/25%✓ верно(Brier 0.06)
    LGD GamingvsTeam YandexРавно45%/55%✗ мимо(Brier 0.20)
    Team YandexvsLGD GamingРавно42%/58%✗ мимо(Brier 0.34)
    LGD GamingvsTeam YandexРавно59%/41%✗ мимо(Brier 0.17)
    GamerLegionvsIron WingРавно47%/53%✗ мимо(Brier 0.22)
    Team ResiliencevsTeam SpiritРавно45%/55%✗ мимо(Brier 0.20)
    GamerLegionvsIron WingРавно51%/49%✗ мимо(Brier 0.26)
    Team ResiliencevsTeam SpiritTeam Spirit29%/71%✗ мимо(Brier 0.51)
    Team SpiritvsTeam ResilienceРавно55%/45%✗ мимо(Brier 0.20)
    Aurora GamingvsBoomBoysBoomBoys32%/68%✓ верно(Brier 0.10)
    Team FalconsvsVici GamingРавно59%/41%✗ мимо(Brier 0.17)
    BoomBoysvsAurora GamingРавно58%/42%✗ мимо(Brier 0.17)
    Vici GamingvsTeam FalconsTeam Falcons36%/64%✓ верно(Brier 0.13)
    Team SpiritvsNigma GalaxyРавно60%/40%✗ мимо(Brier 0.36)
    Team YandexvsIron WingTeam Yandex64%/36%✗ мимо(Brier 0.40)
    Aurora GamingvsTeam LiquidРавно54%/46%✗ мимо(Brier 0.29)
    Team FalconsvsBoomBoysBoomBoys35%/65%✗ мимо(Brier 0.42)
    Team YandexvsIron WingTeam Yandex69%/31%✓ верно(Brier 0.09)
    Team LiquidvsAurora GamingРавно51%/49%✗ мимо(Brier 0.24)
    Nigma GalaxyvsTeam SpiritTeam Spirit28%/72%✗ мимо(Brier 0.51)
    Team FalconsvsBoomBoysTeam Falcons71%/29%✗ мимо(Brier 0.50)
    Aurora GamingvsTeam LiquidРавно53%/47%✗ мимо(Brier 0.22)
    Team YandexvsIron WingРавно48%/52%✗ мимо(Brier 0.23)
    LGD GamingvsVici GamingLGD Gaming69%/31%✓ верно(Brier 0.10)
    OGvsGamerLegionGamerLegion21%/79%✓ верно(Brier 0.05)
    Team FalconsvsBoomBoysTeam Falcons78%/22%✓ верно(Brier 0.05)
    Xtreme GamingvsTeam ResilienceXtreme Gaming64%/36%✗ мимо(Brier 0.42)
    Vici GamingvsLGD GamingVici Gaming60%/40%✗ мимо(Brier 0.36)
    GamerLegionvsOGРавно57%/43%✗ мимо(Brier 0.18)
    Team ResiliencevsXtreme GamingTeam Resilience63%/37%✓ верно(Brier 0.14)
    Team LiquidvsIron WingIron Wing38%/62%✗ мимо(Brier 0.39)
    TEAM VISIONvsTeam SpiritTEAM VISION86%/14%✓ верно(Brier 0.02)
    Aurora GamingvsBoomBoysРавно53%/47%✗ мимо(Brier 0.23)
    Team LiquidvsIron WingTeam Liquid73%/27%✓ верно(Brier 0.07)
    Nigma GalaxyvsVici GamingРавно46%/54%✗ мимо(Brier 0.29)
    Team SpiritvsTEAM VISIONРавно48%/52%✗ мимо(Brier 0.23)
    BoomBoysvsAurora GamingРавно44%/56%✗ мимо(Brier 0.19)
    Team LiquidvsIron WingРавно53%/47%✗ мимо(Brier 0.28)
    LGD GamingvsXtreme GamingРавно41%/59%✗ мимо(Brier 0.35)
    Vici GamingvsNigma GalaxyРавно45%/55%✗ мимо(Brier 0.20)
    Team FalconsvsGamerLegionTeam Falcons66%/34%✓ верно(Brier 0.11)
    HULIGANIvsOGРавно45%/55%✗ мимо(Brier 0.21)
    Team YandexvsTeam ResilienceTeam Resilience38%/62%✗ мимо(Brier 0.38)
    Team YandexvsTeam ResilienceРавно57%/43%✗ мимо(Brier 0.18)
    Team FalconsvsGamerLegionTeam Falcons72%/28%✗ мимо(Brier 0.52)
    LGD GamingvsXtreme GamingРавно52%/48%✗ мимо(Brier 0.23)
    HULIGANIvsOGHULIGANI73%/27%✓ верно(Brier 0.07)
    GamerLegionvsTeam FalconsРавно47%/53%✗ мимо(Brier 0.22)
    Team ResiliencevsTeam YandexРавно52%/48%✗ мимо(Brier 0.23)
    LGD GamingvsXtreme GamingXtreme Gaming36%/64%✓ верно(Brier 0.13)
    HULIGANIvsOGHULIGANI63%/37%✗ мимо(Brier 0.40)
    Team YandexvsAurora GamingTeam Yandex75%/25%✗ мимо(Brier 0.56)
    Aurora GamingvsTeam YandexРавно49%/51%✗ мимо(Brier 0.26)
    Team LiquidvsTeam SpiritTeam Liquid73%/27%✗ мимо(Brier 0.53)
    Team YandexvsAurora GamingTeam Yandex80%/20%✓ верно(Brier 0.04)
    GamerLegionvsVici GamingРавно49%/51%✗ мимо(Brier 0.24)
    Xtreme GamingvsHULIGANIРавно58%/42%✗ мимо(Brier 0.18)
    Iron WingvsTeam FalconsTeam Falcons14%/86%✗ мимо(Brier 0.74)
    Team SpiritvsTeam LiquidРавно53%/47%✗ мимо(Brier 0.28)
    GamerLegionvsVici GamingGamerLegion61%/39%✗ мимо(Brier 0.38)
    Xtreme GamingvsHULIGANIHULIGANI32%/68%✗ мимо(Brier 0.46)
    Vici GamingvsGamerLegionVici Gaming76%/24%✗ мимо(Brier 0.58)
    OGvsTeam ResilienceOG69%/31%✗ мимо(Brier 0.47)
    Iron WingvsTeam FalconsTeam Falcons18%/82%✓ верно(Brier 0.03)
    Team LiquidvsTeam SpiritРавно45%/55%✗ мимо(Brier 0.21)
    Vici GamingvsGamerLegionVici Gaming70%/30%ждём исход
    Team ResiliencevsOGРавно43%/57%✗ мимо(Brier 0.32)
    Iron WingvsTeam FalconsTeam Falcons22%/78%✗ мимо(Brier 0.60)
    TEAM VISIONvsBoomBoysTEAM VISION73%/27%✓ верно(Brier 0.07)
    LGD GamingvsNigma GalaxyРавно57%/43%✗ мимо(Brier 0.33)
    Team LiquidvsTeam YandexTeam Yandex32%/68%✗ мимо(Brier 0.46)
    BoomBoysvsTEAM VISIONBoomBoys63%/37%✗ мимо(Brier 0.39)
    Vici GamingvsHULIGANIHULIGANI39%/61%✗ мимо(Brier 0.38)
    LGD GamingvsNigma GalaxyLGD Gaming66%/34%✗ мимо(Brier 0.44)
    Xtreme GamingvsGamerLegionРавно52%/48%✗ мимо(Brier 0.27)
    Team LiquidvsTeam YandexTeam Yandex23%/77%✗ мимо(Brier 0.60)
    Aurora GamingvsTeam SpiritРавно58%/42%✗ мимо(Brier 0.34)
    Vici GamingvsHULIGANIРавно51%/49%✗ мимо(Brier 0.24)
    Vici GamingvsHULIGANIРавно55%/45%✗ мимо(Brier 0.30)
    GamerLegionvsXtreme GamingРавно56%/44%✗ мимо(Brier 0.19)
    Team SpiritvsAurora GamingРавно59%/41%✗ мимо(Brier 0.16)
    Team YandexvsTeam LiquidTeam Yandex78%/22%✓ верно(Brier 0.05)
    TEAM VISIONvsTeam FalconsTeam Falcons33%/67%✓ верно(Brier 0.11)
    LGD GamingvsTeam ResilienceLGD Gaming79%/21%✗ мимо(Brier 0.62)
    BoomBoysvsIron WingРавно51%/49%✗ мимо(Brier 0.24)
    LGD GamingvsTeam ResilienceLGD Gaming76%/24%✓ верно(Brier 0.06)
    OGvsNigma GalaxyOG70%/30%✗ мимо(Brier 0.50)
    BoomBoysvsIron WingРавно54%/46%✗ мимо(Brier 0.29)
    Nigma GalaxyvsOGOG39%/61%✗ мимо(Brier 0.37)
    RadiantvsDireRadiant66%/34%✓ верно(Brier 0.12)
    BoomBoysvsIron WingBoomBoys66%/34%✓ верно(Brier 0.12)
    Xtreme GamingvsTeam SpiritРавно50%/50%✗ мимо(Brier 0.25)
    Team YandexvsHULIGANITeam Yandex61%/39%✓ верно(Brier 0.16)
    Aurora GamingvsGamerLegionРавно53%/47%✗ мимо(Brier 0.22)
    Vici GamingvsTeam LiquidРавно52%/48%✗ мимо(Brier 0.27)
    Team SpiritvsXtreme GamingXtreme Gaming37%/63%✗ мимо(Brier 0.40)
    Team YandexvsHULIGANIРавно50%/50%✗ мимо(Brier 0.25)
    RadiantvsDireRadiant61%/39%ждём исход
    GamerLegionvsAurora GamingРавно42%/58%✗ мимо(Brier 0.18)
    TEAM VISIONvsTeam ResilienceРавно51%/49%✗ мимо(Brier 0.24)
    Team LiquidvsVici GamingTeam Liquid76%/24%✓ верно(Brier 0.06)
    Team FalconsvsLGD GamingTeam Falcons63%/37%ждём исход
    TEAM VISIONvsTeam ResilienceTEAM VISION55%/45%ждём исход
    Team FalconsvsLGD GamingРавно50%/50%✗ мимо(Brier 0.25)
    TEAM VISIONvsTeam ResilienceTeam Resilience30%/70%✓ верно(Brier 0.09)
    OGvsBoomBoysBoomBoys34%/66%✓ верно(Brier 0.12)
    Nigma GalaxyvsIron WingNigma Galaxy60%/40%✗ мимо(Brier 0.36)
    Team FalconsvsLGD GamingLGD Gaming44%/56%✗ мимо(Brier 0.32)
    BoomBoysvsOGOG42%/58%✗ мимо(Brier 0.34)
    Team ResiliencevsTEAM VISIONTEAM VISION46%/54%✓ верно(Brier 0.21)
    BoomBoysvsOGBoomBoys70%/30%✓ верно(Brier 0.09)
    Nigma GalaxyvsIron WingРавно50%/50%✗ мимо(Brier 0.25)
    Team FalconsvsLGD GamingTeam Falcons72%/28%✗ мимо(Brier 0.52)
    Team FalconsvsTeam LiquidTeam Falcons76%/24%✗ мимо(Brier 0.58)
    Team FalconsvsTeam LiquidTeam Falcons72%/28%✗ мимо(Brier 0.51)
    Team FalconsvsTeam LiquidРавно49%/51%✗ мимо(Brier 0.24)
    Team Liquidvs1wTeam Liquid72%/28%✓ верно(Brier 0.08)
    Team Liquidvs1wРавно49%/51%✗ мимо(Brier 0.26)
    BoomBoysvs1wBoomBoys54%/46%✗ мимо(Brier 0.29)
    BoomBoysvs1wBoomBoys83%/17%✗ мимо(Brier 0.69)
    BoomBoysvs1wBoomBoys85%/15%✓ верно(Brier 0.02)
    Team FalconsvsTeam LiquidTeam Falcons75%/25%✓ верно(Brier 0.06)
    Team FalconsvsTeam LiquidTeam Liquid32%/68%✗ мимо(Brier 0.46)
    Team FalconsvsTeam LiquidTeam Liquid37%/63%ждём исход
    Vici Gamingvs1wVici Gaming80%/20%✗ мимо(Brier 0.64)
    1wvsVici GamingVici Gaming18%/82%ждём исход
    1wvsVici GamingVici Gaming24%/76%✗ мимо(Brier 0.58)
    BoomBoysvsOGBoomBoys57%/43%✓ верно(Brier 0.18)
    BoomBoysvsOGBoomBoys60%/40%✗ мимо(Brier 0.36)
    OGvsBoomBoysBoomBoys30%/70%✓ верно(Brier 0.09)
    Team LiquidvsVici GamingTeam Liquid67%/33%✓ верно(Brier 0.11)
    Vici GamingvsTeam LiquidTeam Liquid43%/57%✗ мимо(Brier 0.32)
    Team LiquidvsVici GamingVici Gaming33%/67%✗ мимо(Brier 0.44)
    Team FalconsvsBoomBoysTeam Falcons81%/19%✓ верно(Brier 0.04)
    Team FalconsvsBoomBoysTeam Falcons85%/15%✓ верно(Brier 0.02)
    GamerLegionvsOGOG20%/80%✓ верно(Brier 0.04)
    OGvsGamerLegionOG62%/38%✓ верно(Brier 0.14)
    1wvsLGD GamingLGD Gaming26%/74%✗ мимо(Brier 0.55)
    LGD Gamingvs1wLGD Gaming56%/44%✗ мимо(Brier 0.31)
    OGvsVici GamingVici Gaming43%/57%✓ верно(Brier 0.18)
    Vici GamingvsOGVici Gaming65%/35%✓ верно(Brier 0.13)
    Team Falconsvs1wTeam Falcons66%/34%✓ верно(Brier 0.12)
    1wvsTeam FalconsTeam Falcons15%/85%✓ верно(Brier 0.02)
    GamerLegionvsMOUZMOUZ31%/69%✗ мимо(Brier 0.47)
    MOUZvsGamerLegionРавно50%/50%✗ мимо(Brier 0.25)
    OGvsNigma GalaxyNigma Galaxy34%/66%✗ мимо(Brier 0.44)
    Nigma GalaxyvsOGРавно47%/53%✗ мимо(Brier 0.29)
    GamerLegionvsTeam LiquidTeam Liquid30%/70%✓ верно(Brier 0.09)
    Team YandexvsTeam LiquidTeam Liquid41%/59%ждём исход
    Team LiquidvsGamerLegionGamerLegion41%/59%✗ мимо(Brier 0.34)
    Team FalconsvsOGTeam Falcons71%/29%✗ мимо(Brier 0.51)
    Team FalconsvsOGTeam Falcons82%/18%✗ мимо(Brier 0.68)
    GamerLegionvsBoomBoysРавно51%/49%✗ мимо(Brier 0.26)
    BoomBoysvsGamerLegionРавно49%/51%✗ мимо(Brier 0.26)
    OGvs1wOG56%/44%✗ мимо(Brier 0.31)
    OGvs1wOG55%/45%✓ верно(Brier 0.20)
    BoomBoysvsLGD GamingBoomBoys58%/42%✓ верно(Brier 0.17)
    BoomBoysvsLGD GamingLGD Gaming33%/67%✗ мимо(Brier 0.45)
    Team FalconsvsNigma GalaxyTeam Falcons71%/29%✓ верно(Brier 0.09)
    Team FalconsvsNigma GalaxyTeam Falcons69%/31%✓ верно(Brier 0.10)
    Team LiquidvsBoomBoysРавно49%/51%✗ мимо(Brier 0.26)
    BoomBoysvsTeam LiquidBoomBoys60%/40%✗ мимо(Brier 0.36)
    1wvsVici GamingVici Gaming45%/55%✓ верно(Brier 0.21)