[H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Discussion à propos de la version BETA du règlement 2018
Discussion about 2018 beta rules
User avatar
Manta
Posts: 30
Joined: Sat 03 Oct 2015, 10:37
Contact:

[H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by Manta » Wed 27 Sep 2017, 11:26

Bonjour,

Je me disais que le comptage des points risque d'être un peu trop complexe à faire. On pourrais pas simplifier la règle ?
Du genre 20 points supplémentaire si tu es à +-10% ou encore si tu es à 10 ou 20 points près. Ce qui donneras un bonus simple pour les équipe de ne faisant que peu de point et un bonus un peu plus complexe pour les équipes faisant beaucoup d'action ?

C'est juste une piste, mais je pense vraiment que de faire un tableau pour le comptage n'est pas très raisonnable, sans parler de la clarté pour les externes.
Palmares Robotech Montpellier/Legends :
2017 : 2ème - 1/4 de final
2016 : 80ème :oops:
2015 : 3ème 8) - 8 ème de final
2014 : 12ème - 8ème de final
2013 : 53ème
2012 : ~63ème

Suivez l'actualité de Robotech Legends :

Image Image Image Image

User avatar
baptiste_c
Posts: 102
Joined: Mon 20 May 2013, 15:09

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by baptiste_c » Wed 27 Sep 2017, 11:31

Au début je pensais comme toi et au final je pense que ça va.
Le comptage du bonus sera fait par la tablette donc pas besoin de connaitre la matrice par coeur ;)
Pour ce qui est des externes, je pense que dire : globalement on gagne 20% de bonus si on a estimé parfaitement et de moins en moins plus on estime mal, ça me semble suffisant.
Après, je ne vois pas d'objection à simplifier ce point (je pense juste qu'au fond c'est pas si complexe).
Baptiste
Supaero 2011 - 2014
A.I.G.R.I.S. 2015 - ...
Prix de l'innovation 2016
Vice-champion de France et 3ème à Eurobot 2017

Kriscox
Posts: 126
Joined: Fri 13 Jan 2006, 15:40

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by Kriscox » Wed 27 Sep 2017, 11:55

Cette partie du règlement me dérange car elle n'est pas égalitaire entre les équipes, on gratifie les bonnes équipes de plus de points que les mauvaises. Pourquoi ? Je pensais que l'on évaluait la capacité à définir son score, ce qui n'est pas le cas, on y ajoute une différence entre ceux qui auront un bon score et ceux qui ne l'auront pas.
Pour moi, le processus d'évaluer son score reste toujours identiques au niveau réflexion quelques soit le score.
Si une équipe fait entre 30 et 50 à ses entrainements, elle ne prédira pas 100
et si une équipe fait entre 80 et 100 elle ne prédira pas 150,
Par contre, toutes les deux devront choisir leur point d'écart, et c'est cela qui est difficile.

Enfin, une équipe qui aura réalisée le meilleur nombre de point pourra perdre son match car elle a mal évalué sa performance, mouais.
Donc, je suppose qu'en match certaines équipes arrêterons de jouer quand elles auront atteint le score fixé pour éviter de perdre des points.
On risque de perdre le fun des dernières secondes pour marquer les derniers points.
Image Image

User avatar
Tamara
Posts: 34
Joined: Mon 25 Sep 2017, 10:32

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by Tamara » Wed 27 Sep 2017, 12:10

Kriscox wrote:
Wed 27 Sep 2017, 11:55
Enfin, une équipe qui aura réalisée le meilleur nombre de point pourra perdre son match car elle a mal évalué sa performance, mouais.
Donc, je suppose qu'en match certaines équipes arrêterons de jouer quand elles auront atteint le score fixé pour éviter de perdre des points.
On risque de perdre le fun des dernières secondes pour marquer les derniers points.
Le score peut être affiché en début de match, mais peut aussi être compté en dynamique pendant le match donc il n'y a pas obligatoirement de score fixé à l'avance à atteindre.
Tamara Guilbert
Référente coupe 2017

User avatar
SebinouZ
Posts: 184
Joined: Fri 27 May 2011, 10:23
Contact:

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by SebinouZ » Wed 27 Sep 2017, 12:13

Kriscox wrote:Cette partie du règlement me dérange car elle n'est pas égalitaire entre les équipes, on gratifie les bonnes équipes de plus de points que les mauvaises. Pourquoi ? Je pensais que l'on évaluait la capacité à définir son score, ce qui n'est pas le cas, on y ajoute une différence entre ceux qui auront un bon score et ceux qui ne l'auront pas.
Tu te contredit:
Kriscox wrote:Donc, je suppose qu'en match certaines équipes arrêterons de jouer quand elles auront atteint le score fixé pour éviter de perdre des points.
On risque de perdre le fun des dernières secondes pour marquer les derniers points.
  • Si tu ne cherche pas à marquer le maximum de point mais que tu prédit bien : t'auras un petit score, donc un petit bonus (même si tu l'a maximisé)
  • Si tu marque plus de points mais que t'as moins bien prédit : t'auras un meilleur score, donc un bonus de base plus élevé (même avec une pénalité de prédiction)
Comme baptiste_c, trouve le tableau justement très bien pensé
------------------------------------------
CUBOT, les robots en fût de bière...
www.cubot.fr

Passez voir le Portail des équipes

User avatar
PF
Posts: 22
Joined: Wed 19 Jul 2017, 16:15
Location: Toulouse
Contact:

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by PF » Wed 27 Sep 2017, 12:14

Je suppose que l'idée derrière de fait de donner plus de points aux équipes qui prédisent beaucoup de points se base sur la variabilité des points.

- Si mon robot allume le panneau domotique seulement, j'ai 30 points. A priori, si mon robot est un minimum fiable, il fera toujours 30 points : il y a peu de variabilité car faire peu de points c'est faire peu d'actions donc risquer moins de rencontrer des problèmes.
- Si une équipe fait en moyenne 300 points en lançant des balles, en construisant des piles, etc., il risque d'y avoir bien plus de variabilité dans son score ; parfois une balle va tomber à côté, une pile va s'écrouler, etc. Ce sera plus difficile de prédire son score final.

Bref, prédire ton score à 1 point près quand tu fais 30 points c'est plus facile (une erreur de 3%) que de prédire ton score à 1 point près quand tu fais 300 points (une erreur de 0.3%).

Je suis d'accord que ça incite les équipes à jouer plus "safe" et à moins prendre de risque. Mais récompenser la régularité ne me paraît pas une mauvaise chose.
INTech (2013-2015)
TechTheTroll (2016)
INTech Senpaï (2017-2018)

Prix de l'innovation 2017 :D
Un pathfinding courbe dont les trajectoires sont facilement suivables (librairie Java) : https://github.com/PFGimenez/The-Kraken-Pathfinding

User avatar
GARGAMEL
PMI
Posts: 1183
Joined: Tue 14 Jun 2005, 17:16
Location: Ville d'Avray
Contact:

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by GARGAMEL » Wed 27 Sep 2017, 13:09

PF wrote:
Wed 27 Sep 2017, 12:14
Je suppose que l'idée derrière de fait de donner plus de points aux équipes qui prédisent beaucoup de points se base sur la variabilité des points.

- Si mon robot allume le panneau domotique seulement, j'ai 30 points. A priori, si mon robot est un minimum fiable, il fera toujours 30 points : il y a peu de variabilité car faire peu de points c'est faire peu d'actions donc risquer moins de rencontrer des problèmes.
- Si une équipe fait en moyenne 300 points en lançant des balles, en construisant des piles, etc., il risque d'y avoir bien plus de variabilité dans son score ; parfois une balle va tomber à côté, une pile va s'écrouler, etc. Ce sera plus difficile de prédire son score final.

Bref, prédire ton score à 1 point près quand tu fais 30 points c'est plus facile (une erreur de 3%) que de prédire ton score à 1 point près quand tu fais 300 points (une erreur de 0.3%).

Je suis d'accord que ça incite les équipes à jouer plus "safe" et à moins prendre de risque. Mais récompenser la régularité ne me paraît pas une mauvaise chose.
Bonne analyse.
L'erreur relative d'estimation reste en gros constante quel que soit le score. L’équité est respectée
RCVA: Robot Concept Ville d'Avray
http://www.rcva.fr

Kriscox
Posts: 126
Joined: Fri 13 Jan 2006, 15:40

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by Kriscox » Wed 27 Sep 2017, 13:21

Je ne vois pas en quoi je me contredis ???

J'imagine que vous participez tous à la CDR.

Pour les Trophées dont j'encadre une équipe, expliquer un tel tableau à un enfant de 7 enfant, je vous embauche, il sera incapable de dire de lui même son score.
De plus, entre un enfant de 7 ans et un jeune de 17 ans les capacités de développement sont déjà importantes en termes de différence donc pourquoi rajouter des points à ceux qui peuvent déjà en marquer beaucoup.
Pour les trophées, il y aura très peu d'équipe à changer son score au cours du match, ce sera ardoise.

Le titre est assez pertinent "Evaluer sa performance", pas son si tu es bon ou nul.

@PF : Je te comprends très bien et c'est valable pour la CDR, mais viens aux TDR, tu verras que déjà inscrire 30 pts pour certaines équipes c'est un défi en soit. L'an dernier par exemple, certaines équipes n'avaient pas réalisé la funny action qui était relativement simple à mettre en oeuvre.

Là, je trouve que l'on fait une évaluation entre les bons et les mauvais.

Je trouve pourtant très bien d'évaluer sa performance, mais pas sur le nombre de point atteint. Une évaluation sur la prédiction et l'écart me semble beaucoup plus juste.

On prédit un score et l'écart entre la prédiction et le résultat final rapport plus ou moins de points.

Deux points d'écart = xxx points
entre 3 et 5 points d'écart = XXX points
Etc.
De cette façon tout le monde peut prétendre au même point, c'est plus égalitaire entre les équipes. Je pense que les équipes n'arrêteront pas de jouer pour rapporter quelques points de plus alors qu'elles peuvent en rapporter plus en jouant.
Image Image

User avatar
baptiste_c
Posts: 102
Joined: Mon 20 May 2013, 15:09

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by baptiste_c » Wed 27 Sep 2017, 13:27

Je suis plutôt de l'avis de Gargamel pour ma part.
Plus on marque de points, plus on va "facilement" en laisser partir un ou deux en route (balle qui ne va pas dans le chateau d'eau, construction où il manque un cube, etc...)
Du coup faire une échelle relative et pas absolue me semble plus correct.
Mais j'avoue que je parle en tant que participant à la CDR, même si je suis bénévole sur les trophées depuis plus de 5 ans.
Baptiste
Supaero 2011 - 2014
A.I.G.R.I.S. 2015 - ...
Prix de l'innovation 2016
Vice-champion de France et 3ème à Eurobot 2017

Kriscox
Posts: 126
Joined: Fri 13 Jan 2006, 15:40

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by Kriscox » Wed 27 Sep 2017, 13:39

Baptiste_c Tu as raison si tout le monde au départ a les mêmes capacités.
Mais aux trophées ce n'est pas le cas. Allumer un interrupteur sera déjà complexe pour des équipes, donc le fait d'allumer l'interrupteur sera déjà très aléatoire pour elles. Au niveau de la CDR, j'imagine que ce ne sera pas un obstacle et que toutes les équipes le réaliseront.
Donc l'échelle des points ne me paraît pas égalitaire pour les trophées. Pour la CDR, je vous laisse juge :D
Image Image

User avatar
PF
Posts: 22
Joined: Wed 19 Jul 2017, 16:15
Location: Toulouse
Contact:

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by PF » Wed 27 Sep 2017, 13:43

À vrai dire, je me demande si cette "action" a du sens pour les trophées. C'est une action clairement orientée IA donc qui vise la CdR.
INTech (2013-2015)
TechTheTroll (2016)
INTech Senpaï (2017-2018)

Prix de l'innovation 2017 :D
Un pathfinding courbe dont les trajectoires sont facilement suivables (librairie Java) : https://github.com/PFGimenez/The-Kraken-Pathfinding

Kriscox
Posts: 126
Joined: Fri 13 Jan 2006, 15:40

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by Kriscox » Wed 27 Sep 2017, 14:00

J'y vois un intérêt, car cela demande aux équipes de réfléchir à leur stratégie et aussi à s'entrainer pour être en capacité de s'évaluer afin de déterminer un futur score. :P

Mais il est vrai que les différences de niveau sont tellement importantes qu'il n'y a pas d'intérêt à départager les équipes en leur attribuant plus de point sur leur capacité à s'évaluer.
Image Image

User avatar
SebinouZ
Posts: 184
Joined: Fri 27 May 2011, 10:23
Contact:

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by SebinouZ » Wed 27 Sep 2017, 14:20

Je ne comprend pas la différence entre les TDR et CDR:
  • une petite équipe qui n'arrive pas à faire plus que pousser un cube dans sa zone de construction ne va pas prendre de risque à prédire qu'il va ramener un cube (que le robot soit piloté ou autonome, c'est pareil)
  • une équipe avec un robot plus abouti qui arrive à faire plusieurs actions, va louper certaines taches (comme t'as dit, on peut même louper l'interupteur, ou y perdre du temps...) donc l'incertitude est plus grande
Je pense que tout est dit dans cette phrase:
PF wrote:Bref, prédire ton score à 1 point près quand tu fais 30 points c'est plus facile (une erreur de 3%) que de prédire ton score à 1 point près quand tu fais 300 points (une erreur de 0.3%).
et encore une fois que tu soit une équipe Trophées ou Coupe c'est le même constat.

==>il faut donc voir le tableau comme une récompenser de prise de risque d'essayer de marquer un maximum de points ... et pas une récompense d'avoir marqué beaucoup de points.
------------------------------------------
CUBOT, les robots en fût de bière...
www.cubot.fr

Passez voir le Portail des équipes

Kriscox
Posts: 126
Joined: Fri 13 Jan 2006, 15:40

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by Kriscox » Wed 27 Sep 2017, 14:46

Il faut prendre en compte le niveau de l'équipe au départ, ce que vous oubliez.
Aux trophées, des équipes on juste des notions d'électricité et d'autres font de la programmation, il y a bien un sacré écart déjà dans les compétences qui se retrouvent déjà dans le score.
Ici vous n'évaluez pas la prise de risque mais bien la récompense puisque basé sur le nombre de point total.
Si cela était la prise de risque, il faudrait mettre une échelle de valeur sur le risque de chaque action.
PF a écrit :
Bref, prédire ton score à 1 point près quand tu fais 30 points c'est plus facile (une erreur de 3%) que de prédire ton score à 1 point près quand tu fais 300 points (une erreur de 0.3%).
Sauf que ce n'est pas tout à fait vrai.
Une équipe qui fait uniquement une action comme l'interrupteur aura 50% de chance de la faire ou de ne pas la faire, donc 30pts ou 0, alors que si tu réalises plusieurs actions tu sais que l'interrupteur tu vas le réussir donc ce n'est plus 50% mais beaucoup plus de chance de le réussir donc les 30 points sont quasiment assuré, donc au final ta prise de risque est nettement moins importante sur les premiers points et ainsi de suite.
C'est bien le niveau de l'équipe qui détermine la prise de risque pas le nombre de point.
Image Image

User avatar
PF
Posts: 22
Joined: Wed 19 Jul 2017, 16:15
Location: Toulouse
Contact:

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by PF » Wed 27 Sep 2017, 14:54

Cela revient à dire qu'il y a des équipes fortes et fiables et des équipes qui peinent à faire des actions simples… et ça me semble normal que les premières gagnent.
INTech (2013-2015)
TechTheTroll (2016)
INTech Senpaï (2017-2018)

Prix de l'innovation 2017 :D
Un pathfinding courbe dont les trajectoires sont facilement suivables (librairie Java) : https://github.com/PFGimenez/The-Kraken-Pathfinding

Locked