[H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Discussion à propos de la version BETA du règlement 2018
Discussion about 2018 beta rules
Locked
Kriscox
Posts: 126
Joined: Fri 13 Jan 2006, 15:40

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by Kriscox » Wed 27 Sep 2017, 15:53

Les actions réalisent déjà les différences entre les équipes.
Là, c'est une prime au mérite ou au démérite.
Image Image

User avatar
Grelot
Posts: 9
Joined: Fri 28 Nov 2014, 10:11
Contact:

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by Grelot » Wed 27 Sep 2017, 16:26

C'est aussi ça le principe de cette action, c'est de l'IA...et ce n'est pas un "prime de démérite" puisque ça ne fait que rapporter des points, on ne peut pas en perdre.
----------------------------------------------------------------------------------------------------------------------------------------
Beer & Bot !

Cubot 2011-2015
http://cubot.fr/

Kriscox
Posts: 126
Joined: Fri 13 Jan 2006, 15:40

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by Kriscox » Wed 27 Sep 2017, 16:30

De IA sur une ardoise ????
Image Image

User avatar
baptiste_c
Posts: 101
Joined: Mon 20 May 2013, 15:09

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by baptiste_c » Wed 27 Sep 2017, 16:34

A la base, cette action est sensé être de l'IA oui.
Et pour les équipes ne souhaitant pas le faire on peut alors estimer le score à l'avance sur une ardoise.
Baptiste
Supaero 2011 - 2014
A.I.G.R.I.S. 2015 - ...
Prix de l'innovation 2016
Vice-champion de France et 3ème à Eurobot 2017

User avatar
GARGAMEL
PMI
Posts: 1181
Joined: Tue 14 Jun 2005, 17:16
Location: Ville d'Avray
Contact:

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by GARGAMEL » Wed 27 Sep 2017, 16:37

C'est pas compliqué de comprendre que plus le score est élevé plus le risque d'erreur d'estimation augmente:

erreur_estimation = score-estimation = k*score
k étant un coefficient constant de prédiction (dépend de la fiabilité, de l'IA du robot, et du manque de bol)
donc:
erreur_estimation/score =k
C'est l'erreur d'estimation relative qui est constante et pas l'erreur absolue
Last edited by GARGAMEL on Wed 27 Sep 2017, 16:42, edited 2 times in total.
RCVA: Robot Concept Ville d'Avray
http://www.rcva.fr

User avatar
Nirgal
Posts: 210
Joined: Mon 25 Oct 2010, 20:05
Contact:

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by Nirgal » Wed 27 Sep 2017, 16:38

Vos discussions illustrent la différence fondamentale entre les trophées et la coupe sur ce point du règlement.

Les uns (la coupe) vanteront la belle complexité de l'IA et la récompense au mérite de fiabilité des robots qui n'ont qu'un intérêt : mettre le plus de points en sachant ce qu'ils font. Et ça c'est vraiment carrément la classe dans ce règlement.

Les autres (les trophées) doivent se brider psychologiquement au score visé sur l'ardoise... et pourraient abandonner volontairement la dépose supplémentaire d'un cube pour éviter de perdre les points bonus accumulés lorsqu'ils ont atteint le score prédit.

La notion de filo-guidage "humain" me semble assez incompatible avec l'idée de base de cette estimation.
ça relève plus du pari : "vas-y mon gars, tu peux le faire, tu l'as déjà fais à l'entrainement, on l'a noté sur l'ardoise !"...

Ceci dit, je n'apporte pas de solution...
Nirgal
Robot-ESEO

Kriscox
Posts: 126
Joined: Fri 13 Jan 2006, 15:40

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by Kriscox » Wed 27 Sep 2017, 16:43

Sauf qu'aux trophées il y a peu, voire pas du tout IA.

Donc....

Et surtout que le niveau de départ entre les équipes n'est pas le même, Classe de CE1 pour les plus jeunes, terminal pour les plus vieux, donc forcément la donnée de départ est faussée.
Image Image

User avatar
PF
Posts: 22
Joined: Wed 19 Jul 2017, 16:15
Location: Toulouse
Contact:

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by PF » Wed 27 Sep 2017, 16:51

Peut-être serait-il mieux de retirer cette "action" du règlement des trophées. Autant elle est justifiée par la présence de l'IA à la CdR, autant pour les trophées c'est juste un pari noté sur une ardoise et qui n'apporte rien.
INTech (2013-2015)
TechTheTroll (2016)
INTech Senpaï (2017-2018)

Prix de l'innovation 2017 :D
Un pathfinding courbe dont les trajectoires sont facilement suivables (librairie Java) : https://github.com/PFGimenez/The-Kraken-Pathfinding

User avatar
SuPeRBaLoO
PMI
Posts: 668
Joined: Tue 02 Jun 2009, 15:22
Location: TDS-Team

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by SuPeRBaLoO » Wed 27 Sep 2017, 17:16

Attendez les gars, qui vous interdit de faire evoluer votre score avec une télécommande ???

c'est juste un bouton a ajouter ... personne n'oblige d'utiliser un écran, tu peut très bien faire les choses mécaniquement ...

Par exemple : tu oriente un moteur avec une fleche vers un score indiqué (genre un peu l'aiguille d'une montre ou la jauge de vitesse d'une voiture) je pense que ca conviendra largement a planète science ...
Toutes les infos sur notre team et nos robots: http://tdsteam.wordpress.com

User avatar
GARGAMEL
PMI
Posts: 1181
Joined: Tue 14 Jun 2005, 17:16
Location: Ville d'Avray
Contact:

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by GARGAMEL » Wed 27 Sep 2017, 17:47

SuPeRBaLoO wrote:
Wed 27 Sep 2017, 17:16
Attendez les gars, qui vous interdit de faire evoluer votre score avec une télécommande ???

c'est juste un bouton a ajouter ... personne n'oblige d'utiliser un écran, tu peut très bien faire les choses mécaniquement ...

Par exemple : tu oriente un moteur avec une fleche vers un score indiqué (genre un peu l'aiguille d'une montre ou la jauge de vitesse d'une voiture) je pense que ca conviendra largement a planète science ...
:D
Quand tu déconnes met un smiley, ça nous évitera de relire 3 fois avant de comprendre la blague. :D
RCVA: Robot Concept Ville d'Avray
http://www.rcva.fr

Kriscox
Posts: 126
Joined: Fri 13 Jan 2006, 15:40

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by Kriscox » Wed 27 Sep 2017, 17:54

Non, c'est impossible manuellement avec un bouton 45:30 de la présentation.
https://www.youtube.com/watch?v=WQNe7IYCyxc
Mais c'est non inscrit dans le règlement, il faudra y penser à l'ajouter, car tout le monde ne verra pas la Vidéo

Je comprends l'intérêt de cette phase de jeu pour les équipes de la CDR, car il y aura des IA pour évaluer le score au fur et à mesure et donc en effet il y a évaluation des compétences et des performances de l'IA.
Autant pour les Trophées comme l'a dit PF, c'est uniquement un pari et une grande partie de hasard.
Par contre, un petit côté ludique, est-ce que l'on va réussir ou non son pari ? Et comme je l'ai dis plus haut, pour pouvoir faire ce pari et avoir une "fiabilité" il faut avoir mis en place une stratégie et des entraînements.

Je comprends l'intérêt pour la CDR et ce tableau qui est très bien fait pour ce niveau.
Mais je ne le comprends pas niveau Trophées. A mon sens, il ne devrait pas y avoir autant d'enjeu sur cette partie du règlement, car trop aléatoire.
Image Image

User avatar
SuPeRBaLoO
PMI
Posts: 668
Joined: Tue 02 Jun 2009, 15:22
Location: TDS-Team

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by SuPeRBaLoO » Wed 27 Sep 2017, 18:07

GARGAMEL wrote:
Wed 27 Sep 2017, 17:47
SuPeRBaLoO wrote:
Wed 27 Sep 2017, 17:16
Attendez les gars, qui vous interdit de faire evoluer votre score avec une télécommande ???

c'est juste un bouton a ajouter ... personne n'oblige d'utiliser un écran, tu peut très bien faire les choses mécaniquement ...

Par exemple : tu oriente un moteur avec une fleche vers un score indiqué (genre un peu l'aiguille d'une montre ou la jauge de vitesse d'une voiture) je pense que ca conviendra largement a planète science ...
:D
Quand tu déconnes met un smiley, ça nous évitera de relire 3 fois avant de comprendre la blague. :D

Oups ... Boulette ...

Franchement je n'avais pas vu que ce n'été pas possible, et en plus je vais vous dire je trouve ca vraiment con ...
Ça demanderais au conducteur de compter ces points et d'ajuster son score
ce que fait une IA ...

pour le coup je trouve ca décevant ...
Toutes les infos sur notre team et nos robots: http://tdsteam.wordpress.com

User avatar
sikularobotik
Posts: 64
Joined: Wed 02 Oct 2013, 00:30
Location: Grand Ouest
Contact:

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by sikularobotik » Fri 29 Sep 2017, 13:41

Kriscox wrote:
Wed 27 Sep 2017, 14:00
Mais il est vrai que les différences de niveau sont tellement importantes qu'il n'y a pas d'intérêt à départager les équipes en leur attribuant plus de point sur leur capacité à s'évaluer.
Les niveaux de la CDR sont également très disparates.
À mon sens, l'intérêt de l'estimation n'est pas de départager des équipes qui sont clairement de niveaux différents, mais est très intéressant pour départager des équipes de niveaux proches en faveur de celle qui sait ce qu'elle fait.
Kriscox wrote:
Wed 27 Sep 2017, 15:53
Les actions réalisent déjà les différences entre les équipes.
Là, c'est une prime au mérite ou au démérite.
À vrai dire, on pourrait voir ça dans le sens inverse :
Pour une équipe qui vise 50 points, le "manque à gagner" dû à l'erreur d'estimation est nul à partir de 67 points (+17)
Pour une équipe qui vise 320 points, le "manque à gagner" dû à l'erreur d'estimation est nul à partir de 397 points (+77)
Autrement dit, une équipe qui marque beaucoup de points est plus désavantagée si elle estime mal, ce qui ne parait pas si déséquilibré que tu suggères.

Florent de Šikula Robotik
--
Association Šikula Robotik
2016 Axolotl & Harvé
2015 Aventurier
2014 Australopithèque,Zinjanthrope
2013 Brownie&CrèmeA., Zlabia
2012 Albator, Zabulbo
http://sikula-robotik.desbwa.org
Twitter : @SikulaRobotik
Youtube : SikulaRobotik

User avatar
SebinouZ
Posts: 183
Joined: Fri 27 May 2011, 10:23
Contact:

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by SebinouZ » Fri 29 Sep 2017, 14:00

exactement ça.

Je pense qu'on peut clôturer ce sujet car on se répète depuis le début :
==> le tableau est très bien défini en fonction de la prise de risque d'une part et récompense la régularité d'autre part.
==> et même s'il crée des écarts entre petites et grosses équipes, ce n'est pas un problème : on joue chacun avec les équipes de notre niveau. Donc inutile de comparer les équipes qui visent les premières lignes / des équipes qui visent les dernières ligne de ce tableau.

Au final sur ce sujet, je n'ai vue qu'une personne contre l'utilisation du tableau...
------------------------------------------
CUBOT, les robots en fût de bière...
www.cubot.fr

Passez voir le Portail des équipes

User avatar
Nirgal
Posts: 210
Joined: Mon 25 Oct 2010, 20:05
Contact:

Re: [H.3.e] ÉVALUER SA PERFORMANCE ( POINTS BONUS )

Post by Nirgal » Fri 29 Sep 2017, 17:02

SebinouZ wrote:
Fri 29 Sep 2017, 14:00
Au final sur ce sujet, je n'ai vue qu'une personne contre l'utilisation du tableau...
Dsl... on se réveille un peu tard
En soit j'aime bien le principe et le dimensionnement du tableau, mais on s'est penché un peu sur la question, et on a relevé les anomalies suivantes :

Il y a un problème d'effet de seuil...

Prenons l'exemple d'une équipe qui estime son score en dynamique à 246 points
(réaliste pour un match standard, quelques cubes, quelques balles, abeille, panneau, ...)
Si les actions estimées n'ont pas toutes fonctionnées et que le robot a réellement marqué :
- 221 points ==> son bonus est de 32 points
- 220 points ==> son bonus est de 16 points
Cet effet de seuil est assez violent. (une formule linéaire empêcherait cela).
____________

Un autre phénomène peut paraître gênant lors des trophées :

Une équipe prévoit de marquer 222 pts.
Au bout de 75 secondes, il est arrivé à son score (et il le sait car ce score est calculé selon un scénario murement réfléchi et maîtrisé).
Son bonus s'élève à 62 pts. (donc le total est de 284)
Il reste un distributeur bicolore plein sur la table (5+40+20 = 65), le pilote sait qu'il a le temps de le vider et de le déposer.
Or, il n'y a pas de solution qui lui permette de gagner plus de points qu'il n'en a actuellement. Il est donc préférable qu'il reste à ne rien faire.
(plus il s'éloigne de son score et moins il gagne de bonus)...

là encore, l'effet de seuil est clairement en cause.
Nirgal
Robot-ESEO

Locked