Gare: nuovo calcolo delle medie

[Massimo Baglione]

La nuova versione della Gara con il calcolo della media ponderata al posto della media matematica è online: https://www.braviautori.it/gare. Vale dalla Gara d'estate 2020 in poi.
Ora, la media ponderata prende in considerazione la frequenza con cui sono stati dai i voti.
Ho eliminato la questione dei "non voti" che esisteva nelle Gare precedenti, perché non intaccavano più di tanto il nuovo risultato finale delle medie.
Ovviamente tutto ciò non andrà a eliminare il problema con cui ho aperto la discussione qui, tuttavia mi pare mitigarlo discretamente.
Mi raccomando: segnalatemi qualsiasi discrepanza doveste notare nei calcoli, perché modificare il codice ha richiesto un po' di "pasticciamento" il cui effetto temo non tarderà a farsi sentire.
Buon lavoro!

[Namio Intile]

Visto. Sei un positivista, Massimo. Credi che la matematica possa salvare gli uomini dalla loro stupidità

[Massimo Baglione]

Lasciamelo credere

[Massimo Baglione]

Correzione al calcolo:
ora il peso dei voti è rifinito considerando la frequenza con cui sono stati dati.
Spero di non doverci più mettere le mani

[Marino Maiorino]

Ciao Massimo,
stavo giusto rileggendo cosa ti ha portato a questa rielaborazione, per una curiosità professionale (ho insegnato statistica all'università, e 'sta roba è il mio pane quotidiano).
Funziona tutto bene così come l'hai fatto, e la media ponderata (o pesata che dir si voglia) è uno strumento importantissimo fin dai primissimi anni di una qualunque facoltà scientifica, quindi tutto quello che hai detto, visto e compagnia cantando sono proprio i problemi e le soluzioni che insegnavo ai ragazzi.
Un'unica nota riguarda l'implementazione della formula che hai usato. Per carità corretta, ma qualora volessi usare una cosa più immediata e più semplice da spiegare, ti suggerisco:
1) definisci i "pesi" w_i come il numero di volte che ciascun i-esimo voto viene ricevuto, al quadrato, ovvero w_i = N_i^2
2) applica la formula indicata nel tuo link: m = sum (w_i · v_i) / sum (w_i)
Basta.
È numericamente la stessa cosa della formula che stai usando perché quando parli di "frequenza dei voti", stai calcolando il numero di voti diviso il loro totale, ma siccome il totale è una costante per ogni w_i, lo porti a fattore comune a numeratore e denominatore, quindi scompare dal calcolo della media.
È concettualmente più semplice perché ti lascia libero di definire, di volta in volta, univocamente e in un solo posto, cos'è il tuo peso w_i. L'idea di usare w_i = N_i^2 significa che il peso di un certo voto è tanto maggiore quante più volte è stato emesso. Puoi esasperare il concetto e dire w_i = N_i^3, ma vedresti che il risultato diventa "estremo"; puoi ammorbidirlo, usare w_i = N_i (senza potenze), e ottieni la semplice media aritmetica. Insomma, è una semplicità che paga.
Un saluto!

[Massimo Baglione]

Marino, perdonami, ma questa tua risposta io l'ho vista solo oggi e non so perché.
Dopo ti ricontatto in privato perché non ho capito una mazza di ciò che mi hai spiegato

[Il_Babbano]

Beh, adesso vorrei sapere se poi M.M. ti ha convinto, Max.

[Piramide]

Approfitto della recente conclusione dello scorso GranPrix d’estate per riaprire questo topic sulle medie ponderate. A suscitarmi più di qualche dubbio è la situazione che si è verificata per quanto riguarda i voti del secondo e terzo posto, ossia delle poesie “Se” di Nunzio e “Santuario” di Letylety. La classifica riportava come voti, calcolati con la media ponderata, rispettivamente 4,83 e 4,80. Andando a vedere nel dettaglio i voti mi sono accorto che entrambe le poesie avevano ricevuto quattro cinque e un quattro. L’unica differenza stava in un singolo voto: per Nunzio un 3 e per Letylety un 4 di nuovo. Ora, è mio modesto parere (per questo vorrei sapere cosa ne pensiate voi) che è poco logico che abbia una media superiore una poesia che come unico voto differente ne ha uno più basso. So che i meccanismi della media ponderata ci salvano da altri problemi che con la media aritmetica occorrerebbero e che si basa sulla frequenza con cui un voto si presenta, ma secondo me questo esempio è la prova che il sistema a volte è molto svantaggioso e contro intuitivo. Non è forse il caso di provare a pensare a qualche strategia per migliorarla? Giusto perché mi sembra poco funzionale far ottenere un punteggio più alto alla “striscia” 555543 piuttosto che a 555544. Voi che ne pensate?

[Namio Intile]

Voto massimo al commento di Marino. Ragazzi miei, la matematica non ci salverà, né dalla stupidità dell' uomo, né, soprattutto, dalla crudeltà della Natura.

[Marino Maiorino]

Ciao Piramide,
alle volte, quando si analizzano i dati e si constata che alcuni valori sono chiaramente spurii, si eliminano dal calcolo per evitare il "bias".
Ma parliamo di distribuzioni di dati con decine e centinaia di numeri, quando è evidente che quei pochi punti spurii non hanno nulla a che vedere con la distribuzione (il fenomeno) generale.
I punti spurii si possono studiare in un secondo momento per individuare l'eventuale presenza di "sistematici", ma come dicevo il fenomeno è rappresentato dalla distribuzione principale.
Nel nostro caso i punti raramente raggiungono la decina, non vedo come si possa dire che quel punto è non un altro sia dentro o fuori della distribuzione.

[Piramide]

Ciao Marino, sono d’accordo con la tua analisi e infatti credo che ci sia stata un’incomprensione. Io non mi riferisco all’eliminare un dato basandosi sulla sua “lontananza” da un andamento. La questione da me sollevata è incentrata sul fatto che a mio parere un punteggio formato da 555544 deve essere più alto rispetto a un punteggio formato da 555543. Nel constatare che con questo calcolo così non è, mi domandavo se fosse possibile ragionare su qualche miglioria da apportare all’algoritmo affinché la prima “striscia” comporti un punteggio superiore alla seconda, semplicemente perché secondo la mia logica è più giusto così. Volevo infatti sapere anche la vostra opinione a riguardo.

[Marino Maiorino]

Ho dato un'altro giro a come valutare la non-distinzione tra valori tanto simili, mi sembra infatti che quanto Piramide suggerisce possa essere affrontato con maggior pacatezza in questo modo.
Oltre alla media, ogni misura noi fisici la forniamo con un "errore", che non è uno "sbaglio", ma un'incertezza. Se io dico che una porta è alta 2.10m, che errore commetto a farla 2.11m? Nel caso dell'esempio del Gran Prix, che errore hanno 4.83 e 4.80?
Noi calcoliamo la "deviazione standard" ("sigma" per gli amici) un numero che indica per l'appunto l'incertezza di una misura. Non mi pare il caso di sciorinare qui le formule (sebbene semplici), ma abbiamo che il 4.83 ha una deviazione standard (sulla popolazione, ovvero su tutti i voti emessi, e non su una mostra dei voti emessi) di 0.47, e il 4.80 ce l'ha di 0.76.
1 sigma rappresenta l'intervallo di confidenza entro il quale cade il 68% dei valori trovati.
Con questo strumento matematico è immediato vedere come, in effetti, il 4.83 e il 4.80 siano lo stesso numero, perché ricadenti abbondantemente ciascuno all'interno del rango di errore dell'altro. (4.83±0.47 e 4.80±0.76).
Ovviamente, 4.83 e 4.80 vanno ritenuti i valori più vicini al sentire comune, ed è quindi lecito chiedersi non l'errore sulle singole misure, ma l'errore sulla media così trovata (deviazione standard della media), che vale 0.19 nel primo caso e 0.31 nel secondo, arrivando così a dire che i voti sono 4.83±0.19 e 4.80±0.31.
In entrambi i casi, al di lá del fatto che i due numeri sono virtualmente due 5, vediamo che la differenza che li separa è confortevolmente compresa tutta nell'errore (in fisica, per parlare di valori diversi si parla di differenze di alcuni sigma. Nei casi più semplici bastano 3 sigma, ma i professionisti usano 5 "sigma" e, in ingegneria, si usa il paradigma "six sigma").
Io non so se/come questo strumento possa essere usato per smussare le asperità di un processo che a qualcuno può sembrare alle volte troppo rigido; lo porto alla vostra attenzione per una vostra pacata valutazione.

Un saluto,
~