Il segreto della qualità? editare, editare, editare…
di Raimondo Fanale - Domenica 4 Marzo 2007 alle 09:45Il segreto della qualità è editare e continuare a editare, magari facendo una rilettura a posteriori di quello che è stato scritto.
Immaginate ora di trasporre questo concetto a un wiki e in particolare al wiki per eccellenza: Wikipedia.
Wilkinson e Huberman hanno elaborato le statistiche riguardanti gli accessi a Wikipedia e alle modifiche effettuate sulle pagine.
Indovinate quello che hanno scoperto?
- le pagine più visitate sono quelle più editate
- le pagine considerate più autorevoli e qualitativamente migliori sono, ancora una volta, quelle più editate
A quanto pare Wilkinson e Huberman si aspettavano di vedere delle statistiche un po’ più casuali, e non concentrate sulle singole voci.
Invece, hanno concluso che, una pagina più soggetta a modifiche, rispetto ad altre, è fortemente rilevante e interessante per l’utente, quindi è anche la più soggetta a successive visite e modifiche.
La quantità di modifiche che subirà una voce di Wikipedia è proporzionale alle modifiche già subite…
Sarebbe come dire che: più una pagina viene modificata, più ci saranno utenti che la andranno a modificare nuovamente.

Il metodo usato per accertare la qualità:
«To test for a correlation between editing and article quality, we compared the num-
ber of edits and contributors to the 1211 “featured” articles to the corresponding
numbers for other articles. As mentioned above, featured articles are those selected by the Wikipedia community as “the best articles in Wikipedia” according to cri-teria such as accuracy, neutrality, completeness, and style».
è “tautologico”, ovvero è ovvio che le pagine considerate migliori saranno quelle più modificate. Ma questo non significa che saranno realmente migliori rispetto ai termini di “accuratezza, neutralità, etc.”.
Infatti per l’inserimento di articoli in vetrina entrano in gioco altri tipi di considerazioni, se non quelle politiche, di certo quelle organizzative (vedi: http://it.wikipedia.org/wiki/W.....ssibile%3F).
Inoltre più edit non significa più qualità, anche per altri motivi (qui: http://en.wikipedia.org/wiki/T.....nting_Page)
lo stesso Jimbo Wales mostrava il suo disappunto per una pagina molto elaborata. Il punto è che quella pagina, ed anche altre dal valore “politico” sono sì molto editate, ma per particolari che fanno notizia (se tutti modificano il livello medio si abbassa) ma che non hanno un rilevante valore enciclopedico, oppure le modifiche sono dovute a “botta e risposta” ovvero una persona esagera deliberatamente in un senso, positivo o negativo, contando sul fatto che chi modificherà la voce invece di cancellarla e riscriverla in modo corretto preferirà modificarla.
Paradossalmente quindi, almeno in Italia, almeno per i temi politici, Wikipedia funziona meglio quando i collaboratori sono pochi.
di thumbria - 05 Marzo 2007 - 10:28
Non lo trovo assolutamente un paradosso. Anzi mi permetto di riassumere il tuo discorso (dimmi se ne ho colto lo spirito) e continuare:
il controllo qualità fatto solo sulla “quantità di editing” è fuorviante e in un certo senso “falso” perchè di fatto non è un controllo qualità.
Il problema però nasce su qualsiasi servizio di grandi dimensioni, dove i “redattori” preposti alla qualità vengono allertati solo in presenza di un “picco” sull’editing di una pagina, mentre quelle che vengono editate poco passano in secondo piano.
Il discorso è “tautologico” e “ricorsivo” (una specie di editing circolare tra chi modifica le voci e chi fa il controllo qualità), anche in base al fatto che le pagine più editate sono anche quelle che hanno attratto di più i visitatori.
Queste pagine sono le più importanti a livello statistico e continuano ad acquistare rilevanza (come dire che piove sempre sul bagnato).
Il lavoro svolto da Wilkinson e Huberman è importantissmo perchè mostra in che modo gli utenti standard di Wikipedia considerano le voci e le pagine inserite.
A questo punto: la rilevanza statistica e “qualitativa” viene misurata in base all’indice di gradimento. Ma siamo ancora ben lontani dal dire che la pagina è realmente “valida”.
Difatti in diversi licei e università americani è stato vietato l’uso di Wikipedia, reputata solo un importante indice bibliografico e non una vera enciclopedia.
di Raimondo Fanale - 05 Marzo 2007 - 14:37
A me viene in mente che, più semplicemente, le pagine più editate sono quelle che riguardano gli argomenti che più interessano al popolo di wikipedia… Quindi più visitate non perché più editate, ma perché riguardanti gli argomenti più interessanti…
di Luca - 05 Marzo 2007 - 16:45
Vero, è questa è la prima parte.
Lo studio e la statistica condotti da Wilkinson e Huberman mira però a dimostrare la correlazione tra l’editing e la popolarità delle pagine.
di Raimondo Fanale - 05 Marzo 2007 - 17:25
Non è facile mettere in diretta correlazione l’editing con la qualità, perchè si rischia di cadere nella banalità ed in equazioni imprecise: più editato a mio avviso non equivale necessariamente a migliore, qualitativamente significativo.
Valutare la qualità e la veridicità di una voce è un operazione non semplice che dipende anche dal carattere dell’argomento: in quello politico ci possono essere più interessi ma non solo.
Tempo fa ci furono operazioni tendenti a manipolare ad esempio la voce “Podcast” mistificandone la parte che si riferiva all’autore del termine.
Il Wiki è per sua natura ricco di editing, il problema vero è valutarne l’impatto,definendo una relazione tra quantità,qualità e tipo di voce.
di Dario Salvelli - 05 Marzo 2007 - 18:06
Direi che hai colto lo spirito del mio intervento.
Ho usato il termine paradosso perché un “wiki” è un software al centro di un sistema collaborativo volto a coinvolgere tutti gli utenti senza vincoli (non ci sono gerarchie, se non quelle necessarie al mantenimento del sistema) pertanto aumentando la base di utenti dovrebbe migliorare il risultato, invece non è così.
Per fare un paragone un blog, od una rete di blog, è qualcosa di collaborativo in cui ogni nodo è controllato da una persona quindi è lecito attendersi che troppi utenti (troppa complessità per un solo controllore) rendano meno efficace il risultato.
Il fatto che anche wikipedia si comporti così indica che c’è qualcosa di sbagliato nel paradigma di tutti-coinvolti tutti-uguali, ovvero nel come è stato implementato, oppure nel come è usato.
di thumbria - 05 Marzo 2007 - 19:32
@thumbria: Credo che il Wiki ha avuto successo perchè metto sullo stesso piano i contributi di tutti,senza distinzione tra “editor” ed “utente”.
Bisognerebbe cercare di non tornare al passato da questo punto di vista,anche se come ho scritto proprio in questo post non si può fare affidamento come qualità all’esperienza dell’utente.
di Dario Salvelli - 06 Marzo 2007 - 15:18
@Dario Salvelli: tra tornare indietro e continuare esattamente nello stesso mondo che ha portato dei problemi esiste una via di mezzo. Per fare un paragone tra monarchia assoluta (alla Re Sole, Lo Stato Sono Io) e democrazia totalitaria (alla Robespierre, Uccidete Il Tizio Che Mi Ha Guardato Storto Perché É Un Controrivoluzionario) dove l’unica differenza è che cosa si sacrifica (ma sempre qualcosa si sacrifica) esiste una via di mezzo chiamata democrazia liberale, pertanto tra siti chiusi all’esterno (che sacrificano la completezza) e siti completamente aperti (che sacrificano la qualità) potrebbe esserci una via di mezzo che salva capra e cavoli e premia il merito dei contributi e non la loro mera quantità.
Questo lo definirei un passo avanti e non indietro.
di thumbria - 06 Marzo 2007 - 18:13
@thumbria: In tal senso il passo sarebbe per certi versi proprio “rivoluzionario”. Ben vengano iniziative simili, ci vuole coraggio e voglia di sperimentare: se però ancora ci si chiede se un blog deve avere i commenti forse c’è qualcosa che non va.
di Dario Salvelli - 07 Marzo 2007 - 11:07
@thumbria: Dal mio punto di vista il problema non è tanto nel sistema utilizzato, quanto nella responsabilità di chi utilizza il mezzo. Quello che manca adesso è una reale cultura 2.0…
I sistemi “liberi” dal punto di vista puramente concettuale, in quanto partono da una sostanziale parità di tutti i partecipanti, sono “migliori” di altri (per essere più precisi bisognerebbe dire che sono la trasposizione del nostro modo di concepire la vita sociale e politica in chiave democratica, e che per questo motivo sono per noi migliori di altri che non hanno gli stessi presupposti culturali). Un esempio eloquente di questa mancanza di cultura della condivisione è proprio il fatto che alcune voci sui vari wiki sono oggetto di revisioni non tanto qualitative ma “interessate” ad altro.
Tirando le somme, la qualità del prodotto finale aumenta in proporzione al volume dei commenti solo se gli utenti di quel servizio son educati ad utilizzarlo nel modo corretto.
Ma per risolvere il problema, non converrebbe sensibilizzare gli utenti, piuttosto di continuare a far credere che il computer è un elettrodomestico qualitativamente non dissimile da una lavatrice, o peggio ancora, un televisore?
di Nayma - 21 Marzo 2007 - 17:00
@Nayma Sì, è vero che molto dipende dalla responsabilità personale.
Il punto, però, è che i criminali e gli irresponsabili esisteranno sempre, ma sopratutto esistono oggettivamente delle differenze non colmabili anche tra persone colme di buone intenzioni.
Ad esempio il comunismo realizzato è sempre stato una dittatura, qualcuno sostiene che però le basi teoriche sono valide e se si realizzassero i suoi principi sarebbe una buona cosa. La mia opinione è che anche leggendo la teoria fascista tutto sembra molto bello, ma nella pratica…
Ho usato un esempio politico apposta per dare l’idea del valore delle possibili dispute. Si potrebbe argomentare all’infinito per una delle due posizioni, ma esistono differenze di opinioni semplicemente inconciliabili anche con tutta la buona volontà di questo mondo. Metterle assieme è difficile, per questo su Wikipedia esistono articoli dichiaratamente di parte oppure confusionari e dal significato nullo come quello citato qualche commento prima.
Per questo il modello democratico da solo non funziona granché, non nella realtà (dove c’è la democrazia liberale) e nemmeno su internet.
Ripeto che non sto dicendo di buttare Wikipedia e simili modelli, ma di migliorarli introducendo dei meccanismi qualitativi (liberali) e non semplicemente quantitativi (democratici).
di thumbria - 21 Marzo 2007 - 17:44
@thumbria: Anche nel modello “democratico” è presente un controllo qualità, anche se sostanzialmente molto diverso da quello “liberale”. Potremmo definirlo un metodo allargato, nel quale il giudizio sulla bontà del prodotto non cade sulle spalle, e sull’intelletto, di una sola persona bensì su quella di molte. La qualità di tali sistemi è incrementata appunto dalla possibilità continua di revisioni, aggiunte e verifiche effettuate da pari grado. Introdurre l’”auctoritas”, l’arbitro che decide cosa debba o non debba essere giusto, da un lato fa certamente risparmiare tempo. Dall’altro, alla lunga, annulla le possibilità di crescita del sistema stesso. Nonchè le capacità di critica del singolo, totalmente deresponsabilizzato di fronte a quello che legge.
Per quanto riguarda la presenza di malintenzionati, hai pienamente ragione: ci sono e ci saranno sempre. Ma non possono essere una scusa per delegare, al solito, diritti in cambio di una comunque non dimostrabile, se non a posteriori e basandosi su ipotesi, qualità.
PS: Credo che tra noi ci siano delle posizioni molto difficilmente coinciliabili. Per evitare quindi di cadere in polemiche sui principi che non apporterebbero niente a questa discussione, comunque nata su un argomento informatico, ho preferito eliminare le interpretazioni più politiche. Sia per non creare inutili flames, sia per non far morire una discussione che dal mio punto di vista è molto interessante.
di Nayma - 21 Marzo 2007 - 18:26
Iniziamo dal fondo: nel mio precedente commento ho usato un esempio politico anche per un altro motivo, una provocazione. Sappiamo entrambi che parlare di un simile argomento avrebbe rischiato di far deviare il corso della discussione verso argomenti estranei, se non per colpa nostra per altre persone che si sarebbero inserite per parlare solo di quello.
Tu cosa hai fatto, quindi ? Hai agito in modo “liberale”, hai deciso di non rispondere, di non seguire qualcosa che non centrava, è bastata la tua responsabilità personale.
Ma non tutti sono come te, anzi la maggioranza delle persone non sono come te.
Parlo per esperienza di Wikipedia, ho provato, ho visto e i fatti mi hanno portato a queste conclusioni.
Ancora peggio è che non sempre un’incomprensione richiede una volontà di non trovare un accordo, per fare un esempio la fisica classica va benissimo a velocità non relativistiche, infatti si studia ancora, si capisce inequivocabilmente che è sbagliata solo allargando il campo di studio, ma esistono argomenti in cui questo non è possibile; in cui due teorie, due visioni. sono entrambe valide stanti i risultati attuali, ma sono inconciliabili.
Non puoi semplicemente inserirle tutte e due, devi scegliere, necessariamente, perché ogni parola indica una scelta, un’idea, quindi la decisione sul cosa fare diviene arbitraria, nel senso che dipende solo da quale visione hai incontrato prima.
Cercando di unire due “entità incommensurabili” finisci solo per fare confusione e per bloccare anche la possibilità di progredire perché si rimane bloccati a cavillare su particolari oppure ad abbassare il livello dei contributi.
É questo che mina alla radice la possibilità di successo di ogni progetto collaborativo tra uomini, una sostanziale differenza di schemi, di visioni.
La “democrazia” è un ottimo metodo, ma funziona tra soggetti omogenei, ti illustro un esempio (rozzo) di come penso funzionerebbe meglio:
una persona scrive un articolo, decide se gli altri possono modificarlo direttamente oppure no, magari possono solo commentare e proporre modifiche. Se a qualcuno non piace ne inizia un altro e fa anche lui le sue decisioni. Alcune persone aiuteranno il primo, altre il secondo, magari qualcuno ne inizierà un terzo. Periodicamente vengono cancellate le versioni inattive e magari vengono eletti i “revisori” di ogni versione. Infine si studia un metodo per classificarli, magari i voti, le visualizzazioni, i commenti…
chi vuole solo vedere può accedere unicamente al primo, che diviene versione “ufficiale”.
É solo un abbozzo d’idea, ovviamente, ma penso che renda più semplice capire cosa intendo, c’è possibilità per tutti di collaborare, non ci sono autorità nominate, se l’autore principale vuole può lasciare libertà assoluta di modifica. All’inizio gli articoli saranno di parte, ma tenderanno a convergere verso soluzioni più oggettive per ottenere più consenso e lo faranno mantenendo una struttura sensata. I disturbatori saranno in massima parte relegati alle pagine minori, ininfluenti, il loro lavoro di intralcio sarà quindi inutile, perché invisibile, e pertanto diminuiranno. Ci saranno più collaboratori perché avranno garanzie che il loro duro lavoro non sarà cancellato da i vari idioti.
Collaborazione e responsabilità personale, i vantaggi dell’apertura assieme a quelli dell’organizzazione.
di thumbria - 21 Marzo 2007 - 22:48
@thumbria: Non credo che sia necessaria una gerarchia così articolata: in ogni libro o pubblicazione le varie posizioni ed i chiarimenti metodologici si eplicano attraverso note ed, eventualmente, una introduzione metodologica che esplicita i criteri utilizzati per scegliere i materiali. E questo fondamentalmente perché un medium sostanzialmente lineare come un libro non prevede la possibilità, come un ipertesto “normale”, di introdurre, modificare, aggiornare continuamente i contenuti e linkarli in infiniti modi.
Una voce di wiki, come anche ogni voce reale di un’enciclopedia cartacea, o goni libro, ha i suoi presupposti culturali. L’importante non è negarli, ma renderli espliciti in modo che chi si trova a leggerla ne possa tenere conto. Non per nulla, l’enciclopedia più famosa è quella di Diderot e soci, che tutto era fuorchè un’opera neutra di catalogazione del mondo sensibile. Per quello c’è il dizionario.
Si pone a questo punto ilm problema di chi dovrebbe rendere espliciti questi presupposti: Introdurre una persona, un revisore, che si sobbarchi il compito di scegliere i pesi di ogni posizione e di tarare le strade percorribili potrebbe generare deriva autoritarie, censure e simili. Dal mio punto di vista il problema si risolve con la sostituzione dell’intero gruppo degli utenti alla figura del “censore”.
In sostanza, il wiki come è adesso.
I difetti ci sono, ma superano i problemi che esso stesso crea.
Ti spingo a riflettere sul fatto che adesso, per quanto possa essere demagogico, la maggioranza vince. E non, per esempio, gli interessi del Congresso a cambiare delle voci per renderle più “digeribili” all’amministrazione di turno.
Se ci fosse una persona sola, per quanto imparziale, potrebbe garantire solo poche posizioni.
Per non parlare poi di chi imparziale non è, perchè obbedisce a vari credi, politici o no. Quello ne potrebbe difendere una sola. Potrebbe per esempio un revisore cattolico, dopo le esternazioni del Papa, convalidare una voce sull’interruzione di gravidanza? Ed, al tempo stesso, possiamo impedire ai cattolici di fare da revisori dei contenuti?
Solo un gruppo eterogeneo per formazione, fede, credo politico, genere, età e quant’altro può, a mio avviso, assugere a questo ruolo, in quanto si tratta di un ruolo di garanzia per le stesse categorie che essi stessi rappresentano, ovvero tutto il popolo dei navigatori.
di Nayma - 24 Marzo 2007 - 15:43
@thumbria AND @nayma
Bella la discussione e vi rignrazio per non aver portato il tutto fuori dall’argomento. Entrambi avete dimostrato, a mio giudizio, un encomiabile volontà di affrontare un tema scottante mantenendo una linea “pulita”, senza appiattire l’argomento con scarne faziosità che spesso sono la base di tante (sterili) discussioni.
Dop aver letto e riletto i vostri commenti ho solo un paio di precisazioni da aggiungere.
n.1 l’argomento è sempre rimasto nel mondo informatico. Il problema nasceva dalla qualità e dal controllo della qualità. Informatica non vuol dire “bit”. Il problema quindi può essere spostato proprio su questo punto: quando una discussione o un testo viene portato dal dialogo faccia a faccia ad un media più o meno autorevole, chi deve prendere la reponsabilità di fare il controllo? e qui arrivo al punto n.2
n.2 quanto più è “grande” il media (uso l’aggettivo grande come sintesi di “autorevole”, “diffuso”, “stabile”, “conosciuto” etc.etc.etc.) tanto più nascono problemi di relazioni sociali. Se ci fermiamo ad affrontare un solo punto (ad esempio la politica) allora si cade nell’errore di voler per forza dare una direzione al media. Qundi tornando “a bomba” chi “detiene” la titolarità del servizio deve sempre inventare nuovi sistemi di controllo, tanto è più grande il network. In questo caso il tutto è partito da una statistica, ma come ben sapete le statistiche possono essere banalizzate o pilotate. Per non pilotarle, allora, ci si deve fermare a dei dati di fatto, ed i dati di fatto riscontrati sono: le voci giudicate mediamente più valide, sono quelle più editate (statistiche elaborate sulla base dell’attività di editing messa a confronto con quella di lettura)
di Raimondo Fanale - 25 Marzo 2007 - 18:43
@Raimondo Fanale: a questo punto sarebbe lecito chiedersi se la qualità sia più una causa o una conseguenza. E purtroppo non è possibile capirlo tramite una statistica…
di Nayma - 26 Marzo 2007 - 13:42
@Nayma: però è anche vero che il sistema statistico offre i dati su cui si lavora e fornisce degli spunti di controllo e suggerimenti di evoluzione del sistema informativo.
La domanda “la qualità è una causa o una conseguenza” potrebbe non essere rilevante in un sistema evolutivo e fatto di contribuzioni continue, perchè alla base non c’è il one-step-editing ma un processo di editing e controllo continuo.
Quindi secondo me in casi come questi si introduce il valore statistico fondamentale della quantità vicino a quello della qualità.
So bene che è un discorso pericoloso (sarebbe come dire che siccome tutti i lemmings si buttano giù inmare allora è bene buttarsi giù tutti) ma ricordiamoci sempre che non si sta parlando del proprio sito personale, ma di un wiki dove la contribuzione e le visite sono macronumeri, ati da esseri umani pensanti e perdonatemi il termine mediamente-ben-pensanti.
Ovvio che ragionando su un sistema complesso come questo ci sono delle variabili che diventano “non significative” (ad esempio: una sola voce errata o falsificata non influisce certo sulla qualità dell’intero prodotto).
Riconduco quindi l’analisi alla statistica di Wilkinson e Huberman, che alla luce di queste considerazioni può essere considerata attendibile.
di Raimondo Fanale - 26 Marzo 2007 - 14:42
Da ieri abbiamo una possibilità in più di verificare il rapporto tra “democraticità”, “responsabilità” e “qualità” è partita la beta pubblica di citinzedium.
Certo per ricerche scientifiche ci vorrà tempo ed una certa base di utenza, ma possiamo iniziare a farci un’idea. A me pare un buon compromesso tra gli elementi di cui discutevamo.
di thumbria - 28 Marzo 2007 - 09:29
@ Raimondo Fanale: discutere se la qualità preceda o segua determinate variabili/azioni etc potrebbe non essere del tutto significante in un sistema evolutivo perchè è un sistema che prevede feedback che possono correggere eventuali imperfezioni nel sistema stesso, mediante retropropagazioni degli errori o altri meccanismi simili. In un sistema evolutivo difatti i vari pesi si distribuiscono in maniera dinamica a seconda delle interazioni con l’ambiente circostante. Ma il postulare l’una o l’altra scelta porta a formulare ipotesi di funzionamento che portano a diversi risultati.
In sostanza, se l’editare causa qualità, sarebbe furbo incentivare a farlo. Se al contrario l’editare è conseguenza della qualità, è necessario avere uno staff a monte capace di garantire un nucleo di contenuti di alta qualità da poi sottoporre a verifica collettiva. C’è la stessa differenza che intercorre tra un manuale di testo ed un workshop sullo stesso argomento.
@ thumbria : il progetto mi sembra interessante. Non rimane che vedere come andrà avanti. Logicamente non sarà il successo o il fallimento di un singolo esperimento a decretare se l’idea è valida o meno in assoluto, ma comunque vedendola all’oipera si possono trarre ulteriori spunti per migliorarla e discuterla. PS: il nome è geniale.. :)
di Nayma - 28 Marzo 2007 - 16:57