Тема «Правдивость статистики (или новый взгляд на оценки)»

Вы здесь: Форумы fantlab.ru > Форум «Техподдержка и развитие сайта» > Тема «Правдивость статистики (или новый взгляд на оценки)»

Правдивость статистики (или новый взгляд на оценки)

Страницы: 1 2 3 4...7 8 9 🔍 поиск написать сообщение

автор

сообщение

философ

7 января 2010 г. 03:21

цитировать

Krono, чтобы отмести "неправильные" оценки, надо определиться с критерием нормальности, чего Вы никак не можете сделать. А ведь несколькими постами выше это уже сделала Iella — оценка адекватности по характеру вероятностного распределения подходит как нельзя лучше.
О том, что такое нормальное распределение, можно прочитать здесь. Очевидно, что биполярные оценки под это распределение не подходят и учитываться не будут.

Примеры (взял из списка пользователей с наибольшим количеством оценок):
откройте и пролистайте в самый вниз до графы "Гистограмма распределения оценок" страницы пользователей ФАНТОМ, VAI (есть какой-то выброс), puhlyi, LENA56 (тоже непонятный выброс) и т.д.
как видно, все гистограммы представляют собой дискретный вид нормального распределения (колокольчик) со смещением в сторону наивысшей оценки, что вызвано спецификой сайта и психологии человека (предподчтение отдается действительно хорошим авторам и произведениям).
кстати, оценки самой Iell'ы я бы учитывать не стал из-за явно негауссова распределения, да и оценки Krono тоже — кривовато из-за небольшого количества оцененных произведений.
так что заменять числовые оценки на "вербальные" типа хорошо/плохо считаю заменой шила на мыло, а вводить еще какие-то дополнительные критерии адекватности излишними, т.к. будут они исходить из той же головы с теми же тараканами. единственный вариант — математическая обработка уже имеющихся оценок.

философ

7 января 2010 г. 03:52

цитировать

tavla, сразу видно, что пишет человек разбирающийся в данном вопросе. Я не эксперт в статистике, и это может прозвучать довольно глупо, но я хочу сказать что именно сказанное Вами я и имел ввиду в своем втором предложении в этой теме :) Я согласен, что идея с отзывами не даст достаточно положительного результата и теперь склоняюсь к здравости мысли о статистическом анализе. Я согласен с таким критерием нормальности, как гауссово распределение (спасибо за ссылку, но я знаю о чем речь). Лично для меня Ваши примеры с распределением оценок у конкретных пользователей наглядно демонстрируют уместность введения такой системы, а главное возможность реализации такой корректировки, за что Вам и спасибо!

С иронией должен отметить, что оценки Iell'ы, предложившей корректировку по гауссовому распределению, ему же и не соответствуют. Конечно, не учитывать оценки, это не та мера, которая действительно нужна, но скорректировать вес определенных оценок (в частности тех, которые не соответствуют распределению) можно. Моих личных оценок недостаточно чтобы распределение было нормальным, тем не менее оно к нему приближается, даже не смотря на то, что я, как я думал, читаю книги очень избирательно.

Также благодаря этой системе можно было бы скорректировать оценки, так чтобы они больше вписывались в шкалу от 1 до 10 у всех. То есть чтобы личные оценки присутствовали но в общем рейтинге все они выставлялись после сдвига "колокольчика" ближе к центру. Но это как вариант! Гораздо важнее то, о чем мы уже говорили.

философ

7 января 2010 г. 04:24

цитировать

Krono, рад что смог чем-то помочь

цитата Krono
С иронией должен отметить, что оценки Iell'ы, предложившей корректировку по гауссовому распределению, ему же и не соответствуют

скорее всего это тоже из-за небольшого количества оцененных произведений

цитата Krono
Также благодаря этой системе можно было бы скорректировать оценки, так чтобы они больше вписывались в шкалу от 1 до 10 у всех.

да, я тоже думал об этом. но если посмотрите гистограмму моих оценок, то увидите кривой колокольчик в пределах пяти баллов. возможно, я не читал по-настоящему плохих книг, но никак не могу представить произведение, за которое можно поставить единицу — и я такой не один, многие совершенно не используют оценки 1, 2, 3 да и 4. скорее всего причиной является типичная для России пятибальная система "оценивания", знакомая нам со школы.

это все я к тому, что точнее будет не размазывать колокольчик на все десять баллов, а наоборот стянуть его к пяти. так как средняя оценка дается с точностью до сотых, то совпадений по рейтингу даже при пяти баллах будет не много.

гранд-мастер

7 января 2010 г. 05:02

цитировать

Никакой зависимости между оценкой, наличием отзыва, и уж тем более его оцененности баллами нет. Я пишу отзывы, а кто-то не пишет, и причин мне писать, а ему не писать может быть предостаточно. При этом, допустим, уровень нашей ответственности в выставленении оценки одинаков, только я плюс еще накропал пару строк, так почему моя оценка будет выше ценностью, чем его? По оценонности отзыва баллами также не сильно то вяжется. У меня, к примеру, есть отзывы, получившие неплохое количество баллов, но даже я, их автор, не считаю их лучшими, а есть более любимые, но большого количество баллов не получившие. Резюме: предложение сыровато.

философ

7 января 2010 г. 05:16

цитировать

Кстати, интересная идея! Я сам размышлял о том, что растягивать баллы на весь диапазон было бы крайне затруднительно, ведь если не используются оценки 1,2,3 (как впрочем и у меня), то сдвинув все вниз, получится, что сверху ничего нету (то есть десятки уйдут вниз), а так не положено. А вот если сжать все в 5 баллов — то наоборот получится, тем более, учитывая, что большинство оценки 1,2,3 не использует или использует крайне редко, что соответственно превратится в оценку "1". Оценки "10" и "9" будут 5-кой, оценки 8 и 7 будут 4-кой и т.д. В результате колокольчик станет более стандартизированным, правильным, и это могло бы помочь дать более правдивый рейтинг.

Но более важным здесь считаю именно корректировку веса оценки под образ колокольчика, учитывая сдвиг. То есть, если бы он начинался не с 1, а, например с 3.

философ

7 января 2010 г. 05:23

цитировать

цитата sanchezzzz
У меня, к примеру, есть отзывы, получившие неплохое количество баллов, но даже я, их автор, не считаю их лучшими, а есть более любимые, но большого количество баллов не получившие.

Да, но ведь если мы хотим составить средний рейтинг, то учитывая мнение людей вполне понятно, что не все что так нравится нам, будет нравиться другим (пусть это и собственный отзыв). Да даже если учесть, что у разных произведений отзывы к ним читает разное количество людей, то количество баллов будет всегда разное. Но! Это можно было бы выровнять, если учитывать за какой отзыв на это произведение максимальное количество баллов и считать относительно.

Опять таки же, я согласен, что идея с баллами за отзывы не годиться на массовое использование, но все же оставляю возможность существования такой функции как дополнительной — кто считает важными отзывы и оценки за них, включает, а кто нет — не включает.

Поэтому на данный момент обсуждение переливается во вторую идею со статистикой.

миротворец

7 января 2010 г. 18:10

цитировать

цитата Krono
В результате колокольчик станет более стандартизированным, правильным, и это могло бы помочь дать более правдивый рейтинг.

Глубоко убеждён, что ничего не изменится, только колокол гауссианы сожмётся. Человеческая психика работает одинаково для любой шкалы. Поэтому не вижу смысла ломать привычную систему. Хорошо новичку приспосабливаться, а вот к этой системе привык уже давно, и есть книги, которые я оценивал в1 и есть, которые в 10. А последних больше, потому что кто ж будет себя насиловать, колоться и есть кактус? Плохую книгу не дочитываешь и, соответственно, не оцениваешь (вежливость на сайте такая — не полностью прочитанную книгу не оценивать), вот низких оценок и мало.

–––
Котики должны оторжать реальность!
Ja-ja, das ist fantastisch!

миродержец

7 января 2010 г. 18:38

цитировать

Честно говоря, давно хотела предложить ввести хотя бы 2 шкалы оценок: 1. Чистое ИМХО (мне понравилось/не понравилось) и 2. Объективная (насколько возможно) оценка того, КАК написано.

Поясняю на примерах.

1. Ну, нравятся мне некоторые (не все!!) книги П.Коэльо. Да, я знаю, это далеко не шедевры в литературном отношении. Но они мне НРАВЯТСЯ, и всё тут. Поэтому по первой шкале я поставлю "Алхимику" 10, а по второй — 5-6.

2. "Дочь железного дракона" Суэнвика — я понимаю, что написано хорошо. Очень хороошо!. Но роман мне сильно и резко НЕ НРАВИТСЯ. По первой шкале — 2, по второй — 8 или 9.

МХО, было бы очень здорово. И полезно для тех лаборантов, кто книгу не читал, но хочет понять, читать ему это или нет.

–––
я отношу себя к образованным и интеллектуальным, но они постоянно приносят меня обратно

философ

7 января 2010 г. 18:50

цитировать

Статистика есть величайшая ложь.

скрытый текст (кликните по нему, чтобы увидеть)

По статистике на каждого жителя земли приходится в среднем одно яйцо...

Я никогда не смотрю на средний балл, а лишь на отзывы уважаемых фантлабовцев.

–––
Судья был неумолим: «Непонятливость».
"Даже детей не жалко. Они другого не видали. А мы им не расскажем. А раскажем - они не п

магистр

7 января 2010 г. 18:56

цитировать

dobriy_doktor Неужели

скрытый текст (кликните по нему, чтобы увидеть)

целое

–––
Истина острому их взору не издали болванела так, как подлым умам, но ясно, как в зерцале, представлялась.

гранд-мастер

7 января 2010 г. 19:04

цитировать

Veronika, тут на сайте не сплошь профессиональные критики, оценщики и рецензенты, чтобы даже теоретически пытаться оценивать книги ОБЪЕКТИВНО. Все оценки и отзывы и должны быть субъективны, в этом вся соль и есть, по-моему. Мне вообще не понятно, что значит это — оценивать объективно. Заведомо определить, что есть шедевры, а что отстой? Тогда зачем нужна будет первая шкала по Вашей Методике? Кому тогда будет интересно Ваше или моё имхо, если ярлыки уже будут навешаны?

миродержец

7 января 2010 г. 19:17

цитировать

цитата sanchezzzz
тут на сайте не сплошь профессиональные критики, оценщики и рецензенты, чтобы даже теоретически пытаться оценивать книги ОБЪЕКТИВНО.

Да? Я не рецензент и не критик, но тем не менее оцениваю. Насколько могу.

цитата sanchezzzz
Мне вообще не понятно, что значит это — оценивать объективно.

Да я вроде примеры специально привела, чтобы всем понятно было.
Да, я поставила 10 и "Властелину Колец", и "Алхимику". Но мне бы хотелось "донести до людей", что это РАЗНЫЕ десятки. И я по-разному оцениваю эти романы.

–––
я отношу себя к образованным и интеллектуальным, но они постоянно приносят меня обратно

гранд-мастер

7 января 2010 г. 19:20

цитировать

цитата Veronika
Да, я поставила 10 и "Властелину Колец", и "Алхимику". Но мне бы хотелось "донести до людей", что это РАЗНЫЕ десятки. И я по-разному оцениваю эти романы.

Отзыв. =) Зачем порождать лишние сущности?

–––

гранд-мастер

7 января 2010 г. 19:32

цитировать

Veronika , да ерунда это всё, ибо прок от этого сомнителен. Какой смысл в том, что мне плевать на то, что кто-то там определит, что эта-де книга объективно шедевр, а та — фигня на постном масле? Какой смысл в том, что я скажу — эта книга по-моему шедевр, хотя какая то группа людей сказала, что это объективно никак не шедевр, и тоже совершенно справедливо наплюет на мое мнение? К чему эта многократная классификация, что объективно шедевр, и необъективно? Будь что-то стократно признано шедевром, но мне не по вкусу, мне будет на это совершенно безразлично.

философ

7 января 2010 г. 19:38

цитировать

Повторяюсь, что статистика- это такая наука,которая утверждает, что ежели голову сунуть в доменную печь, а ноги- в ледяную воду, то будешь чувствовать себя вполне прилично :-)

Конечно,мнения фантлабовцев интереснее .Согласна, что пятибалльная система более привычна при оценке мнения, но не даёт такой широты "оттенков " голосования,как 10 балльная.И ещё согласна, что важно именно субъективное мнение.Ибо как можно говорить об объективности,если ценятся именно симпатии и пристрастия в литературе каждого.Ведь что для одного -шедевр , для другого просто не очень интересная книга и наоборот.

–––
Всякий ум человеческий имеет границы. И только глупость беспредельна!

миродержец

7 января 2010 г. 21:04

цитировать

цитата sanchezzzz
Какой смысл в том, что я скажу — эта книга по-моему шедевр

Скажем так: лично для меня Ваше высказывание о той или иной книге значения иметь не будет. Но если о какой-то книге как о шедевре выскажется кто-то, чьё мнение для меня имеет значение (а таких на Фантлабе наберётся десятка три, если не более), я постараюсь прочесть эту книгу.

–––
я отношу себя к образованным и интеллектуальным, но они постоянно приносят меня обратно

гранд-мастер

7 января 2010 г. 21:18

цитировать

Veronika , другого ответа сложно от Вас ждать, посему и не ждал. Равно как и того, что Вы поймете мои резоны верно. Можно было бы попытаться, сказать что вместо "я скажу" впишите кого угодно, себя, любой ник, и дальше читайте внимательнее, но не буду. Бесполезно Вам Объяснять, что я хотел донести, что ни Вы, ни я, ни кто либо не имеет никакого права присваивать какой-либо книге какую-то эфемерную оценку, да еще приговаривать, вот это, мол, объективная оценка Алхимику или Властелину. Не будет такого никогда, ибо нет никакой объективной оценки, не может её быть в принципе. У меня всё.

миродержец

7 января 2010 г. 21:37

цитировать

цитата sanchezzzz
ни Вы, ни я, ни кто либо не имеет никакого права присваивать какой-либо книге какую-то эфемерную оценку,

И Вы, и я, и любой, кто прочёл книгу, имеет полное право её оценить.

цитата sanchezzzz
да еще приговаривать, вот это, мол, объективная оценка Алхимику или Властелину. Не будет такого никогда, ибо нет никакой объективной оценки, не может её быть в принципе.

Разумеется, есть объективная оценка. Есть классика, есть однодневки, есть "конфетки", есть... коричневое, но не шоколад :-)

–––
я отношу себя к образованным и интеллектуальным, но они постоянно приносят меня обратно

магистр

7 января 2010 г. 21:37

цитировать

Хм, писательско-сочинительные способности пользователя делают его более весомым, нежели простого оценивателя? Забавно. Не все мы тут писатели, зато все читатели. Зачем тогда выделять тех, кто в большей степени владеет пером? Справедливо ли это? И так ли уж полезно? Нет, не понимаю...

Мне лично была бы ближе не цифровая шкала оценок, а совесная: очень плохо, плохо, средне, хорошо и т.п. Такую шкалу как-то предлагали ввести, но почему-то тоже забраковали, не помню уже почему. :(

гранд-мастер

7 января 2010 г. 21:51

цитировать

Veronika , оценить согласно своего мировоззрения, да, конечно, имеет право каждый. Я говорю про то, что ни одной книге, песне, картине, кино нельзя приклеить универсальный для всех ярлык-оценку: это шедевр, это классика, это отстой. У каждого своя оценка, и это здорово.

Страницы: 1 2 3 4...7 8 9 🔍 поиск