Новый алгоритм вычисления


Вы здесь: Авторские колонки FantLab > Авторская колонка «creator» > Новый алгоритм вычисления средней оценки произведения
Поиск статьи:
   расширенный поиск »

Новый алгоритм вычисления средней оценки произведения

Статья написана 24 сентября 2017 г. 16:39

Друзья, мы перешли ко второму этапу борьбы с накруткой средних оценок и рейтингов. Четыре года назад мы разработали и внедрили более корректный алгоритм вычисления рейтинга авторов, который минимизирует влияние преднамеренных манипуляций. Сейчас мы изменили также формулу расчёта средней оценки произведений, заменив её на средневзвешенную. Весовые коэффициенты для каждой оценки складываются из ряда факторов, которые занижают влияние оценки при подозрении на попытку манипуляции над рейтингами. К примеру, если регистрируется посетитель, ставит единицы всем произведениям одного автора, и больше ничего — вес такого будет нулевым. Это классический пример, но это далеко не единственные критерии, и алгоритм гораздо сложнее.

Добавим, что при малом числе оценок у произведения средняя оценка считается по-прежнему как простое среднее, но при росте числа оценок всё большее значение имеет доверительный вес, линейно и плавно переводя алгоритм от простого среднего к средневзвешенному. На странице детализации рейтинга произведения можно увидеть старое значение средней оценки — посмотрите там абзац «Обратите внимание!».

Мы надеемся, что новый алгоритм позволит сделать рейтинги более честными, лишёнными умышленных «вбросов» со стороны.





11773
просмотры





  Комментарии
Страницы: 1234567


Ссылка на сообщение24 сентября 2017 г. 17:38
«Средняя оценка считается как средневзвешенная. Вес каждой оценки равен степени доверия сайта оценкам этого посетителя.»
Было бы интересным видеть в профиле пользователя эту «степень доверия сайта оценкам этого посетителя».
И, допустим, с разъяснением, отчего такое доверие к данному пользователю.
Кстати, интересно. Если много наставлено единиц, это понятно, странно. Человек не может, пересиливая себя, читать много вызывающих омерзение книг.
А если много 8-10, это понятно. Следует рекомендациям приятелей или вашего портала.
свернуть ветку
 


Ссылка на сообщение24 сентября 2017 г. 17:44
много 8-10 может быть ещё и по другой причине: это произведения, которые понравились — и поэтому запомнились.
 


Ссылка на сообщение24 сентября 2017 г. 18:04
Полностью согласен! 8-)
 


Ссылка на сообщение24 сентября 2017 г. 18:17

цитата

Человек не может, пересиливая себя, читать много вызывающих омерзение книг.

Может. В рамках школьного курса по литературе этим занималось большинство.

Еще сюда можно отнести книги, которые популярны в определенное время, о которых кричат из каждого чайника, что они «шедевр». И ты их читаешь, чтобы понять, насколько неправы кричащие.
 


Ссылка на сообщение24 сентября 2017 г. 18:19
Да, мне тоже интересно было бы узнать, по какому принципу рассчитывается доверие к пользователям. По баллам за отзывы? Может, по активности?

Ну и, да, обидно будет, если мои единицы банально не будут учитываться. У меня их не много, но, на мой взгляд, все поставлены за дело. :-)))
 


Ссылка на сообщение24 сентября 2017 г. 18:23
Да, баллы за отзывы прибавляют веса. Как и ряд других факторов.
Единицы Ваши будут учитываться в полной мере, если алгоритм не решит, что они предвзяты.
Короче, алгоритм я всё равно не раскрою. Я считаю, что он близок к идеальному. Возможно, в ближайшее время чуть скорректирую, что вы практически не увидите. :-)
 


Ссылка на сообщение25 сентября 2017 г. 05:19
Отдельное спасибо: как раз меня один тип единицами и преследует, и не одного меня, кажется.
 


Ссылка на сообщение25 сентября 2017 г. 09:22
сталкивалась с таким, да
 


Ссылка на сообщение25 сентября 2017 г. 22:25
Здорово, что сделали такой алгоритм!
А зачем тогда админ Дзюба удалил все мои оценки?
Без предупреждения.
Только написал, что ему видете ли мои оценки кажутся предвзятыми.
А я теперь не могу вспомнить какие книги уже прослушал.
Если дали возможность ставить оценки как можно за это штрафовать.
Уберите вообще единицу раз ее нельзя ставить.
 


Ссылка на сообщение25 сентября 2017 г. 23:25
Если оценки изымают, то это странно. Они же нужны для раздела «Рекомендации». %-\ А если просто не учитывают в рейтинге — то практически пофиг. От этого ни холодно, ни жарко.
 


Ссылка на сообщение24 сентября 2017 г. 19:40
Абсолютно верно указано!
 


Ссылка на сообщение25 сентября 2017 г. 08:14
Или просто люди недочитывают неприятные книги.


Ссылка на сообщение24 сентября 2017 г. 17:49
А оценки уже фактически пересчитаны ? Или старые остались «как есть» а их корректировка пойдет по новому алгоритму ?
свернуть ветку
 


Ссылка на сообщение24 сентября 2017 г. 19:09
Да, пресчитаны. Правда, с последней незначительной корректировкой — только что. 8:-0


Ссылка на сообщение24 сентября 2017 г. 18:05

цитата creator

Добавим, что при малом числе оценок у произведения средняя оценка считается по-прежнему как простое среднее

Вот это как раз очень плохо (((
Поясню.
Вышла книжка Васи Пупкина. Дебют. Только-только поступила в продажу. И захожу я на страницу произведения оценку хоть примерную глянуть, какие отметки первые читатели выставили. А пятеро накрутчиков выставят там по десятке... и один честный тройку... и что же за оценку я увижу... оценку 8,8/10 = круто, подумаю я и пойду покупать книгу....
Когда оценок у произведения уже много — сама оценка уже и не так важна. Ибо произведение уже давно вышло. Отзывы есть. Автор на слуху (мта это или что посерьёзнее).
Вот именно когда оценок мало — очень важна степень достоверности оценки.
свернуть ветку
 


Ссылка на сообщение24 сентября 2017 г. 18:11
Представьте, что у произведения всего одна оценка — 10.
Вы заходите, ставите 9. И видите, что средняя стала не 9.5, а 9.9. Каковы будут Ваши вопросы к администрации сайта? :-)
 


Ссылка на сообщение25 сентября 2017 г. 01:45
Никаких вопросов.

Сомнительное это времяпровождение — ставить оценки, вычислять рейтинги и на их основе делать рекомендации.

Все эти оценки имеют нулевую достоверность по очень простой причине. Или оценки накручиваются экспертами, или то же самое делает алгоритм.
 


Ссылка на сообщение24 сентября 2017 г. 20:01
Если оценок мало, то смысла всё равно нет ориентироваться на рейтинг. Лучше посмотреть в деталях, кто и какие оценки поставил произведению, и если там есть знакомые ники — ориентироваться по ним.
 


Ссылка на сообщение24 сентября 2017 г. 20:03
:beer:
Вот поэтому я очень-очень-очень жду модернизации раздела «Рекомендации», чтобы вручную настраивать список единомышленников — мечта!)
 


Ссылка на сообщение26 сентября 2017 г. 11:43

цитата Green_Bear

поэтому я очень-очень-очень жду модернизации раздела «Рекомендации», чтобы вручную настраивать список единомышленников

О! Это было бы очень круто.
 


Ссылка на сообщение24 сентября 2017 г. 20:04
Вот! Единственно верное решение и раньше, и теперь :beer:!


Ссылка на сообщение24 сентября 2017 г. 18:08
Предвижу вой в среде тех поклонников того или иного автора, которые обожают накручивать или занижать оценки.

Ну, а пока Ярославе Кузнецовой срезали оценку на 0,3 балла, Тармашеву — на пол балла, Кузьминой — на балл. «Это просто праздник какой-то» (с) :-)))
свернуть ветку
 


Ссылка на сообщение24 сентября 2017 г. 18:25
У Перумова оценки на полбалла упали, так что я тоже не в обиде. :-)))

Но мне интересно... а есть ли книги, у которых оценки выросли после смены системы? Пока ни одной не увидел.
 


Ссылка на сообщение24 сентября 2017 г. 18:40
Подозреваю, что оценки выросли у какого-нибудь Шендеровича, по нему после открытия библиографии неслабо так хейтеры с единицами прошлись.
 


Ссылка на сообщение25 сентября 2017 г. 09:24
у меня на 0,01 подскочила))) я немножко Шендерович


Ссылка на сообщение24 сентября 2017 г. 18:13
Возможно я покажусь занудой, но я считаю ничего менять не надо. Если где-то рейтинг завышен по вашему мнению, то хотелось бы пару ссылочек. По моему всё честно, более менее.
свернуть ветку
 


Ссылка на сообщение24 сентября 2017 г. 21:33
посмотрите на все оценки и отзывы на творчество Тармашева до 20 августа 2017 г. и после.


Ссылка на сообщение24 сентября 2017 г. 18:26
Уважаемые! меня достали эти оценки!
Почему нет отзывов??? куча оценок, и ни одного отзыва.
Лично я, никогда не ориентируюсь на оценках. Мне необходимо слово. Слово!
Понимаете?
Отпишитесь пожалуйста, хоть пару строк черкните. А то пойми, по 10 бальной системе что имел в виду читатель. Эти цифры — сухая статистика.
Лично я стараюсь в каждом прочитанном оставлять отзыв, хоть пару слов, но стараюсь писать.
Правда ... единицу поставила одному знаменитому писателю, без отзыва...гадость редкостная... не писать же эти два слова к его роману.
свернуть ветку
 


Ссылка на сообщение24 сентября 2017 г. 18:29

цитата zdraste

гадость редкостная...
Именно что — писать обязательно!!
 


Ссылка на сообщение24 сентября 2017 г. 18:35
и нахватать минусов за такой «отзыв» :-)
 


Ссылка на сообщение27 сентября 2017 г. 06:53
Не обращать внимания на диктатуру большинства. Вы лайки коллекционируете или донести своё мнение хотите?
 


Ссылка на сообщение27 сентября 2017 г. 11:47
Дык, не получится не обращать. Ибо пять минусов — и отзыв выпиливается.
 


Ссылка на сообщение27 сентября 2017 г. 11:50
А были вообще случаи, когда человека наказали за то что он поставил минус нормальному отзыву?
 


Ссылка на сообщение27 сентября 2017 г. 14:20
Я недавно написал отзыв, который шёл вразрез со мнением большинства. Только поместил отзыв, перечитал его, чтобы ещё раз проверить опечатки. Исправил парочку и увидел минус. Через час появился отзыв, в котором человек начал ёрничать над моим мнением. Потом появился ещё один по тексту довольно нейтральный отзыв, но судя по оценке — нарочито оппозиционный моему мнению. Следующие несколько дней я наблюдал, как мне и другим людям, которым не понравился рассказ, ставили минусы.

Я готов терпеть минусы, но не готов к тому, что мой отзыв удалят — для меня важно донести своё мнение, особенно если оно отличается от хора благолепных голосов. Поэтому тенденция меня вывела из равновесия и я решил ответить ёрничаньем на ёрничанье:
https://fantlab.ru/wor...

Сейчас остыл и читать мне это не приятно, но зато этому более едкому отзыву больше ни один человек не поставил минус. Если бы продолжали минусовать — продолжал бы эскалацию конфликта наверх. Если бы я выяснил, что администрация только декларирует правила хорошего поведения, но реально не готова обеспечить их выполнение, то и я бы перестал соблюдать декларируемые правила.
 


Ссылка на сообщение27 сентября 2017 г. 15:05
вы, конечно, добрый... только ничего не поняли. естественно, в минус (и в выпиливание) уйдёт отзыв, состоящий из двух слов: «гадость редкостная». и всё. я о том и говорю, что нафиг такие отзывы писать.
 


Ссылка на сообщение27 сентября 2017 г. 17:21
«Гадость редкостная» — это не отзыв. Такие отзывы действительно не надо писать и их правильно минусуют. Это похоже на надпись на заборе — «Петя — дурак». Какой Петя? Почему дурак? Здесь нужно больше подробностей. Без подробностей это не отзыв, а инфомусор — только время у людей отнимает.
 


Ссылка на сообщение24 сентября 2017 г. 18:32
Как это нет отзывов? Их полно.
И я, извините, но не пойму, как Ваша мысль относится к теме этой статьи.
 


Ссылка на сообщение24 сентября 2017 г. 21:16
Вот, кстати, да! Согласен. Только лишь с поправкой, что оценки тоже нужны. Всё-таки при выборе «чего почитать» у нового для себя автора хочешь начать с лучших произведений. Отзывы на все книги перечитывать не будешь. В этом случае оценки хорошо ориентируют. Тогда выбираешь самые рейтинговые произведения и уже изучаешь отзывы. Считаю, что отзывы не менее (а то и более) важны, чем оценки. Ибо есть фантлабовцы, оставляющие на отдельные произведения отзывы, но не оставляющие им оценки.
 


Ссылка на сообщение25 сентября 2017 г. 08:21
Кому-то писать легко, кому-то очень трудно. Потом на отзыв да еще длинный нужно время, а в сутках только 24 часа. Потом оценка часто от личных эмоций зависит, а о них писать публично ... не хочется.


Ссылка на сообщение24 сентября 2017 г. 18:28
Просто не надо начислять баллы за оценки. И тогда люди будут ставить оценки только тем, кого действительно прочитали8:-08:-08:-0
свернуть ветку
 


Ссылка на сообщение24 сентября 2017 г. 18:37
вот здрасьте! а за что ж их начислять? за треск на форуме? за время торчания на сайте?
 


Ссылка на сообщение24 сентября 2017 г. 18:39
А зачем они вообще нужны? Потешить самолюбие?
 


Ссылка на сообщение24 сентября 2017 г. 18:43
как-то не стремлюсь. я иронизирую (если так непонятно). оценивание произведений — полезная работа для сайта. не думаю, что тут толпы лаборантов выставляют оценки от балды, лишь бы рейтинг набить. тем более, что он тут особо ничего не решает.
 


Ссылка на сообщение24 сентября 2017 г. 19:02
Чтобы хоть как-то стимулировать людей к выставлению оценок, очевидно жеж.
 


Ссылка на сообщение24 сентября 2017 г. 18:40
А вот за отзывы и начислять.
 


Ссылка на сообщение24 сентября 2017 г. 18:43
это само собой.
 


Ссылка на сообщение24 сентября 2017 г. 18:44
Верно:beer:
 


Ссылка на сообщение24 сентября 2017 г. 18:53
Кстати мудрая мысль!
 


Ссылка на сообщение24 сентября 2017 г. 19:05
Кто и с чего вообще взял, что вес оценки зависит от их числа у посетителя?!..


Ссылка на сообщение24 сентября 2017 г. 18:39
А вот это идея правильная. Смотрите статистику — лучшие это те кто поставил кучу оценок. Тупо просто идти по списку( любому) ставить оценки( читал не читал, не важно) и ты хоп миродержец!
Не надо начислять балы за оценку. И лишнии сразу отсеятся.
свернуть ветку
 


Ссылка на сообщение24 сентября 2017 г. 18:41
Я не говорил, что количество оценок имеет значение при расчёте веса.
 


Ссылка на сообщение24 сентября 2017 г. 18:45

цитата olpo70

olpo70
:beer::beer::beer:
 


Ссылка на сообщение24 сентября 2017 г. 19:04

цитата olpo70

Смотрите статистику — лучшие это те кто поставил кучу оценок.

С точки зрения доверия сайта к оценкам юзера — далеко не обязательно;) В расчете весов, по словам creator'a, участвует множество параметров.
 


Ссылка на сообщение24 сентября 2017 г. 20:16
Нет никакой связи между статусом (миротворец, философ, авторитет) и доверием к оценке.
Эта статья не о статусах и рейтингах пользователей, а о рейтингах произведений.
Если вам очень нужен статус «миротворец», приглашаю вас прочитать и выставить оценки поэтам Серебряного века, а также Шекспиру, Пушкину и так далее.
Я вот, например, круто поднялся на Омаре Хайяме, чего и вам желаю. :beer:
 


Ссылка на сообщение27 сентября 2017 г. 06:56
А что, за разных авторов разные баллы начисляются? Вот это поворот!o_O
 


Ссылка на сообщение25 сентября 2017 г. 00:28

цитата

Не надо начислять балы за оценку. И лишнии сразу отсеятся.

Не надо впадать в крайности.


Ссылка на сообщение24 сентября 2017 г. 19:20
Официальное деление фантлабовцев на пользователей первого и пользователей второго сорта ? Сегрегация получается =). (Но, возможно, поможет победить тех, кто ставит кучу «колов» «горячо любимому» автору, да). И начиная с какого количества оценок у произведения появляется средневзвешенная оценка, можно узнать — с 20, с 30?
свернуть ветку
 


Ссылка на сообщение24 сентября 2017 г. 19:36

цитата Melanchthon

Официальное деление фантлабовцев на пользователей первого и пользователей второго сорта ? Сегрегация получается =)

Та причина, по которой я не аплодирую решению, хотя и во многом согласен с ним... 8:-0

Несколько десяток оценок нужно, порядок вы угадали. Точное число знает лишь creator)
 


Ссылка на сообщение24 сентября 2017 г. 19:50
Это легко узнать — посмотреть, где появляется средневзвешенная оценка — с какого количества проголосовавших =). Ну или где средневзвешенная начинает отличаться от средней — всё очень просто =). Плюс, если сделать средневзвешенную оценку с 10 — 15, то это даёт безграничные возможности по манипуляциям по завышению оценок для переводчиков, издателей, редакторов и иже с ними — для продвижения свежих изданий и переводов (возможно, имхо — ведь их очень много среди фантлабовцев).
 


Ссылка на сообщение24 сентября 2017 г. 19:51

цитата Melanchthon

Это легко узнать — посмотреть, где появляется средневзвешенная оценка — с какого количества проголосовавших =)

Как-то лень идти и вручную выискивать:) Наверняка, кто-нибудь сделает это вскоре)))
 


Ссылка на сообщение24 сентября 2017 г. 19:42
Это не сегрегация. Это средневзвешенное на основе доверительной вероятности. Применяется повсеместно. Прошу не усложнять.


Ссылка на сообщение24 сентября 2017 г. 19:24

цитата creator

Да, баллы за отзывы прибавляют веса.

Средний балл за отзывы или просто количество баллов?
свернуть ветку
 


Ссылка на сообщение24 сентября 2017 г. 19:35
Ни то, ни другое. Сложнее.
Страницы: 1234567

⇑ Наверх