автор |
сообщение |
demihero
гранд-мастер
|
19 августа 2011 г. 22:02 [нажмите здесь чтобы увидеть текст поста]
|
Вот и завершился очередной (вставить, какой именно по счёту) конкурс...
Я, чтобы не плодить множество тем, решил завести одну на все будущие времена. Мне кажется, конкурс уже обрёл свою форму и в основных принципах останется неизменным. Однако о каких-то нюансах, не слишком удачных, или наоборот — интересных, но ещё не придуманных — вполне можно поговорить. Не могу обещать, что мы сделаем именно так, как хотите вы, но — мы точно выслушаем вас и обсудим все предложения.
Итак — алло, это приёмная оргкомитета *** фантЛабораторной работы. Вы хотите что-то сказать?..
|
|
|
|
Ginger-snap
авторитет
|
16 марта 2015 г. 23:30 [нажмите здесь чтобы увидеть текст поста]
|
цитата deepressure кому какое дело до айпей
Когда в Беларуси запретили ЖЖ, все мы узнали, что такое анонимайзер IP.
цитата deepressure я против сортировки заслуженных артистов и незаслуженных.
Разве есть что-то ненормальное в том, чтобы гордиться своими достижениями или уважать прошлых победителей? К тому же речь идёт всего лишь о том, что авторы с высоким рейтингом не будут пересекаться в рамках одной группы.
|
––– Я шел по черному небу, Рисуя мой путь пред собою, Широкую кисть окуная в Луну. |
|
|
mick_ekb
гранд-мастер
|
16 марта 2015 г. 23:33 [нажмите здесь чтобы увидеть текст поста]
|
Формула: Пусть пользователь А оценил N рассказов, nA — его средняя оценка, а nI — оценка I рассказа. Тогда для каждого рассказа I определяем величину kIA=(nI-nA)/nA — относительное отклонение от среднего (может быть отрицательным). Так мы нормализуем оценки. Пусть пользователь A всего оценил W% рассказов. Тогда для рассказа I итоговый балл будет = сумма_по_всем_пользователям_оценщикам(kIA*W/100)/ сумма_по_всем_пользователям_оценщикам(W/100).
|
|
|
Г у д в и н
философ
|
16 марта 2015 г. 23:50 [нажмите здесь чтобы увидеть текст поста]
|
цитата Blackadder многие всё равно читают по две-три группы, они могли бы это делать и в рамках одной группы
И сколько этих многих от общего числа участников?
цитата deepressure кому какое дело до айпей
Я говорю о тех, кто ставит оценки. Что-то такое смутно помню, что кого-то на этом словили... (на подтасовке с помощью друга)
|
––– Бёквё ё с лёгкёстьё мёжёт зёмёнёть всё ёстёльнёё жёлкёё глёснёё бёквё! |
|
|
Г у д в и н
философ
|
16 марта 2015 г. 23:52 [нажмите здесь чтобы увидеть текст поста]
|
цитата Ginger-snap все мы узнали, что такое анонимайзер IP
В моей стране процветает пиратство, я не знаю что такое анонимайзер
|
––– Бёквё ё с лёгкёстьё мёжёт зёмёнёть всё ёстёльнёё жёлкёё глёснёё бёквё! |
|
|
zebrex
философ
|
16 марта 2015 г. 23:58 [нажмите здесь чтобы увидеть текст поста]
|
цитата Asperis есть какие-нибудь чёткие критерии "маргинальности" оценок, или всё это на уровне интуитивных ощущений?
Есть математические критерии оценки подозрительных оценщиков, я уже упоминал об этом на прошлой лабе. Для этого, однако, необходимо чтобы оценщик оценил большую часть рассказов, желательно все. И ещё, чтобы кто-то неравнодушный (кому не лень) проводил такое исследование. Работа чертовски муторная.
|
|
|
planzzz
философ
|
17 марта 2015 г. 00:46 [нажмите здесь чтобы увидеть текст поста]
|
цитата Ginger-snap Формула:
И смысл такой формулы? Защититься от клакеров и маргиналов? Ну поставил он всем рассказам тройки даже не читая, а тому, кому нужно восьмерку, разбавил все это парой пятерок-шестерок слабым рассказам, чтоб не палиться. Набрал максимальный вес своих оценок и теперь влияет на нечестный исход еще сильнее. Только геморрой лишний. И народ без пол литра не разберется. По-моему, тут из мухи слона раздуваем с этими маргиналами-клакерами. Топ во втором туре решает в т.ч. и эту проблему. А чтобы не мучить юзеров обязательным чтением тридцати рассказов, разбиваем второй тур на группы.
|
––– "Он злой! Он дьявольский!! Он... лимонный!!!" |
|
|
mick_ekb
гранд-мастер
|
17 марта 2015 г. 14:18 [нажмите здесь чтобы увидеть текст поста]
|
цитата planzzz И смысл такой формулы?
Во-первых, я предлагал намного больше, чем формулу. Например, группы во втором туре в моем предложении тоже были Во-вторых, формула решает следующие проблемы: 1) Клакерам нужно оценить все рассказы. Если реально скрыть оценки, то клакер не будет знать, какие рассказы и как ему нужно оценивать (при сохранении нормальных дисперсий), а появление двух клакеров для продвижения разных рассказов вообще сделает клакерство бессмысленным в условиях дефицита информации. 2) Формула позволяет нивелировать влияние "доброты/злобы" Сейчас я могу всем рассказам наставить 1 и 2, так же могу наставить 6 и 7, а также 9 и 10. При этом я имею в виду одно и то же, но вклад вношу разный. 3) Еще я бы предложил любую оценку подкреплять отзывом хотя бы в 50 символов. Ну и конечно, я не предлагаю считать все вручную. Легко процессы автоматизировать.
|
|
|
planzzz
философ
|
17 марта 2015 г. 14:48 [нажмите здесь чтобы увидеть текст поста]
|
цитата mick_ekb Формула позволяет нивелировать влияние "доброты/злобы" Сейчас я могу всем рассказам наставить 1 и 2, так же могу наставить 6 и 7, а также 9 и 10. При этом я имею в виду одно и то же, но вклад вношу разный.
Это очень сложно для восприятия. Все-таки, конкурс не для выпускников мехмата, а для простых смертных. Нужен понятный механизм. Топы по группам — это понятно. Ваша формала слишком сложна.
цитата mick_ekb Клакерам нужно оценить все рассказы
Необходимость читать все рассказы — имхо жестоко по отношению к авторам.
цитата mick_ekb клакер не будет знать, какие рассказы и как ему нужно оценивать
Он может и не заморачиваться. Поставил всем низко, а протеже высоко. Для видимости разбавил парой средних оценок. Ну или тот, кто его привел сюда подскажет, что делать. Мне вот вообще кажется, что проблема с клакерами сильно преувеличена. В первом топе их влияние исключено (не будет никто строчить кучу рассказов с разных акков, чтобы продвигать себя). Во втором туре делаем тот же топ по группам — и проблема клакеров и маргиналов решена без сложных формул.
|
––– "Он злой! Он дьявольский!! Он... лимонный!!!" |
|
|
planzzz
философ
|
|
Ольгун4ик
миродержец
|
17 марта 2015 г. 15:21 [нажмите здесь чтобы увидеть текст поста]
|
planzzz Научите такое делать!!!
|
––– ... я буду хранить свою нежность любовь и надежду в заветной шкатулке которую с неба у бога возьму напрокат. Сергей Носов |
|
|
Roland23
магистр
|
17 марта 2015 г. 15:24 [нажмите здесь чтобы увидеть текст поста]
|
А вот мне, кстати, нравилась тема с отзывами и учётом оценок за них. Я не понимаю — почему убрали?
Когда я вижу, как мне кто-то молча троек-четвёрок натыкал, мне обидно. А когда одна четвёрка, но с подробным отзывом — пусть хоть три раза её тогда считают.
Ну и плюс 10-ки. Ну кто ставит десятки? Да почти никто не ставит, даже 9-ки редко и 8-ки. Но уж если ставят, то чаще всего пишут отзыв, чем им понравилось да почему. Выражают восторги, благодарности. То есть, автор нашёл своего читателя, а 10-ка этого читателя тонет в 5-ках унылых "ну хз, как-то непонятно" и "ну и о чём это было, это же не фантастика!" Например, напишешь нуар, или паропанк, или боевую космооперу с элементами киберпанк-хоррора, а читают её любители Никитина. Я понимаю, что конкурс должен определить лучшего вообще, а не лучшего в жанре, но понимаю также, что только истинные любители и ценители жанра могут понять и правильно оценить всю работу автора. Причём, рвут рассказы такие ценители частенько жёстче, чем непосвящённые.
Я к тому, что пишешь, например, рассказ про зомби, весь исстарался из себя, пропотел. И читаешь похвалу от людей вроде "Да, я много читал и смотрел про зомби, но автор взглянул с новой стороны, очень круто, плюс использовал необычные приёмы и замечательно нагнетал атмосферу" — и подробный разбор, где чего так, а где чего не так. В итоге "бал снижаю за надоевшую маленькую мёртвую девочку, ещё балл — за невнятную перестрелку в начале." А потом ещё один отзыв "Хоссподи, опять про зомби? Вам ещё не надоело, когда же мода-то пройдёт? Читал через силу, кое-как дополз до финала. Оценка что-то вроде между дно и полудно".
Ну и 8 от первого, 2 от второго дают унылую пятёрку в сумме. Что мы, собственно, и имеем.
|
––– Моя колонка: https://fantlab.ru/user64597/blog Мой паблик: https://vk.com/fantastshi Пссс! Сильные женские персонажи не нужн |
|
|
planzzz
философ
|
17 марта 2015 г. 15:25 [нажмите здесь чтобы увидеть текст поста]
|
Сам 20 минут назад не умел Заводите аккаунт гугл (если нет), заходите в гугл-документы, создаете "Форму". А там внутри уже интуитивно. Тут подробно.
|
––– "Он злой! Он дьявольский!! Он... лимонный!!!" |
|
|
planzzz
философ
|
17 марта 2015 г. 15:27 [нажмите здесь чтобы увидеть текст поста]
|
цитата Roland23 А вот мне, кстати, нравилась тема с отзывами и учётом оценок за них. Я не понимаю — почему убрали?
Ок, в следующем опросе спрошу.
|
––– "Он злой! Он дьявольский!! Он... лимонный!!!" |
|
|
Ольгун4ик
миродержец
|
17 марта 2015 г. 15:29 [нажмите здесь чтобы увидеть текст поста]
|
цитата planzzz А там внутри уже интуитивно. Спасибо. Наконец-то я поняла, зачем мне еще и гугловский аккаунт. а то он пристает все время, а у меня и так пара почт есть. куда еще..
цитата Roland23 А когда одна четвёрка, но с подробным отзывом — пусть хоть три раза её тогда считают.
Вот как раз отзывы это и сеть показатель того, что рассказ читали. Но тогда и отзывы надо проверять и читаь? замкнутый круг.
|
––– ... я буду хранить свою нежность любовь и надежду в заветной шкатулке которую с неба у бога возьму напрокат. Сергей Носов |
|
|
planzzz
философ
|
17 марта 2015 г. 15:33 [нажмите здесь чтобы увидеть текст поста]
|
цитата Ольгун4ик Наконец-то я поняла, зачем мне еще и гугловский аккаунт.
Он много зачем может пригодится. Если интересно — в личку стукнитесь, чтоб тут не флудить.
|
––– "Он злой! Он дьявольский!! Он... лимонный!!!" |
|
|
mick_ekb
гранд-мастер
|
17 марта 2015 г. 15:39 [нажмите здесь чтобы увидеть текст поста]
|
Если меня устраивает принцип: разбитие рассказов по группам, оценка групп по кругу, составление топов, но не устраивает организация (я бы вообще все сделал автоматически: формирование топов на отдельной странице, формирование групп и т.п. — без участия организаторов. Так, чтобы организаторы даже не знали, кто написал какой рассказ), то что мне отвечать?
|
|
|
planzzz
философ
|
17 марта 2015 г. 15:45 [нажмите здесь чтобы увидеть текст поста]
|
цитата mick_ekb то что мне отвечать?
Давайте, наверное, от общего к частному. Автоматически можно все это считать и присылать, но, мне кажется, пока не в этом суть.
|
––– "Он злой! Он дьявольский!! Он... лимонный!!!" |
|
|
bbg
миротворец
|
17 марта 2015 г. 15:50 [нажмите здесь чтобы увидеть текст поста]
|
Всё — абсолютно всё — упирается в фантлабовский движок. Он не конкурсный. Механизм оценивания произведений не предполагает контроля и обязательности. Значит, при проведения конкурса требуется очень много ручной работы.
|
––– Стой, кто живёт! Здесь жить запрещено. Это вас касается, и это не смешно. Тема не в тексте, но в голове у читателя. |
|
|
mick_ekb
гранд-мастер
|
17 марта 2015 г. 16:11 [нажмите здесь чтобы увидеть текст поста]
|
цитата bbg Всё — абсолютно всё — упирается в фантлабовский движок
Если адаптировать существующие компоненты под конкурсы — почти наверняка да, но разработка новой надстройки под конкурсы не должна быть так уж проблематична. Тут даже нагрузок не будет.
|
|
|
narsyy
миродержец
|
17 марта 2015 г. 16:12 [нажмите здесь чтобы увидеть текст поста]
|
Думаю, организаторам стоит вывесить голосовалку в шапку поста. Наконец-то хоть какие-то народные мнения появились.
|
––– Burning cities, Bruis'd by war, Praise not the Three, I am the Fourth |
|
|