Н класс точности: Класс точности станка | MoscowShpindel

Класс точности станка | MoscowShpindel

На каждом виде станков проводится испытание на соответствие норме точности. Результаты испытания записываются в акт, который вкладывается в паспорт станка. Каждый тип станков имеет ГОСТ, который регламентирует допустимые отклонения во всех проверках. Количество проверок для разных типов станков бывает различным. Некоторые модели настольных широкоуниверсальных фрезерных станков с ЧПУ имеют несколько десятков проверок. Все станки классифицируются по точности работы делением на классы:

1. На станках нормальной точности обрабатываются заготовки из проката, литья и поковок. Обозначаются буквой Н.
2. На станках повышенной точности (они выпускаются на базе станков с нормальной точностью, но их монтаж отличается особой тщательностью) можно обрабатывать заготовки такого же производства, но с более точным выполнением всех работ. Обозначаются буквой П.
3. На станках высокой точности (обозначаются буквой В) и особо высокой точности (буквой А) более высокая точность достигается за счет специальных конструктивных особенностей и высокой точности изготовления их узлов, а также благодаря специальным условиям эксплуатации.
4. На особо точных станках можно достичь наивысшей точности обработки очень ответственных деталей: делительных дисков, зубчатых колес, измерительного инструмента и других видов. Обозначаются буквой С.

Допустимые отклонения по проверкам соседних классов точности станков отличаются друг от друга в 1,6 раза. Вот таблица величин допускаемых отклонений при прямолинейном движении для станков, имеющих различный класс точности.

ГОСТ 8-82 для всех видов металлорежущих станков, в том числе и настольных с ЧПУ, устанавливает стандарт общих требований к испытаниям на точность. По нему точность всех станков этого типа определяется по трем группам показателей:

1. точность обработки испытываемых образцов;
2. геометрическая точность самих станков;
3. дополнительные показатели.

Этот стандарт устанавливает порядок присвоения группе станков одинакового класса точности, который должен обеспечивать одинаковую точность обработки идентичных по форме и размеру образцов изделий.

Классы точности станков

Класс точности станка

На каждом виде станков проводится испытание на соответствие норме точности. Результаты испытания записываются в акт, который вкладывается в паспорт станка. Каждый тип станков имеет ГОСТ, который регламентирует допустимые отклонения во всех проверках. Количество проверок для разных типов станков бывает различным. Некоторые модели настольных широкоуниверсальных фрезерных станков с ЧПУ имеют несколько десятков проверок. Все станки классифицируются по точности работы делением на классы:

1. На станках нормальной точности обрабатываются заготовки из проката, литья и поковок. Обозначаются буквой Н.
2. На станках повышенной точности (они выпускаются на базе станков с нормальной точностью, но их монтаж отличается особой тщательностью) можно обрабатывать заготовки такого же производства, но с более точным выполнением всех работ. Обозначаются буквой П.
3. На станках высокой точности (обозначаются буквой В) и особо высокой точности (буквой А) более высокая точность достигается за счет специальных конструктивных особенностей и высокой точности изготовления их узлов, а также благодаря специальным условиям эксплуатации.
4. На особо точных станках можно достичь наивысшей точности обработки очень ответственных деталей: делительных дисков, зубчатых колес, измерительного инструмента и других видов. Обозначаются буквой С.

Допустимые отклонения по проверкам соседних классов точности станков отличаются друг от друга в 1,6 раза. Вот таблица величин допускаемых отклонений при прямолинейном движении для станков, имеющих различный класс точности.

ГОСТ 8-82 для всех видов металлорежущих станков, в том числе и настольных с ЧПУ, устанавливает стандарт общих требований к испытаниям на точность. По нему точность всех станков этого типа определяется по трем группам показателей:

1. точность обработки испытываемых образцов;
2. геометрическая точность самих станков;
3. дополнительные показатели.

Этот стандарт устанавливает порядок присвоения группе станков одинакового класса точности, который должен обеспечивать одинаковую точность обработки идентичных по форме и размеру образцов изделий.

moscowshpindel.ru

2) Классификация станков по классу точности, универсальности, автоматизации, массе

1. Классификация станков по группам и типам

По виду обработки в СССР была принята следующая классификация, которая продолжает действовать в России. В соответствии с ней металлорежущие станки разделяются на следующие группы и типы:

Классификация станков по степени универсальности. Различают следующие станки — универсальные, которые используют для изготовления деталей широкой номенклатуры с большой разницей в размерах. Такие станки приспособлены для различных технологических операций:

специализированные, которые предназначены для изготовления однотипных деталей, например, корпусных деталей, ступенчатых валов сходных по форме, но различных по размеру;

специальные, которые предназначены для изготовления одной определенной детали или одной формы с небольшой разницей в размерах.

Классификация станков по степени точности. Станки разделены на 5 классов: Н — станки нормальной точности, П — станки повышенной точности, В — станки высокой точности, А станки особо высокой точности, С – сверхвысокая точность. В обозначение модели может входить буква, характеризующая точность станка: 16К20П — токарно-винторезный станок повышенной точ

ГОСТ 8-82 Станки металлорежущие. Общие требования к испытаниям на точность

ГОСУДАРСТВЕННЫЙ СТАНДАРТ СОЮЗА
ССР

СТАНКИ
МЕТАЛЛОРЕЖУЩИЕ

ОБЩИЕ ТРЕБОВАНИЯ К ИСПЫТАНИЯМ НА ТОЧНОСТЬ

ГОСТ 8-82

ГОСУДАРСТВЕННЫЙ КОМИТЕТ СССР
ПО КОНТРОЛЮ

КАЧЕСТВА ПРОДУКЦИИ И СТАНДАРТАМ

Москва

ГОСУДАРСТВЕННЫЙ
СТАНДАРТ СОЮЗА ССР

Дата введения
01.07.83

Несоблюдение стандарта
преследуется по закону

Настоящий стандарт
распространяется на металлорежущие станки, в том числе на станки с числовым
программным управлением, электрофизические и электрохимические, приспособления
к станкам, сборочные единицы, испытываемые отдельно от станков, изготовляемые
для нужд народного хозяйства и экспорта.

Стандарт устанавливает
основные понятия и принципы классификации станков по точности, общие требования
к испытаниям на точность и общие требования к методам проверки точности.

Требования настоящего стандарта являются обязательными,
кроме пп. 1.9,
2.4,
2.14,
2.15,
3.4,
3.8,
3.9.

(Измененная редакция, Изм. №
1, 3).

1.1. Точность металлорежущих
станков определяется тремя группами показателей:

показатели, характеризующие
точность обработки образцов-изделий;

показатели, характеризующие
геометрическую точность станков;

дополнительные показатели.

1.2. К показателям,
характеризующим точность обработки образцов-изделий, относятся:

точность геометрических форм
и расположения обработанных поверхностей образцов-изделий;

постоянство размеров партии
образцов-изделий;

шероховатость обработанных
поверхностей образцов-изделий.

1.3. К показателям,
характеризующим геометрическую точность станка, относятся:

точность баз для установки
заготовки и инструмента;

точность траекторий
перемещений рабочих органов станка, несущих заготовку и инструм

Класс точности — Карта знаний

• Класс точности — обобщённая характеристика средств измерений, определяемая пределами допускаемых основных и дополнительных погрешностей, а также рядом других свойств, влияющих на точность осуществляемых с их помощью измерений.

  Погрешность может нормироваться, в частности, по отношению к:

  результату измерения (по относительной погрешности)в этом случае, по ГОСТ 8.401-80 (взамен ГОСТ 13600-68), цифровое обозначение класса точности (в процентах) заключается в кружок.длине (верхнему пределу) шкалы прибора (по приведенной погрешности).Для стрелочных приборов принято указывать класс точности, записываемый в виде числа, например, 0,05 или 4,0. Это число дает максимально возможную погрешность прибора, выраженную в процентах от наибольшего значения величины, измеряемой в данном диапазоне работы прибора. Так, для вольтметра, работающего в диапазоне измерений 0—30 В, класс точности 1,0 определяет, что указанная погрешность при положении стрелки в любом месте шкалы не превышает 0,3 В.

  Относительная погрешность результата, полученного с помощью указанного вольтметра, зависит от значения измеряемого напряжения, становясь недопустимо высокой для малых напряжений. При измерении напряжения 0,5 В погрешность составит 60 %. Как следствие, такой прибор не годится для исследования процессов, в которых напряжение меняется на 0,1—0,5 В.

  Обычно цена наименьшего деления шкалы стрелочного прибора согласована с погрешностью самого прибора. Если класс точности используемого прибора неизвестен, за погрешность s прибора всегда принимают половину цены его наименьшего деления. Понятно, что при считывании показаний со шкалы нецелесообразно стараться определить доли деления, так как результат измерения от этого не станет точнее.

  Следует иметь в виду, что понятие класса точности встречается в различных областях техники. Так, в станкостроении имеется понятие класса точности металлорежущего станка, класса точности электроэрозионных станков (по ГОСТ 20551).

  Обозначения класса точности могут иметь вид заглавных букв латинского алфавита, римских цифр и арабских цифр с добавлением условных знаков. Если класс точности обозначается латинскими буквами, то класс точности определяется пределами абсолютной погрешности. Если класс точности обозначается арабскими цифрами без условных знаков, то класс точности определяется пределами приведённой погрешности и в качестве нормирующего значения используется наибольший по модулю из пределов измерений. Если класс точности обозначается арабскими цифрами с галочкой, то класс точности определяется пределами приведённой погрешности, но в качестве нормирующего значения используется длина шкалы. Если класс точности обозначается римскими цифрами, то класс точности определяется пределами относительной погрешности.

  Аппараты с классом точности 0,5 (0,2) проходят метрологические испытания с 5 % загрузки, а 0,5s (0,2s) уже с 1 % загрузки.

Источник: Википедия

Связанные понятия

Погрешность измерения — отклонение измеренного значения величины от её истинного (действительного) значения. Погрешность измерения является характеристикой точности измерения.

Параметр — это обобщенное название определенного физического, геометрического или иного свойства устройства (процесса). Это могут быть, например, размер, скорость, напряжение и т. д.

Градуиро́вка (нем. graduiren «градуировать» от лат. gradus «шаг, ступень, степень») средств измерений, иногда тари́рование — метрологическая операция, при помощи которой средство измерений (меру или измерительный прибор) снабжают шкалой или градуировочной таблицей (кривой). Отметки шкалы должны с требуемой точностью соответствовать значениям измеряемой величины, а таблица (кривая) с требуемой точностью отражать связь эффекта на выходе прибора с величиной, подводимой ко входу (например, зависимость…

Измери́тельный прибо́р — средство измерений, предназначенное для получения значений измеряемой физической величины в установленном диапазоне. Часто измерительным прибором называют средство измерений для выработки сигнала измерительной информации в форме, доступной для непосредственного восприятия оператора.

Измерение — совокупность действий для определения отношения одной (измеряемой) величины к другой однородной величине, принятой всеми участниками за единицу, хранящуюся в техническом средстве (средстве измерений).

Упоминания в литературе

Излучатели профилографов можно ориентировать как вверх, так и вниз. Задаваемая толщина слоев лимитируется необходимой точностью измерения (табл. 5). По классу точности датчика температуры данные профилографы относятся к ненормируемым, что оправдано, поскольку данный параметр выступает как вспомогательный. По классу точности датчика давления они относятся к высшему классу точности (табл. 1). Кроме интерфейса типа RS232 (RS232C) профилографы течений также имеют интерфейс типа RS422. Передача данных производится со скоростью 9600–115 400 бод.

Если на предприятии нет самопишущих вольтметров, записи напряжения производятся по лабораторным стрелочным приборам класса точности 0,5-1,5, подключаемым к шинам низкого напряжения непосредственно или через трансформаторы напряжения класса точности 0,5. На вводах высокого напряжения лабораторные вольтметры включаются во вторичную обмотку трансформаторов напряжения. При отсутствии самопишущих и лабораторных стрелочных вольтметров напряжение записывается по щитовым вольтметрам. Вольтметры, по которым составляются графики напряжения, должны быть исправны, и проверены госповерителем.

Связанные понятия (продолжение)

Мнимая точность, также ложная, кажущаяся, избыточная то́чность (англ. spurious accuracy) — ошибка мнения о точности данных, возникающая на основании представления данных в более точном виде, чем известно об их точности.

Компара́тор — это техническое средство, естественные или специально создаваемые среды, позволяющие сличать друг с другом меры однородных величин или показания измерительных приборов, а также сравнивать участки (точки) шкал измерений.

Шкала́ (лат. scala — лестница) — часть показывающего устройства средства измерений, представляющая собой упорядоченный ряд отметок вместе со связанной с ними нумерацией или техническая отметка на шкале измерительного прибора. Шкалы могут располагаться по окружности, дуге или прямой линии. Показания отсчитываются невооружённым глазом при расстояниях между делениями до 0,7 мм, при меньших — при помощи лупы или микроскопа, для долевой оценки делений применяют дополнительные шкалы — нониусы.

До́пуск — разность между наибольшим и наименьшим предельными значениями параметров (размеров, массовой доли, массы), задаётся на геометрические размеры деталей, механические, физические и химические свойства. Назначается (выбирается) исходя из технологической точности или требований к изделию (продукту). Любое значение параметра, оказывающееся в заданном интервале, является допустимым.

Измеритель уровня звука — измерительный прибор, применяемый в звукотехнике для определения уровня звукового сигнала. Звук измеряется в децибелах (дБ). Это логарифмические единицы, которые хорошо отражают характеристику слуха, поскольку слух человека ощущает только относительные изменения акустического давления.

Но́ниус (шкала́-но́ниус, шкала́ Но́ниуса, вернье́р) — вспомогательная шкала, устанавливаемая на различных измерительных приборах и инструментах, служащая для более точного определения количества долей делений основной шкалы.

Преобразова́ние едини́ц — перевод физической величины, выраженной в одной системе единиц, в другую систему, обычно через коэффициент пересчёта.

Номогра́мма (от др.-греч. νόμος — закон и γράμμα — письмо) — графическое представление функции от нескольких переменных, позволяющее с помощью простых геометрических операций (например, прикладывания линейки) исследовать функциональные зависимости без вычислений. Например, решать квадратное уравнение без применения формул.

Округление — замена числа на его приближённое значение (с определённой точностью), записанное с меньшим количеством значащих цифр. Модуль разности между заменяемым и заменяющим числом называется ошибкой округления.

Метод парных точек — метод обработки экспериментальных данных, созданный для оценивания значения углового коэффициента зависимости и определения его погрешности. Из экспериментальных точек на графике берутся те, которые находятся друг от друга примерно на одинаковом расстоянии (это расстояние должно быть максимально возможным).

Частотное распределение — метод статистического описания данных (измеренных значений, характерных значений). Математически распределение частот является функцией, которая в первую очередь определяет для каждого показателя идеальное значение, так как эта величина обычно уже измерена. Такое распределение можно представить в виде таблицы или графика, моделируя функциональные уравнения. В описательной статистике частота распределения имеет ряд математических функций, которые используются для выравнивания…

Светочувствительность цифровой фотокамеры — характеристика цифрового фотоаппарата, определяющая зависимость числовых параметров созданного им цифрового изображения от экспозиции, полученной светочувствительной матрицей. Светочувствительность цифровых фотоаппаратов принято выражать в единицах, эквивалентных светочувствительности ISO желатиносеребряных фотоэмульсий. Это позволяет пользоваться методами измерения экспозиции, свойственными классической плёночной фотографии.

Твёрдость по Шору обозначается в виде числового значения шкалы, к которому приписывается буква, указывающая тип шкалы с явным указанием названия метода измерения твердости или прибора. Например…

Твёрдость — свойство материала сопротивляться внедрению более твёрдого тела — индентора.

Предел обнаружения в химическом анализе — минимальное содержание определяемого вещества в пробе, сигнал от которого можно надёжно отличить от фона. Обычно предел обнаружения принимают равным утроенному значению стандартного отклонения шумового сигнала. Иными словами сигнал, равный или превышающий уровень сигнала, установленный для предела обнаружения, с вероятностью более 99 % означает, что он относится к искомому компоненту.

Измери́тельный мост (мост Уи́тстона, мо́стик Ви́тстона, англ. Wheatstone bridge) — электрическая схема или устройство для измерения электрического сопротивления. Предложен в 1833 году Самуэлем Хантером Кристи (англ. Samuel Hunter Christie) и в 1843 году усовершенствован Чарльзом Уитстоном (англ. Charles Wheatstone). Мост Уитстона относится к одинарным мостам в отличие от двойных мостов Томсона. Мост Уитстона — электрическое устройство, механическим аналогом которого являются аптекарские рычажные…

Т-критерий Вилкоксона — (также используются названия Т-критерий Уилкоксона, критерий Вилкоксона, критерий знаковых рангов Уилкоксона, критерий суммы рангов Уилкоксона) непараметрический статистический тест (критерий), используемый для проверки различий между двумя выборками парных или независимых измерений по уровню какого-либо количественного признака, измеренного в непрерывной или в порядковой шкале.. Впервые предложен Фрэнком Уилкоксоном. Другие названия — W-критерий Вилкоксона, критерий знаковых…

Подробнее: Критерий Уилкоксона

Винеровское оценивание — задача нахождения импульсной характеристики линейной стационарной системы, дающей на выходе оптимальную в смысле минимума математического ожидания средней квадратической ошибки оценку значений полезного сигнала, поступающего на вход в аддитивной смеси с шумом.

Наземный лазерный сканер (НЛС) — это съёмочная система, измеряющая с высокой скоростью (от нескольких тысяч до миллиона точек в секунду) расстояния от сканера до поверхности объекта и регистрирующая соответствующие направления (вертикальные и горизонтальные углы) с последующим формированием трёхмерного изображения (скана) в виде облака точек.

Подробнее: Наземное лазерное сканирование

Число Штреля (англ. Strehl ratio) — величина, характеризующая качество оптического изображения, впервые предложенная Карлом Штрелем и названная в честь него. Используется в ситуациях, когда оптическое разрешение ухудшается из-за аберраций в линзе или из-за искажений при прохождении через турбулентную атмосферу. Имеет значение от 0 до 1, при этом в гипотетической идеальной оптической системе число Штреля равно 1.

Экспозиционное число, экспозиционный канал (англ. Exposure Value, EV) — условное целое число, однозначно характеризующее экспозицию при фото- и киносъёмке. Одному и тому же экспозиционному числу могут соответствовать различные комбинации выдержки и диафрагмы (экспопары), но одно и то же количество света. В соответствии с законом взаимозаместимости эти сочетания по действию на светочувствительный материал равнозначны и соответствуют одному и тому же экспозиционному числу. При этом, экспозиционное…

Модель сейсмического воздействия «СА-482» — совокупность универсальных характеристик, предназначенных для расчётов сейсмостойкости наземных объектов, состоящая из обобщённых спектров коэффициента динамичности (СКД) и синтезированной акселерограммы (СА-482).

Анализ размерности (чаще говорят «соображения размерности» или «метрические соображения») — инструмент, используемый в физике, химии, технике и нескольких направлениях экономики для построения обоснованных гипотез о взаимосвязи различных параметров сложной системы. Неоднократно применялся физиками на интуитивном уровне не позже XIX века.

Доплеровский измеритель скорости и сноса (ДИСС) — бортовое радиолокационное устройство, основанное на использовании эффекта Доплера, предназначенное для автоматического непрерывного измерения и индикации составляющих вектора скорости, модуля путевой скорости, угла сноса и координат летательного аппарата, автономно или в комплексе с навигационным оборудованием.

Физи́ческая величина́ — измеряемое качество, признак или свойство материального объекта или явления, общее в качественном отношении для класса материальных объектов или процессов, явлений, но в количественном отношении индивидуальное для каждого из них. Физические величины имеют род, размер, единицу(измерения) и значение.

Коэффициент стоячей волны (КСВ, от англ. standing wave ratio, SWR) — отношение наибольшего значения амплитуды напряжённости электрического или магнитного поля стоячей волны в линии передачи к наименьшему.

Пара́метр (от др.-греч. παραμετρέω — «отмеривающий»; где παρά: «рядом», «второстепенный», «вспомогательный», «подчинённый»; и μέτρον: «измерение») — величина, значения которой служат для различения элементов некоторого множества между собой.. Параметр — величина, постоянная в пределах данного явления или задачи, но при переходе к другому явлению или задаче могущая изменить своё значение. Иногда параметрами называют также величины, очень медленно изменяющиеся по сравнению с другими величинами (переменными…

Складной нож (англ. jackknife) — один из методов ресэмплинга (линейное приближением статистического бутстрэпа), используемый для оценки погрешности в статистическом выводе. Способ заключается в следующем: для каждого элемента вычисляется среднее значение выборки без учёта данного элемента, а затем — среднее всех таких значений. Для выборки из N элементов оценка получается путём вычисления среднего значения остальных N-1 элементов.

Чувстви́тельность — способность объекта реагировать определённым образом на определённое малое воздействие, а также количественная характеристика этой способности.

Измери́тель нелине́йных искаже́ний, ИНИ, (измеритель коэффициента гармоник) — прибор для измерения коэффициента нелинейных искажений, КНИ (коэффициента гармоник) сигналов в радиотехнических и электронных устройствах.

Ме́тод Рокве́лла — метод неразрушающей проверки твёрдости материалов. Основан на измерении глубины проникновения твёрдого наконечника индентора в исследуемый материал при приложении одинаковой для каждой шкалы твердости нагрузкой, в зависимости от шкалы обычно 60, 100 и 150 кгс.

Многочасти́чный фильтр (МЧФ, англ. particle filter — «фильтр частиц», «частичный фильтр», «корпускулярный фильтр») — последовательный метод Монте-Карло — рекурсивный алгоритм для численного решения проблем оценивания (фильтрации, сглаживания), особенно для нелинейных и не-гауссовских случаев. Со времени описания в 1993 году Н. Гордоном, Д. Салмондом и А. Смитом используется в различных областях — навигации, робототехнике, компьютерном зрении.

Фи́льтр Ка́лмана — эффективный рекурсивный фильтр, оценивающий вектор состояния динамической системы, используя ряд неполных и зашумленных измерений. Назван в честь Рудольфа Калмана.

Задача характеризации элементов микросхем заключается в получении зависимостей функциональных параметров библиотечного элемента или блока от длительности фронтов сигналов на входе и от величины нагрузочных емкостей для заданных наборов этих величин. В коммерческих системах характеризации (SiliconSmart , Virtuoso Liberate Characterization Solution , Virtuoso Variety Statistical Characterization Solution , Virtuoso Liberate MX Memory Characterization Solution , Kronos Characterizer Plus ) такие зависимости…

Кориолисовы расходомеры — приборы, использующие эффект Кориолиса для измерения массового расхода жидкостей, газов. Принцип действия основан на изменениях фаз механических колебаний U-образных трубок, по которым движется среда. Сдвиг фаз пропорционален величине массового расхода. Поток с определенной массой, движущийся через входные ветви расходомерных трубок, создает кориолисову силу, которая сопротивляется колебаниям расходомерных трубок. Наглядно это сопротивление чувствуется, когда гибкий шланг…

Подробнее: Кориолисов расходомер

Виды измерений — области измерений, выделяемые по одному из классифицирующих признаков. Рассматриваются в метрологии.

Канде́ла (от лат. candela — свеча; русское обозначение: кд; международное: cd) — единица силы света, одна из семи основных единиц Международной системы единиц (СИ). Определена как «сила света в заданном направлении источника, испускающего монохроматическое излучение частотой 540⋅1012 Гц, энергетическая сила света которого в этом направлении составляет 1/683 Вт/ср». Принята в качестве единицы СИ в 1979 году XVI Генеральной конференцией по мерам и весам.

Весы́ — устройство или прибор для определения массы тел (взвешивания) по действующему на них весу, приближённо считая его равным силе тяжести. Вес тела может быть определён как через сравнение с весом эталонной массы (как в рычажных весах), так и через измерение этой силы через другие физические величины.

Амплиту́дно-часто́тная характери́стика (АЧХ) — зависимость амплитуды выходного сигнала некоторой системы от частоты её входного гармонического сигнала. Иногда эту характеристику называют «частотным откликом системы» (frequency response).

Штрихова́я ме́ра длины́ — мера, представляющая одно или несколько значений длины, определённых кратчайшим расстоянием между центрами двух штрихов шкалы меры. Штриховые меры длины применяются как эталонные меры для передачи размера единицы длины мерам меньшей точности, для калибровки средств измерений длины и линейных измерительных преобразователей, как рабочие меры для регулировки средств измерений длины и станков, для прямых измерений длины и линейных перемещений в станках и приборах.

Логарифмический масштаб (шкала) — шкала, длина отрезка которой пропорциональна логарифму отношения величин, отмеченных на концах этого отрезка, в то время как на шкале в линейном масштабе длина отрезка пропорциональна разности величин на его концах.

Установка для поверки расходомеров представляет собой достаточно сложное техническое устройство, обеспечивающее воспроизведение потока жидкости с расходом от 10 — 20 до 600000 литров в час (0,01 — 600 м³/ч) и измерение объема (массы) эталонными расходомерами или весовым устройством с необходимой для поверки точностью. Установка относится к средствам измерения, для которых установлена своя система сертификации (утверждение типа и внесение в Государственный реестр) и подтверждение пригодности для использования…

Пропорционально-интегрально-дифференцирующий (ПИД) регулятор — устройство в управляющем контуре с обратной связью. Используется в системах автоматического управления для формирования управляющего сигнала с целью получения необходимых точности и качества переходного процесса. ПИД-регулятор формирует управляющий сигнал, являющийся суммой трёх слагаемых, первое из которых пропорционально разности входного сигнала и сигнала обратной связи (сигнал рассогласования), второе — интеграл сигнала рассогласования…

Подробнее: ПИД-регулятор

Точность, Точность, Отзыв или F1? | Ку Пинг Шунг

Какие показатели выбрать?

Часто, когда я разговариваю с организациями, которые стремятся внедрить науку о данных в свои процессы, они часто задают вопрос: «Как получить наиболее точную модель?». И я спросил далее: «Какую бизнес-задачу вы пытаетесь решить с помощью этой модели?» и я получу озадаченный взгляд, потому что вопрос, который я задал, на самом деле не отвечает на их вопрос. Затем мне нужно будет объяснить, почему я задал этот вопрос, прежде чем мы начнем исследовать, является ли точность общей метрикой модели, из которой мы выберем нашу «лучшую» модель.

Итак, я подумал, что объясню в этом сообщении в блоге, что точность не обязательно должна быть единственной метрикой модели, которую преследуют ученые, а также включать простое объяснение других метрик.

Во-первых, давайте посмотрим на следующую матрицу путаницы. Какая точность у модели?

Очень легко, вы заметите, что точность для этой модели очень очень высока, 99,9% !! Вау! Вы сорвали джекпот и Святой Грааль (* кричите и бегайте по комнате, несколько раз взмахнув кулаком *)!

Но….(ну, вы знаете, что все идет правильно?) Что, если бы я упомянул, что положительный момент здесь — это тот, кто болен и несет вирус, который может очень быстро распространяться? Или позитив здесь представляет собой дело о мошенничестве? Или положительный момент здесь представляет террориста, который, согласно модели, не является террористическим? Ну вы поняли. Стоимость ошибочно классифицированного фактического положительного (или ложноотрицательного) очень высока в этих трех обстоятельствах, которые я назвал.

Хорошо, теперь вы поняли, что точность не является основным показателем модели, который нужно использовать при выборе лучшей модели… что теперь?

Позвольте мне представить две новые метрики (если вы не слышали об этом, а если слышите, возможно, просто пошутите меня немного и продолжите читать?: D)

Итак, если вы посмотрите Википедию, вы увидите, что формула для вычисления точности и отзыва выглядит следующим образом:

Позвольте мне поместить его здесь для дальнейшего объяснения.

Позвольте мне вставить сюда матрицу путаницы и ее части.

Precision

Отлично! Теперь давайте сначала посмотрим на точность.

Что вы заметили в знаменателе? Знаменатель на самом деле — это общее прогнозируемое положительное значение! Таким образом, формула принимает вид

Истинно Положительный + Ложно Положительный = Всего Прогнозируемое Положительное

Сразу видно, что Точность говорит о том, насколько точна ваша модель из тех, которые были предсказаны положительно, сколько из них действительно положительно.

Точность — хороший способ определить, когда стоимость ложного срабатывания высока. Например, обнаружение спама в электронной почте. При обнаружении спама в электронной почте ложное срабатывание означает, что электронное письмо, не являющееся спамом (фактическое отрицание), было идентифицировано как спам (прогнозируемый спам). Пользователь электронной почты может потерять важные электронные письма, если точность модели обнаружения спама невысока.

Отзыв

Итак, давайте применим ту же логику для отзыва. Напомним, как рассчитывается отзыв.

Истинно положительный + ложно отрицательный = Фактический положительный

Вот и все! Таким образом, функция Recall фактически вычисляет, сколько фактических положительных моментов захватывает наша модель, отмечая ее как положительные (истинно положительные). Применяя то же понимание, мы знаем, что Recall будет метрикой модели, которую мы используем, чтобы выбрать нашу лучшую модель, когда существует высокая стоимость, связанная с False Negative.

Например, при обнаружении мошенничества или выявлении больных. Если мошенническая транзакция (Фактический положительный результат) прогнозируется как не мошенническая (Прогнозируемая отрицательная), последствия могут быть очень тяжелыми для банка.

Аналогично при обнаружении больных. Если больной пациент (Фактический положительный результат) проходит тест и прогнозируется как здоровый (Прогнозируемый отрицательный). Стоимость ложноотрицательного результата будет чрезвычайно высока, если болезнь заразна.

Теперь, если вы читаете много другой литературы по Precision and Recall, вы не сможете избежать другой меры, F1, которая является функцией Precision and Recall. Глядя на Википедию, формула выглядит следующим образом:

F1 Score необходим, когда вы хотите найти баланс между точностью и отзывом.Верно … так в чем же тогда разница между счетом F1 и точностью? Ранее мы видели, что точности может в значительной степени способствовать большое количество истинно отрицательных результатов, на которые в большинстве деловых ситуаций мы не обращаем особого внимания, тогда как ложноотрицательные и ложноположительные обычно имеют коммерческие издержки (материальные и нематериальные), поэтому оценка F1 может быть Лучшая мера для использования, если нам нужно найти баланс между точностью и отзывом, И существует неравномерное распределение классов (большое количество фактических отрицательных значений).

Я надеюсь, что объяснение поможет тем, кто только начинает заниматься наукой о данных и работает над проблемами классификации, что точность не всегда будет показателем для выбора лучшей модели.

Примечание: Рассмотрите возможность подписки на мой информационный бюллетень или посетите мой веб-сайт, чтобы узнать последние новости.

Я желаю всем читателям ВЕСЕЛОГО путешествия по науке о данных.

.

python — Как вывести точность по классам в Керасе？

Переполнение стека

1. Около

2. Продукты

3. Для команд

1. Переполнение стека
   Общественные вопросы и ответы

2. Переполнение стека для команд
   Где разработчики и технологи делятся частными знаниями с коллегами

3. Вакансии
   Программирование и связанные с ним технические возможности карьерного роста

4. Талант
   Нанимайте технических специалистов и создавайте свой бренд работодателя

5. Реклама
   Обратитесь к разработчикам и технологам со всего мира

6. О компании

.

Показатели эффективности для задач нескольких классов

Для задач классификации эффективность классификатора обычно определяется в соответствии с матрицей неточности, связанной с классификатором. На основе элементов матрицы можно вычислить чувствительность (отзыв), специфичность и точность. Для одного порога эти величины приводят к сбалансированной точности (чувствительность и специфичность) или к шкале F1 (отзывчивость и точность). Для оценки оценочного классификатора при нескольких пороговых значениях эти величины можно использовать для определения площади под кривой ROC (AUC) или площади под кривой точности-отзыва (AUCPR).

Все эти показатели эффективности легко доступны для задач двоичной классификации. Какая мера подходит, зависит от типа классификатора. Жесткие классификаторы не оцениваются, потому что они производят только результат \ (g (x) \ in \ {1, 2, \ ldots, K \} \). Мягкие классификаторы, с другой стороны, оценивают классификаторы, которые производят величины, к которым можно применить отсечение, чтобы найти \ (g (x) \). Для классификаторов без оценки я предлагаю две версии точности классификатора, а также микро- и макро-средние оценки F1.Для оценки классификаторов я описываю подход «один против всех» для построения кривой зависимости точности от отзыва и обобщение AUC для нескольких классов.

Данные классификатора без оценки

Чтобы продемонстрировать показатели производительности для классификаторов без оценки в настройке нескольких классов, давайте рассмотрим задачу классификации с \ (N = 100 \) наблюдениями и пятью классами с \ (G = \ {1, \ ldots, 5 \ } \):

  ссылочные метки <- c (rep («A», 45), rep («B», 10), rep («C», 15), rep («D», 25), rep («E») , 5))
прогнозы <- c (rep ("A", 35), rep ("E", 5), rep ("D", 5),
                 rep («B», 9), rep («D», 1),
                 rep («C», 7), rep («B», 5), rep («C», 3),
                 rep («D», 23), rep («C», 2),
                 rep («E», 1), rep («A», 2), rep («B», 2))
df <- данные.{| G |} w_i \ sum_ {x: g (x) = k} I \ left (g (x) = \ hat {g} (x) \ right) \,. \] 

 
 Чтобы взвесить все классы одинаково, мы можем установить \ (w_k = \ frac {1} {| G |} \ ,, \ forall k \ in \ {1, \ ldots, G \} \). Обратите внимание, что когда используется что-либо, кроме равномерных весов, трудно найти рациональный аргумент для определенной комбинации весов. 

 
 Точность расчетов и точность взвешивания 
 
 Точность вычислить очень просто: 
 
  calculate.accuracy <- функция (прогнозы, исх.label) {
    return (длина (которая (прогнозы == метки ссылки)) / длина (метки ссылки))
}
calculate.w.accuracy <- функция (прогнозы, метки, веса) {
    lvls <- уровни (см. ярлыки)
    if (длина (веса)! = длина (lvls)) {
        stop («Количество весов должно соответствовать количеству классов.»)
    }
    if (сумма (веса)! = 1) {
        стоп («Вес не равен 1»)
    }
    accs <- lapply (lvls, function (x) {
        idx <- который (ref.labels == x)
        return (calculate.accuracy (прогнозы [idx], ref.ярлыки [idx]))
    })
    acc <- среднее (unlist (accs))
    возврат (соотв.)
}
acc <- calculate.accuracy (df $ Prediction, df $ Reference)
print (paste0 ("Точность:", round (acc, 2)))  
  ## [1] "Точность: 0,78"  
  веса <- rep (1 / длина (уровни (df $ Reference)), длина (уровни (df $ Reference)))
w.acc <- calculate.w.accuracy (df $ Prediction, df $ Reference, веса)
print (paste0 ("Взвешенная точность:", round (w.acc, 2)))  
  ## [1] «Взвешенная точность: 0.69 " 
 Обратите внимание, что взвешенная точность с однородными весами ниже (0,69), чем общая точность (0,78), поскольку она дает равный вклад в прогностическую эффективность для пяти классов, независимо от количества их наблюдений.
 Микро- и макро-средние оценки F1 
 Микро- и макро-средние представляют собой два способа интерпретации матриц неточностей в мультиклассовых настройках. Здесь нам нужно вычислить матрицу путаницы для каждого класса \ (g_i \ in G = \ {1, \ ldots, K \} \), такого, что \ (i \) -я матрица путаницы учитывает класс \ (g_i \) как положительный класс и все другие классы \ (g_j \) с \ (j \ neq i \) как отрицательный класс.Поскольку каждая матрица путаницы объединяет все наблюдения, помеченные классом, отличным от \ (g_i \) как отрицательный, этот подход приводит к увеличению числа истинных отрицаний, особенно если классов много.
 Чтобы проиллюстрировать, почему увеличение истинных негативов проблематично, представьте, что существует 10 классов по 10 наблюдений в каждом. Тогда матрица неточностей для одного из классов может иметь следующую структуру:
 Класс 1
 8
 10
 Другой класс
 2
 80
 На основе этой матрицы специфичность будет \ (\ frac {80} {80 + 10} = 88.9 \% \), хотя класс 1 был правильно предсказан только в 8 из 18 случаев (точность 44,4%). Таким образом, поскольку преобладает отрицательный класс, специфичность становится завышенной. Таким образом, средние микро- и макроуровни определены только для оценки F1, а не для сбалансированной точности, которая основана на истинно отрицательном коэффициенте.
 Далее мы будем использовать \ (TP_i \), \ (FP_i \) и \ (FN_i \), чтобы соответственно указать истинное значение.
 положительные, ложные срабатывания и ложноотрицательные результаты в матрице путаницы, связанной с \ (i \) -м классом.{| G |} TP_i + FN_i}
 \ end {выровнять *}
 \]
 Микро-усредненная точность, \ (P _ {\ rm {micro}} \), и напоминание, \ (R _ {\ rm {micro}} \), приводят к микро-баллу F1:
 \ [F1 _ {\ rm {micro}} = 2 \ frac {P _ {\ rm {micro}} \ cdot R _ {\ rm {micro}}} {P _ {\ rm {micro}} + R _ {\ rm { micro}}} \]
 Если классификатор получает большой \ (F1 _ {\ rm {micro}} \), это означает, что в целом он работает хорошо. Микросреднее значение не зависит от прогнозируемых показателей для отдельных классов. Как следствие, микро-среднее значение может особенно вводить в заблуждение, когда распределение по классам несбалансировано.{| G |} R_i} {| G |}
 \ end {выровнять *}
 \]
 Макро-усредненная точность и отзыв дают макро-оценку F1:
 \ [F1 _ {\ rm {macro}} = 2 \ frac {P _ {\ rm {macro}} \ cdot R _ {\ rm {macro}}} {P _ {\ rm {macro}} + R _ {\ rm { макрос}}} \]
 Если \ (F1 _ {\ rm {macro}} \) имеет большое значение, это означает, что классификатор хорошо работает для каждого отдельного класса. Следовательно, макросреднее значение больше подходит для данных с несбалансированным распределением классов.
 Вычисление средних микро- и макроуровней в 
 рэндов
 Здесь я демонстрирую, как средние микро- и макроуровни F1-score могут быть вычислены в R.
 Матрицы путаницы "один против всех" 
 Первый шаг к нахождению микро- и макро-средних значений включает вычисление матриц неточности «один против всех» для каждого класса. Мы будем использовать функцию  confusionMatrix  из пакета  caret , чтобы определить матрицы путаницы:
  библиотека (каретка) # для функции confusionMatrix
cm <- vector ("список", длина (уровни (df $ Reference)))
for (i in seq_along (cm)) {
    Positive.class <- уровни (df $ Reference) [i]
    # в i-й итерации использовать i-й класс как положительный класс
    cm [[i]] <- confusionMatrix (df $ Prediction, df $ Reference,
                               положительный = положительный.учебный класс)
}  
 Теперь, когда все матрицы путаницы для конкретных классов хранятся в  см , мы можем суммировать производительность по всем классам:
  метрики <- c («Точность», «Отзыв»)
print (cm [[1]] $ byClass [, metrics])  
  ## Точность отзыва
## Класс: A 0,9459459 0,7777778
## Класс: B 0,5625000 0,
00
## Класс: C 0,8333333 0,6666667
## Класс: D 0,7931034 0,9200000
## Класс: E 0.1666667 0.2000000  
 Эти данные показывают, что в целом производительность довольно высока.Однако наш гипотетический классификатор работает хуже для отдельных классов, таких как класс B (точность) и класс E (как точность, так и отзыв). Теперь мы исследуем, как прогнозы модели влияют на микро- и макро-средние оценки F1.
 Общая производительность с микро-усреднением F1
 Чтобы определить \ (F1 _ {\ rm {micro}} \), нам нужно определить \ (TP_i \), \ (FP_i \) и \ (FN_i \) \ (\ forall i \ in \ {1, \ ldots, K \} \). Это делается функцией  get.conf.stats .Затем функция  get.micro.f1  просто агрегирует счетчики и вычисляет оценку F1, как определено выше.
  get.conf.stats <- function (cm) {
    out <- вектор («список», длина (см))
    for (i in seq_along (cm)) {
        x <- cm [[i]]
        tp <- x $ table [x $ положительный, x $ положительный]
        fp <- sum (x $ table [x $ положительный, colnames (x $ table)! = x $ положительный])
        fn <- sum (x $ table [colnames (x $ table)! = x $ positie, x $ positive])
        # TN недостаточно четко определены для подхода "один против всех"
        elem <- c (tp = tp, fp = fp, fn = fn)
        out [[i]] <- elem
    }
    df <- делать.вызов (rbind, out)
    rownames (df) <- unlist (lapply (cm, function (x) x $ positive))
    возврат (as.data.frame (df))
}
get.micro.f1 <- function (cm) {
    cm.summary <- get.conf.stats (см)
    tp <- сумма (cm.summary $ tp)
    fn <- сумма (cm.summary $ fn)
    fp <- sum (cm.summary $ fp)
    пр <- tp / (tp + fp)
    re <- tp / (tp + fn)
    f1 <- 2 * ((пр * ре) / (пр + ре))
    возврат (f1)
}
micro.f1 <- get.micro.f1 (см)
print (paste0 ("Micro F1 is:", round (micro.f1, 2)))  
  ## [1] «Micro F1: 0.88 " 
 При значении  0,88  \ (F_1 {\ rm {micro}} \) довольно велико, что указывает на хорошую общую производительность. Как и ожидалось, микро-усредненная F1 не учитывала, что классификатор имеет низкую производительность для класса E, потому что только 5 измерений в этом классе влияют на \ (F_1 {\ rm {micro}} \).
 Характеристики для конкретного класса с макро-усреднением F1
 Так как каждая матрица неточностей в  см  уже хранит эффективность прогнозирования один-против-всех, нам просто нужно извлечь эти значения из одной из матриц и вычислить \ (F1 _ {\ rm {macro}} \), как определено выше:
  получить.macro.f1 <- function (cm) {
    c <- cm [[1]] $ byClass # достаточно одной матрицы
    re <- sum (c [, "Отзыв"]) / nrow (c)
    pr <- sum (c [, "Точность"]) / nrow (c)
    f1 <- 2 * ((re * pr) / (re + pr))
    возврат (f1)
}
macro.f1 <- get.macro.f1 (см)
print (paste0 ("Macro F1 is:", round (macro.f1, 2)))  
  ## [1] "Макрос F1: 0,68"  
 При значении  0,68 , \ (F _ {\ rm {macro}} \) явно меньше микро-усредненного F1 ( 0.88 ). Поскольку классификатор для класса E работает плохо (точность: 16,7%, отзыв: 20%) и вносит вклад \ (\ frac {1} {5} \) в \ (F _ {\ rm {macro}} \), он ниже чем \ (F1 _ {\ rm {micro}} \).
 Обратите внимание, что для текущего набора данных микро- и макро-усредненные F1 имеют такое же отношение друг к другу, как общая (0,78) и взвешенная точность (0,69).
 Кривые прецизионного отзыва и AUC
 Площадь под кривой ROC (AUC) - полезный инструмент для оценки качества разделения классов для мягких классификаторов.В мультиклассовой настройке мы можем визуализировать производительность мультиклассовых моделей в соответствии с их кривыми точности-отзыва «один против всех». AUC также можно обобщить для настройки нескольких классов.
 Кривые прецизионного отзыва одного против всех
 Как обсуждалось в этой ветке Stack Exchange, мы можем визуализировать производительность мультиклассовой модели, построив график производительности двоичных классификаторов \ (K \).
 Этот подход основан на подборе классификаторов \ (K \) один против всех, где на \ (i \) - й итерации группа \ (g_i \) устанавливается как положительный класс, а все классы \ (g_j \ ) с \ (j \ neq i \) считаются отрицательным классом.Обратите внимание, что этот метод не следует использовать для построения обычных кривых ROC (TPR против FPR), поскольку FPR будет недооценен из-за большого количества отрицательных примеров, полученных в результате дихотимизации. Вместо этого следует учитывать точность и отзыв:
  библиотека (ROCR) # для кривых ROC
library (klaR) # для NaiveBayes
data (iris) # Переменная видов дает классы
response <- iris $ Виды
set.seed (12345)
train.idx <- образец (seq_len (nrow (радужная оболочка)), 0.6 * nrow (радужная оболочка))
iris.train <- iris [поезд.idx,]
iris.test <- iris [-train.idx,]
график (x = NA, y = NA, xlim = c (0,1), ylim = c (0,1),
     ylab = "Точность",
     xlab = "Отзыв",
     bty = 'п')
цвета <- c («красный», «синий», «зеленый»)
aucs <- rep (NA, length (levels (response))) # сохранить AUC
for (i in seq_along (levels (response))) {
  cur.class <- уровни (ответ) [i]
  binary.labels <- as.factor (iris.train $ Species == cur.class)
  # преобразовать в двоичную форму классификатор, который вы используете (NB произвольно)
  модель <- NaiveBayes (binary.labels ~., data = iris.train [, -5])
  пред <- предсказать (модель, радужная оболочка.test [, - 5], type = 'raw')
  score <- pred $ posterior [, 'TRUE'] # posterior для положительного класса
  test.labels <- iris.test $ Species == cur.class
  pred <- прогноз (оценка, test.labels)
  perf <- производительность (пред., "пред", "прил.")
  roc.x <- исключить из списка ([email protected])
  roc.y <- исключить из списка ([email protected])
  линии (roc.y ~ roc.x, col = colors [i], lwd = 2)
  # store AUC
  auc <- производительность (пред., "auc")
  auc <- unlist (slot (auc, "y.values"))
  aucs [i] <- auc
}
линии (x = c (0,1), c (0,1))
легенда ("снизу справа", уровни (ответ), lty = 1,
    bty = "n", col = colors)  
  print (paste0 («Среднее значение AUC под кривой точности-отзыва:», круглое (среднее (aucs), 2)))  
  ## [1] «Средняя AUC под кривой точного отзыва составляет: 0.99 " 
 График показывает, что  setosa  можно предсказать очень хорошо, а  versicolor  и  virginica  предсказать сложнее. Среднее значение AUC  0,99  указывает на то, что модель очень хорошо разделяет три класса.
 Обобщения AUC для мультиклассовой установки
 Существует несколько обобщений AUC для настройки нескольких классов. Здесь я сосредоточусь на обобщении, сделанном Хэнд и Тиллем в 2001 году.
 Обобщенная AUC для одного значения решения
 Функция  multiclass.roc  из пакета  pROC  может использоваться для определения AUC, когда одна величина позволяет разделить классы. В отличие от документации функции, функция, похоже, не реализует подход от Hand и Till.
 потому что предсказания класса не учитываются. Однако документация предупреждает, что эта функция находится на стадии бета-тестирования  .В настоящее время я жду ответа от авторов пакета о функции  multiclass.roc , чтобы проверить правильность моего понимания.
  библиотека (pROC)
данные (aSAH)
auc <- multiclass.roc (aSAH $ gos6, aSAH $ s100b)
печать (auc $ auc)  
  ## Мультиклассовая площадь под кривой: 0,654  
 Вычисленная AUC функции - это просто средняя AUC из всех попарных сравнений классов.
 Обобщение AUC вручную и до
 Ниже описывается обобщение AUC из Hand and Till, 2001.
 Предположим, что классы обозначены как \ (0, 1, 2, \ ldots, c - 1 \) с \ (c> 2 \). Чтобы обобщить AUC, мы рассматриваем пары классов \ ((i, j) \). Хороший классификатор должен назначать высокую вероятность правильному классу, а низкую вероятность - другим классам. Это можно формализовать следующим образом.
 Пусть \ (\ hat {A} (i | j) \) указывает вероятность того, что случайно выбранный член класса \ (j \) имеет меньшую вероятность для класса \ (i \), чем случайно выбранный член класса \ (я\).Пусть \ (\ hat {A} (j | i) \) определено соответственно. Мы можем вычислить \ (\ hat {A} (i | j) \), используя следующие определения:
 \ (\ hat {p} (x_l) \) - оценка вероятности того, что наблюдение \ (x_l \) происходит из класса \ (i \).
 Для всех наблюдений класса \ (i \) \ (x_l \) пусть \ (f_l = \ hat {p} (x_l) \) будет оцененной вероятностью принадлежности к классу \ (i \).
 Для всех наблюдений класса \ (j \) \ (x_l \) пусть \ (g_l = \ hat {p} (x_l) \) будет оцененной вероятностью принадлежности к классу \ (i \).{n_i} l = S_i - n_i (n_i +1) / 2 \]
, где \ (S_i \) - сумма рангов из образцов класса \ (i \). Поскольку существует \ (n_0 n_1 \) пар точек из двух классов, вероятность того, что случайно выбранная точка класса \ (j \) имеет более низкую оценочную вероятность принадлежности к классу \ (i \), чем случайно выбранный класс \ ( i \) балл:
 \ [\ hat {A} (i | j) = \ frac {S_i - n_i (n_i +1) / 2} {n_i n_j} \ ,. \]
 Поскольку мы не можем отличить \ (\ hat {A} (i | j) \) от \ (\ hat {A} (j | i) \), мы определяем
 \ [\ hat {A} (i, j) = \ frac {1} {2} \ left (\ hat {A} (i | j) + \ hat {A} (j | i) \ right) \ ]
 как мера разделимости классов \ (i \) и \ (j \).Общий AUC мультиклассового классификатора затем определяется средним значением для \ (\ hat {A} (i, j) \):
 \ [M = \ frac {2} {c (c-1)} \ sum_ {i 
 Здесь множитель равен \ (\ frac {2} {c (c-1)} \), потому что существуют \ (c (c-1) \) способы построения различных пар с учетом различного порядка. Поскольку вычисляется только половина этих пар, счетчик имеет значение 2.
 Пример вычисления условных вероятностей
 Рассмотрите следующую диаграмму в качестве примера того, как вычисляются условные вероятности.
 Реализация обобщения AUC от Hand and Till
 Похоже, что не существует общедоступной реализации мультиклассового обобщения AUC из-за Hand and Till (2001). Таким образом, я написал реализацию. Функция  compute.A.conditional  определяет \ (\ hat {A} (i | j) \). Функция  multiclass.auc  вычисляет \ (\ hat {A} (i, j) \) для всех пар классов с \ (i  pair_AUCs  указывает значения для \ (A (i, j) \).
  compute.A.conditional <- function (pred.matrix, i, j, ref.outcome) {
    # вычисляет A (i | j), вероятность того, что случайным образом
    # выбранный член класса j имеет более низкую оценочную вероятность (или оценку)
    # принадлежность к классу i, чем случайно выбранный член класса i

    # выбрать предсказания учеников
    i.idx <- который (ref.outcome == i)
    j.idx <- который (ref.outcome == j)
    pred.i <- pred.matrix [i.idx, i] # p (G = i) присвоено наблюдениям класса i
    pred.j <- pred.matrix [j.idx, i] # p (G = i), присвоенный наблюдениям класса j
    all.preds <- c (пред.i, пред.j)
    классы <- c (rep (i, length (pred.i)), rep (j, length (pred.j)))
    o <- заказ (all.preds)
    classes.o <- классы [o]
    # Si: сумма рангов по наблюдениям класса i
    Si <- сумма (которая (classes.o == i))
    ni <- длина (i.idx)
    nj <- длина (j.idx)
    # вычислить A (i | j)
    А <- (Si - ((ni * (ni + 1)) / 2)) / (ni * nj)
    возврат (A)
}

multiclass.auc <- функция (предварительная матрица, исходный результат) {
    метки <- имена столбцов (пред. матрица)
    A.ij.cond <- utils :: combn (labels, 2, function (x, pred.matrix, ref.outcome) {x
        я <- х [1]
        j <- x [2]
        A.ij <- compute.A.conditional (предварительная матрица, i, j, исходный результат)
        A.ji <- compute.A.conditional (пред. Матрица, j, i, справочный результат)
        пара <- paste0 (i, "/", j)
        возврат (c (A.ij, A.ji))
    }, simpleify = FALSE, pred.matrix = pred.matrix, ref.outcome = ref.outcome)
    c <- длина (метки)
    пары <- unlist (lapply (combn (labels, 2, simpleify = FALSE), function (x) paste (x, collapse = "/")))
    A.mean <- unlist (lapply (A.ij. second, mean))
    имена (A.mean) <- пары
    A.ij.joint <- sum (unlist (A.mean))
    M <- 2 / (c * (c-1)) * A.ij.joint
    attr (M, "пара_AUCs") <- A.mean
    возврат (M)
}
модель <- NaiveBayes (iris.train $ Species ~., data = iris.train [, -5])
пред <- предсказать (модель, радужная оболочка.test [, - 5], type = 'raw')
pred.matrix <- pred $ posterior
ref.outcome <- iris.test $ Виды
M <- multiclass.auc (предварительная матрица, исх. Результат)
print (paste0 ("Обобщенная AUC равна:", round (as.numeric (M), 3)))  
  ## [1] "Обобщенная AUC: 0,991"  
  print (attr (M, "pair_AUCs")) # попарно AUC  
  ## setosa / versicolor setosa / virginica versicolor / virginica
## 1.00000 1.00000 0.97254  
 Используя этот подход, обобщенная AUC равна 0.988, что на удивление похоже на среднее значение из кривых точного отзыва бинарных классификаторов «один против всех». Интерпретация полученных попарных AUC также аналогична. В то время как AUC для разделения  setosa / versicolor  и  setosa / virginica  равны 1, AUC для  versicolor / virginica  немного меньше, что согласуется с нашими предыдущими выводами о наблюдениях от  versicolor  и  virginica  сложнее точно предсказать.
 Сводка
 Для мультиклассовых задач доступны меры, аналогичные бинарной классификации.
 Для жестких классификаторов вы можете использовать (взвешенную) точность, а также микро- или макро-усредненный результат F1.
 Для мягких классификаторов вы можете определить кривые прецизионного возврата «один против всех» или использовать обобщение AUC из Hand и Till.
.
 Оценка точности классификационной модели: основы - статьи
 После построения модели прогнозной классификации вам необходимо  оценить производительность модели , то есть насколько хороша модель в прогнозировании результатов новых данных тестирования наблюдений, которые не использовались для обучения модели.
 Другими словами, вам необходимо оценить точность  предсказания модели и  ошибки предсказания, используя новый набор тестовых данных. Поскольку мы знаем фактический результат наблюдений в наборе тестовых данных, эффективность прогнозирующей модели можно оценить, сравнив значения прогнозируемых результатов с известными значениями результатов.
 В этой главе описаны обычно используемые метрики и методы оценки эффективности моделей прогнозной классификации, в том числе:
  Средняя точность классификации , представляющая долю правильно классифицированных наблюдений.
  Матрица ошибок , которая представляет собой таблицу 2x2, показывающую четыре параметра, включая количество истинных положительных результатов, истинных отрицаний, ложных отрицательных результатов и ложных положительных результатов.
  Точность, отзыв и специфичность , которые представляют собой три основных показателя производительности, описывающих модель прогнозирующей классификации.
  Кривая ROC , которая представляет собой графическую сводку общей производительности модели, показывающую соотношение истинных положительных и ложных положительных результатов при всех возможных значениях отсечения вероятности.Область  под кривой  ( AUC ) суммирует общую производительность классификатора.
 Мы предоставим практические примеры на R для вычисления этих показателей, а также для создания графика ROC.
 В комплекте:
 Книга:
 Основы машинного обучения: Практическое руководство на языке R
 Требуется загрузка пакетов R 
  tidyverse  для упрощения работы с данными и визуализации
  caret  для упрощения рабочего процесса машинного обучения
  библиотека (tidyverse)
библиотека (каретка)  
 Построение классификационной модели 
 Для простоты мы выполним двоичную классификацию, в которой конечная переменная может иметь только два возможных значения: отрицательное и положительное.
 Мы рассчитаем пример модели линейного дискриминантного анализа с использованием пакета  PimaIndiansDiabetes2  [пакет mlbench], представленного в главе @ref (классификация-в-r), для прогнозирования вероятности положительного результата теста на диабет на основе клинических переменных.
 Разделите данные на обучение (80%, используется для построения модели) и тестовый набор (20%, используется для оценки производительности модели):
  # Загрузить данные
данные ("PimaIndiansDiabetes2", package = "mlbench")
пима.данные %
  createDataPartition (p = 0,8, список = FALSE)
train.data  
 Установите модель LDA на обучающий набор и сделайте прогнозы на основе тестовых данных:
  библиотека (МАССА)
# Подходит LDA
подходит  
 Общая точность классификации 
 Общая точность классификации  Коэффициент  соответствует доле наблюдений, которые были правильно классифицированы. Определение точности необработанной классификации - это первый шаг в оценке производительности модели.
 И наоборот, частота ошибок классификации   определяется как доля наблюдений, которые были неправильно классифицированы.  Частота ошибок = 1 - точность 
 Точность и ошибку необработанной классификации можно легко вычислить путем сравнения наблюдаемых классов в тестовых данных с классами, предсказанными моделью:
  точность  
  ## [1] 0.808  
  ошибка  
  ## [1] 0.192  
 Из приведенных выше выходных данных линейный дискриминантный анализ правильно предсказал индивидуальный результат в 81% случаев. Это намного лучше, чем случайное предположение. Частота ошибок классификации может быть рассчитана как 100–81% = 19%.
 В нашем примере двоичный классификатор может делать ошибки двух типов:
 он может ошибочно отнести человека с диабетом к категории диабетотрицательных
 он может ошибочно отнести человека с отрицательным диабетом к категории с положительным диабетом.
 Пропорция этих двух типов ошибок может быть определена путем создания  матрицы неточностей , которая сравнивает прогнозируемые значения результатов с известными значениями результатов.
 Матрица неточностей 
 Функция R  table ()  может использоваться для создания  матрицы неточностей , чтобы определить, сколько наблюдений было правильно или неправильно классифицировано. Он сравнивает наблюдаемые и прогнозируемые значения результатов и показывает количество правильных и неправильных прогнозов, сгруппированных по типу результата.
  # Матрица ошибок, кол-во случаев
таблица (наблюдаемые. классы, предсказанные. классы)  
  ## predicted.classes
## Observable.classes neg pos
## neg 48 4
## pos 11 15  
  # Матрица неточностей, доля случаев
таблица (наблюдаемые. классы, прогнозируемые. классы)%>%
  prop.table ()%>% round (цифры = 3)  
  ## predicted.classes
## Observable.classes neg pos
## neg 0.615 0,051
## поз 0,141 0,192  
 Диагональные элементы матрицы неточностей указывают на правильные прогнозы, а недиагонали представляют собой неправильные прогнозы. Итак, правильная степень классификации - это сумма числа на диагонали, деленная на размер выборки в тестовых данных. В нашем примере это (48 + 15) / 78 = 81%.
 Каждая ячейка таблицы имеет важное значение:
  Истинно положительные  (d): это случаи, в которых мы предсказали, что люди будут иметь диабет, и они были.
  Истинно отрицательные результаты  (a): Мы предсказали отрицательный диабет, а индивидуумы были отрицательными.
  Ложные срабатывания  (b): мы предсказали положительный результат на диабет, но на самом деле у людей не было диабета. (Также известна как ошибка  типа I .)
  Ложноотрицательные результаты  (c): Мы предсказали отрицательный диабет, но у них действительно был диабет. (Также известна как ошибка  типа II .)
 Технически исходная точность прогноза модели определяется как  (TruePositives + TrueNegatives) / SampleSize .
 Точность, отзывчивость и специфичность 
 Помимо точности необработанной классификации, существует множество других показателей, которые широко используются для исследования производительности модели классификации, в том числе:
  Точность , которая представляет собой долю истинно положительных результатов среди всех людей, у которых модель была предсказана как диабетическая. Это представляет точность прогнозируемого положительного результата.  Точность = TruePositives / (TruePositives + FalsePositives) .
  Чувствительность  (или  Отзыв ), который представляет собой показатель истинно положительных результатов   (TPR) или долю идентифицированных положительных результатов среди диабетической популяции (класс = 1).  Чувствительность = TruePositives / (TruePositives + FalseNegatives) .
  Специфичность , которая измеряет показатель истинно отрицательных   (TNR), то есть долю идентифицированных отрицательных результатов среди населения с отрицательным диабетом (класс = 0).  Специфичность = TrueNegatives / (TrueNegatives + FalseNegatives) .
  Уровень ложных положительных результатов  (FPR), который представляет собой долю идентифицированных положительных результатов среди здоровых людей (т. Е. Отрицательных по диабету). Это можно рассматривать как ложную тревогу. FPR также можно рассчитать как  1-специфичность . Когда положительные результаты редки, FPR может быть высоким, что приводит к ситуации, когда прогнозируемый положительный результат, скорее всего, является отрицательным.
  Sensitivy  и  Specificity  обычно используются для измерения производительности прогнозной модели.
 Эти вышеупомянутые показатели могут быть легко вычислены с помощью функции  confusionMatrix ()  [пакет каретки].
 В настройке с двумя классами вам может потребоваться указать необязательный аргумент  положительное значение , которое представляет собой строку символов для уровня фактора, соответствующего «положительному» результату (если это имеет смысл для ваших данных). Если имеется только два уровня факторов, по умолчанию используется первый уровень как «положительный» результат.
  confusionMatrix (предсказано.классы, наблюдаемые. классы,
                Positive = "pos")  
  ## Матрица неточностей и статистика
##
##           Ссылка
## Прогноз отрицательной позиции
## neg 48 11
## поз. 4 15
##
## Точность: 0,808
## 95% ДИ: (0,703, 0,888)
## Нет информации Скорость: 0,667
## P-значение [Acc> NIR]: 0,00439
##
## Каппа: 0.536
## P-значение теста Макнемара: 0,12134
##
## Чувствительность: 0,577
## Специфичность: 0,923
## Pos Pred Value: 0,789
## Neg Pred Value: 0,814
## Распространенность: 0,333
## Скорость обнаружения: 0,192
## Распространенность обнаружения: 0,244
## Точность балансировки: 0,750
##
## 'Положительный' класс: pos
##  
 Приведенные выше результаты показывают различные статистические показатели, среди которых наиболее важными являются:
 перекрестная таблица между предсказанием и эталонным известным результатом
 точность модели, 81%
 каппа (54%), то есть точность, скорректированная на случайность.
 В нашем примере чувствительность составляет ~ 58%, то есть доля людей с диабетом, которые были правильно определены моделью как диабетические.
 Специфичность модели составляет ~ 92%, то есть доля людей с отрицательным диабетом, которые были правильно определены моделью как диабетотрицательные.
 Точность модели или доля положительного предсказанного значения составляет 79%.
 В медицине чувствительность и специфичность являются двумя важными показателями, характеризующими эффективность классификатора или скринингового теста.Важность между чувствительностью и специфичностью зависит от контекста. Обычно нас интересует одна из этих метрик.
 В медицинской диагностике, такой как в нашем примере, мы, вероятно, больше озабочены минимальным ошибочно положительным диагнозом. Так что нас больше волнует высокая специфичность. Здесь специфичность модели составляет 92%, что очень хорошо.
 В некоторых ситуациях нас может больше заинтересовать настройка модели, чтобы повысить чувствительность / точность. С этой целью вы можете протестировать различные пороги вероятности, чтобы решить, какие люди положительные, а какие отрицательные.
 Обратите внимание, что здесь мы использовали  p> 0,5  в качестве порога вероятности, выше которого мы объявляем заинтересованных лиц как диабетика. Однако, если нас беспокоит неправильное предсказание диабет-положительного статуса для действительно положительных людей, то мы можем рассмотреть возможность снижения этого порога:  p> 0,2 .
 Кривая ROC 
 Введение 
 Кривая  ROC  (или кривая  рабочих характеристик приемника ) - это популярная графическая мера для оценки производительности или точности классификатора, которая соответствует общей доле правильно классифицированных наблюдений.
 Например, точность медицинского диагностического теста можно оценить, рассматривая два возможных типа ошибок: ложные срабатывания и ложноотрицательные результаты. С точки зрения классификации, тест будет объявлен положительным, когда соответствующая прогнозируемая вероятность, возвращенная алгоритмом классификатора, превышает фиксированный порог. Этот порог обычно устанавливается на 0,5 (т. Е. 50%), что соответствует вероятности случайного угадывания.
 Итак, что касается нашего примера данных о диабете, для данного фиксированного порога вероятности:
 показатель  истинно положительных результатов  (или доля) - это доля идентифицированных положительных результатов среди населения с положительным диабетом.Напомним, что это также известно как  чувствительность  модели прогнозного классификатора.
 и  частота ложных срабатываний  - это доля идентифицированных положительных результатов среди здоровых (т. Е. Больных с отрицательным диабетом). Это также определяется как  1-специфичность , где -специфичность  измеряет  истинно отрицательный показатель , то есть долю идентифицированных отрицательных результатов среди диабет-отрицательной популяции.
 Так как мы обычно не знаем предельное значение вероятности заранее, кривая ROC обычно используется для построения графика истинно положительной частоты (или чувствительности на оси Y) против ложноположительной частоты (или «1-специфичности» на x- ось) при всех возможных отсечениях вероятности.Это показывает компромисс между скоростью, с которой вы можете что-то правильно предсказывать, и скоростью неверного предсказания. Другое визуальное представление графика ROC - просто отображение чувствительности в зависимости от специфичности.
 Область  под кривой  ( AUC ) суммирует общую производительность классификатора по всем возможным порогам вероятности. Он представляет собой способность алгоритма классификации отличать единицы от нулей (т. Е. События от не-событий или положительные от отрицательных).
 Для хорошей модели кривая ROC должна круто подниматься, указывая на то, что частота истинных положительных результатов (ось y) увеличивается быстрее, чем частота ложных положительных результатов (ось x), по мере уменьшения порога вероятности.
 Итак, «идеальная точка» - это верхний левый угол графика, то есть вероятность ложных срабатываний равна нулю, а истинных положительных результатов - единицы. Это не очень реалистично, но означает, что чем больше AUC, тем лучше классификатор.
 Показатель AUC варьируется от 0.50 (случайный классификатор) и 1,00. Значения выше 0,80 - признак хорошего классификатора.
 В этом разделе мы покажем вам, как вычислить и построить кривую ROC в R для задач классификации на два и несколько классов. Мы будем использовать линейный дискриминантный анализ, чтобы разделить людей на группы.
 Расчет и построение кривой ROC 
 ROC-анализ можно легко выполнить с помощью пакета R  pROC .
  библиотека (pROC)
# Вычислить roc
рез.roc  
 Серая диагональная линия представляет классификатор не лучше случайного.
 У высокопроизводительного классификатора будет ROC, который круто поднимается к верхнему левому углу, то есть он будет правильно определять множество положительных результатов без ошибочной классификации отрицательных результатов как положительных.
 В нашем примере AUC составляет 0,85, что близко к максимуму (max = 1). Итак, наш классификатор можно считать очень хорошим. Ожидается, что классификатор, который работает не лучше, чем вероятность, будет иметь AUC, равный 0.5 при оценке на независимом тестовом наборе, не используемом для обучения модели.
 Если нам нужна модель классификатора со специфичностью не менее 60%, то чувствительность составляет около 0,88%. Соответствующий порог вероятности можно извлечь следующим образом:
  # Извлекаем интересные результаты
фильтр roc.data% (специфичность> = 0,6)  
  ## # Тибл: 44 x 3
## пороги чувствительности специфичности
##
## 1 0,111 0,885 0,615
## 2 0.114 0,885 0,635
## 3 0,114 0,885 0,654
## 4 0,115 0,885 0,673
## 5 0,119 0,885 0,692
## 6 0,131 0,885 0,712
## # ... с еще 38 строками  
 Лучший порог с наивысшей суммарной чувствительностью + специфичностью можно распечатать следующим образом. Может быть более одного порога.
  plot.roc (res.roc, print.auc = TRUE, print.thres = "best")  
 Здесь наилучшее ограничение вероятности равно 0.335, в результате чего был получен прогнозный классификатор со специфичностью 0,84 и чувствительностью 0,660.
 Обратите внимание, что  print.thres  также может быть числовым вектором, содержащим прямое определение пороговых значений для отображения:
  plot.roc (res.roc, print.thres = c (0,3, 0,5, 0,7))  
 Несколько кривых ROC 
 Если у вас есть группирующие переменные в ваших данных, вы можете создать несколько кривых ROC на одном графике. Это можно сделать с помощью ggplot2.
  # Создать некоторую группирующую переменную
глюкоза%
  фильтр (пороги! = - Inf)%>%
  мутировать (глюкоза = глюкоза, возраст = возраст)
# Создать кривую ROC
ggplot (roc.data, aes (специфичность, чувствительность)) +
  geom_path (aes (цвет = возраст)) +
  scale_x_reverse (развернуть = c (0,0)) +
  scale_y_continuous (развернуть = c (0,0)) +
  geom_abline (intercept = 1, slope = 1, linetype = "dashed") +
  тема_bw ()  
 Настройки мультикласса 
 Мы начинаем с построения линейной дискриминантной модели с использованием набора данных  iris , который содержит длину и ширину чашелистиков и лепестков для трех видов ирисов.Мы хотим предсказать вид на основе параметров чашелистика и лепестка с помощью LDA.
  # Загрузить данные
данные ("радужная оболочка")
# Разделить данные на обучение (80%) и набор тестов (20%)
набор. семян (123)
training.samples%
  createDataPartition (p = 0,8, список = FALSE)
train.data  
 Показатели эффективности (чувствительность, специфичность и т. Д.) Прогнозной модели можно рассчитать отдельно для каждого класса, сравнивая уровень каждого фактора с остальными уровнями (т. Е. Подход «один против всех»).
  # Делаем прогнозы на основе тестовых данных
прогнозы% прогноз (test.data)
# Точность модели
confusionMatrix (предсказания $ class, test.data $ Species)  
  ## Матрица неточностей и статистика
##
##             Ссылка
## Прогноз setosa versicolor virginica
## сетоса 10 0 0
## разноцветный 0 10 0
## virginica 0 0 10
##
## Общая статистика
##
## Точность: 1
## 95% ДИ: (0.884, 1)
## Нет информации Скорость: 0,333
## P-значение [Acc> NIR]: 4.86e-15
##
## Каппа: 1
## Значение P теста Макнемара: нет данных
##
## Статистика по классам:
##
## Класс: setosa Класс: versicolor Класс: virginica
## Чувствительность 1.000 1.000 1.000
## Специфичность 1.000 1.000 1.000
## Pos Pred Value 1.000 1.000 1.000
## Neg Pred Value 1.000 1.000 1.000
## Распространенность 0,333 0,333 0,333
## Скорость обнаружения 0,333 0,333 0,333
## Распространенность обнаружения 0,333 0,333 0,333
## Точность балансировки 1.000 1.000 1.000  
 Обратите внимание, что кривые ROC обычно используются в бинарной классификации, но не для задач мультиклассовой классификации.
 Обсуждение 
 В этой главе описаны различные метрики для оценки эффективности моделей классификации. Эти показатели включают:
 точность классификации,
 матрица путаницы,
 Точность, отзывчивость и специфичность,
 и кривая ROC
 Чтобы оценить производительность регрессионных моделей, прочтите главу @ref (метрики точности модели регрессии).
 .