Главная » Хабрахабр » Прерывания от внешних устройств в системе x86. Эволюция контроллеров прерываний

Прерывания от внешних устройств в системе x86. Эволюция контроллеров прерываний

В данной статье хотелось бы рассмотреть механизмы доставки прерываний от внешних устройств в системе x86 и попытаться ответить на вопросы:

  • что такое PIC и для чего он нужен?
  • что такое APIC и для чего он нужен? Для чего нужны LAPIC и I/O APIC?
  • в чём отличия APIC, xAPIC и x2APIC?
  • что такое MSI? В чём отличия MSI и MSI-X?
  • как с этим связаны таблицы $PIR, MPtable, ACPI?

Если на какой-то из этих вопросов вам интересно получить ответ или вы просто хотите ознакомиться с эволюцией контроллеров прерываний в системе x86, добро пожаловать под кат.

Введение

Все мы знаем, что такое прерывание. Для тех, кто нет, цитата из википедии:

interrupt) — сигнал от программного или аппаратного обеспечения, сообщающий процессору о наступлении какого-либо события, требующего немедленного внимания. Прерывание (англ. Процессор отвечает приостановкой своей текущей активности, сохраняя свое состояние и выполняя функцию, называемую обработчиком прерывания (или программой обработки прерывания), которая реагирует на событие и обслуживает его, после чего возвращает управление в прерванный код. Прерывание извещает процессор о наступлении высокоприоритетного события, требующего прерывания текущего кода, выполняемого процессором.

В зависимости от источника возникновения сигнала прерывания делятся на:

  • асинхронные, или внешние (аппаратные) — события, которые исходят от внешних аппаратных устройств (например, периферийных устройств) и могут произойти в любой произвольный момент: сигнал от таймера, сетевой карты или дискового накопителя, нажатие клавиш клавиатуры, движение мыши. Факт возникновения в системе такого прерывания трактуется как запрос на прерывание (англ. Interrupt request, IRQ) — устройства сообщают, что они требуют внимания со стороны ОС;
  • синхронные, или внутренние — события в самом процессоре как результат нарушения каких-то условий при исполнении машинного кода: деление на ноль или переполнение стека, обращение к недопустимым адресам памяти или недопустимый код операции;

В данной статье хотелось бы обсудить внешние прерывания IRQ.

Допустим мы хотим выполнить какое-либо действие со входным пакетом для сетевой карты, когда он придёт. Зачем они нужны? Линия прерываний устройства соединяется с линией INTR процессора, и при получении пакета сетевая карта «дергает» эту линию. Чтобы не спрашивать сетевую карту постоянно «есть ли у тебя новый пакет?» и не тратить на это ресурсы процессора, можно использовать прерывание IRQ. Процессор понимает, что для него есть информация и читает пакет.

На все внешние устройства ножек процессора не напасёшься. Но что делать если устройств много?

Чтобы решить эту проблему, придумали микросхему — контроллер прерываний.

PIC

(вики/osdev)

8 входных линий (IRQ0-7), и одна выходная, соединяющая контроллер с линией INTR процессора. Первой была микросхема Intel 8259 PIC. Появляется дополнительная задержка на данный опрос, но зато количество линий прерываний увеличивается до 8. Когда возникает прерывание от какого-либо устройства, 8259 дёргает линию INTR, процессор понимает, что какое-то устройство сигнализирует о прерывании и опрашивает PIC, чтобы понять по какой именно ножке IRQx возникло прерывание.

Однако 8 линий быстро оказалось мало, и чтобы увеличить их количество стали использовать 2 контроллера 8259 (master и slave) соединённых каскадно (Dual PIC).

О возникновении прерывания CPU сигнализирует только master. IRQ с 0 по 7 обрабатываются первым Intel 8259 PIC (master), а IRQ с 8 по 15 вторым 8259 PIC (slave). Это каскадное прерывание отнимает одну из 16 линий, но в итоге даёт 15 доступных прерываний для устройств. Если возникло прерывание на линиях 8-15, второй PIC (slave) сигнализирует о прерывании мастеру по линии IRQ 2, и тот уже в свою очередь сигнализирует CPU.

Впоследствии контроллеры 8259 получили некоторые улучшения, и стали называться 8259A, а эта схема вошла в состав чипсета. Схема утвердилась, и именно её имеют ввиду, когда говорят сейчас о PIC (Programm Interrupt Controller). Надо было лишь следить, чтобы разные устройства не подключались на одну линию IRQ для избежания конфликтов, так как прерывания ISA не разделяемые. Во времена когда основной шиной для подключения внешних устройств была шина ISA, такой системы в целом хватало.

Обычно раскладка прерываний под устройства была более менее стандартная

Пример (взят отсюда):
IRQ 0 — system timer
IRQ 1 — keyboard controller
IRQ 2 — cascade (прерывание от slave контроллера)
IRQ 3 — serial port COM2
IRQ 4 — serial port COM1
IRQ 5 — parallel port 2 and 3 or sound card
IRQ 6 — floppy controller
IRQ 7 — parallel port 1
IRQ 8 — RTC timer
IRQ 9 — ACPI
IRQ 10 — open/SCSI/NIC
IRQ 11 — open/SCSI/NIC
IRQ 12 — mouse controller
IRQ 13 — math co-processor
IRQ 14 — ATA channel 1
IRQ 15 — ATA channel 2

Конфигурация и работа с микросхемами 8259 осуществляется через I/O порты:

Чип

Регистр

I/O port

Master PIC

Command

0x0020

Master PIC

Data

0x0021

Slave PIC

Command

0x00A0

Slave PIC

Data

0x00A1

→Документацию на 8259A можно найти тут

И количество устройств явно стало превосходить число 15, плюс в отличие от статической шины ISA в данном случае случае устройства могут добавляться в систему динамически. На смену шине ISA пришла шина PCI. В итоге чтобы решить проблему нехватки линий IRQ, прерывания ото всех PCI устройств решили группировать в линии PIRQ (Programmable Interrupt Request). Но к счастью в данной шине прерывания могут быть разделяемыми (то есть к одной линии IRQ можно подсоединить несколько устройств).

Мы объединяем прерывания по 5 устройств на линию PIRQx и подключаем линии PIRQx к контроллеру. Допустим у нас 4 линии прерываний свободно на PIC контроллере, а PCI устройств 20 штук. Устройство осуществляющее связывание линий прерываний PCI в линии PIRQ часто называют PIR router. При возникновении прерывания на линии PIRQx процессору придётся опросить все устройства подключённые к данной линии, чтобы понять от кого именно пришло прерывание, но в целом это решает задачу.

В данном методе надо следить, чтобы линии PIRQx не подсоединялись к линиям IRQx на которых уже заведены прерывания ISA (так как это вызовет конфликты), и чтобы линии PIRQx были сбалансированы (ведь чем больше устройств мы подключили к одной линии PIRQ, тем больше устройств надо будет опрашивать процессору, чтобы понять, какое именно из этих устройств вызвало прерывание).

В реальности каждый PCI device имеет 4 линии прерываний (INTA, INTB, INTC, INTD). Замечание: на рисунке маппинг PCI device -> PIR изображён абстрактно, потому что на самом деле он несколько сложнее. Какую именно INTx будет дёргать каждая функция устройства определяется конфигурацией чипсета. У каждого PCI устройства (device) может быть до 8 функций (functions) и вот каждой функции соответствует уже одно прерывание INTx.

Например в одном PCI устройстве может быть функция Smbus controller, функция SATA controller, функция LPC bridge. По сути функции это отдельные логические блоки. Со стороны ОС каждая функция — это как отдельное устройство со своим конфигурационным пространством PCI Config.

Спецификация о таблице $PIR раньше была на сайте Intel, но сейчас её там уже нет. Информацию о роутинге прерываний на PIC контроллере BIOS передавал ОС с помощью таблицы $PIR и с помощью заполнения регистров 3Ch (INT_LN Interrupt Line (R/W)) и 3Dh (INT_PN Interrupt Pin (RO)) конфигурационного пространства PCI для каждой функции. 2. Содержимое строк таблицы $PIR можно понять из PCI BIOS Specification [4. Get PCI Interrupt Routing Options] или почитать вот тут 2.

APIC

(вики, osdev)

Дело в том, что по своему устройству PIC может передавать прерывания только на один главный процессор. Предыдущий метод работал пока не появились многопроцессорные системы. Решением данной задачи стал новый интерфейс APIC (Advanced PIC). А хотелось бы, чтобы нагрузка на процессоры от обработки прерываний была сбалансированной.

Все эти контроллеры объединяются в общую шину с названием APIC (новые системы сейчас уже соединяются по стандартной системной шине). Для каждого процессора добавляется специальный контроллер LAPIC (Local APIC) и для маршрутизации прерываний от устройств добавляется контроллер I/O APIC.

Наличие I/O APIC позволяет сбалансировано распределять прерывания от внешних устройств между процессорами. Когда прерывание от устройства приходит на вывод I/O APIC, контроллер направляет прерывание в LAPIC одного из процессоров.

Для создания системы из 2 процессоров нужно было 3 таких микросхемы. Первой микросхемой APIC был 82489DX, это был отдельный чип, соединяющий в себе LAPIC и I/O APIC. Позднее функциональность LAPIC была напрямую включена в процессоры, а функциональность I/O APIC была оформлена в чип 82093AA. 2 функционировали бы как LAPIC и одна как I/O APIC.

Для поддержки совместимости со старыми системами, прерывания 0~15 отвели под старые прерывания ISA. I/O APIC 82093AA содержала 24 входных вывода, а архитектура APIC могла поддерживать до 16 CPU. Теперь можно было не задумываться о конфликтах прерываний от ISA и PCI устройств. А прерывания от PCI устройств стали выводить на линии IRQ 16-23. Также благодаря увеличенному количеству свободных линий прерываний возможно стало также увеличить количество линий PIRQx.

Регистры LAPIC расположены обычно по адресу 0xFEE00000, регистры I/O APIC по адресу 0xFEС00000. Программирование I/O APIC и LAPIC осуществляется через MMIO. Хотя в принципе все эти адреса возможно переконфигурировать.

Как и в случае с PIC первоначально отдельные микросхемы позже вошли в состав чипсета.

Сохранена обратная совместимость с предыдущим вариантом. В дальнейшем архитектура APIC получила модернизацию и новый вариант получил название xAPIC (x — extended). Количество возможных CPU в системе увеличилось до 256.

Количество возможных CPU в системе увеличилось до 2^32. Следующий виток развития архитектуры получил название x2APIC. Cудя по этой ссылке для работы этого режима необходима поддержка IOMMU. Контроллеры могут работать в режиме совместимости с xAPIC, а могут в новом режиме x2APIC, где программирование LAPIC осуществляется не через MMIO, а через MSR регистры (что гораздо быстрее).

Например один на 24 прерывания в южном мосту, другой на 32 в северном. Следует заметить, что в системе может быть несколько контроллеров I/O APIC. Так вот в такой системе будут GSI 0-55. В контексте I/O APIC прерывания часто обозначаются GSI (Global System Interrupt).

Помимо общей информации, и в MPtable и в ACPI (на этот раз в таблице DSDT) должна содержаться информация о роутинге прерываний, то есть информация о том, какое устройство сидит на какой линии прерываний (аналог таблицы $PIR). Есть ли в CPU встроенный LAPIC и какой именно архитектуры можно понять по бит-флагам в CPUID.
Чтобы система могла обнаружить LAPIC и I/O APIC, BIOS должен представить информацию о них системе либо через таблицу MPtable (старый метод), либо через таблицу ACPI (таблицу MADT в данном случае).

Раньше спецификация была на сайте Intel, а сейчас её можно найти только в архиве. О таблице MPTable можно почитать в официальной спецификации. 2). Спецификация ACPI сейчас расположена на сайте UEFI (текущая версия 6. Следует отметить, что с помощью ACPI можно указать роутинг прерываний и для систем без APIC (вместо использования таблицы $PIR).

MSI

(вики)

Все эти линии прерываний от устройств усложняют схему, и увеличивают вероятности ошибок. Предыдущий вариант с APIC хорош, но не лишён недостатков. Чтобы сохранить совместимость, сигналы о возникновении прерываний (INTx#) эмулируются отдельными видами сообщений. На смену шины PCI пришёл PCI express, в котором линии прерываний решили просто-напросто убрать. Однако поддержка legacy INTx прерываний — это лишь поддержка обратной совместимости с шиной PCI. В этой схеме логическое сложение линий прерываний, которое раньше производилось физическим соединением проводов, легло на плечи PCI мостов. В этом методе для сигнализации о прерывании устройство просто производит запись в MMIO область отведённую под LAPIC процессора. На деле PCI express предложил новый метод доставки сообщений о прерываниях — MSI (Message Signaled Interrupts).

Если раньше на одно PCI устройство (то есть на все его функции) выделялось всего 4 прерывания, то сейчас сейчас стало возможным адресовать до 32 прерываний.

В случае с MSI нет никакого sharing для линий, каждое прерывание соответствует своему устройству.

Допустим устройство проводит memory-write транзакцию, и хочет сообщить о её завершении через прерывание. Прерывания MSI решают также ещё одну проблему. Таким образом CPU будет читать ещё невалидные данные. Но write транзакция может быть задержана на шине в процессе передачи (о чём устройство никак не знает), и сигнал о прерывании придёт до процессора раньше. В случае если используется MSI, информация об MSI передаётся также как и данные, и раньше прийти просто не сможет.

Следует заметить, что прерывания MSI не могут работать без LAPIC, но использование MSI может заменить нам I/O APIC (упрощение дизайна).

Теперь каждое устройство может иметь до 2048 прерываний. В последствии данный метод получил расширение MSI-X. Это может быть очень полезно для высоконагруженных устройств, например сетевых карт. И стало возможным указывать индивидуально каждому прерыванию на каком процессоре оно должно выполняться.

Но устройство должно сообщить о поддержке MSI в одной из Capability в своём PCI Config, а драйвер устройства должен поддерживать работу с MSI. Для поддержки MSI не требуется никаких дополнительных таблиц BIOS.

Заключение

В данной статье мы рассмотрели эволюцию контроллеров прерываний, и получили общую теоретическую информацию о доставке прерываний от внешних устройств в x86 системе.

В следующей части мы посмотрим как на практике задействовать в Linux каждый из описанных контроллеров.

Ссылки:


Оставить комментарий

Ваш email нигде не будет показан
Обязательные для заполнения поля помечены *

*

x

Ещё Hi-Tech Интересное!

Расширяйте кругозор, Холмс! Или зачем физикам скрипка и кулинарные навыки

О современной литературе, философии и политике он, по-видимому, не знал почти ничего.… Однако мое изумление достигло апогея, когда я случайно обнаружил, что он не знаком с теорией Коперника и не представляет себе, как устроена Солнечная система.… «Но не знать о ...

Спам звонки. Можно ли с ними бороться?

Доброго времени суток, Хабр. Есть несколько способов бороться со спамными звонками на мобильный телефон, но бывают такие ситуации, когда это практически невозможно. Я расскажу свой случай о систематических звонках со скрытого номера.Все мы привыкли раз в какое-то время получать спамные ...