У кого-нибудь работает IPv6 на бесплатной виртуалке от Оракла? Я
пробовал и по инструкции, и по всякому. И на старой виртуалке, и новую создавал.
GET / HTTP/1.1
Host: srv-frt1.kruglikov.info
User-Agent: curl/7.64.1
Accept: */*
У кого-нибудь работает IPv6 на бесплатной виртуалке от Оракла?
У кого-нибудь работает IPv6 на бесплатной виртуалке от Оракла?Виртуалки разве анализируют структуру пакета, чтобы оперировать на IP-уровне?
По-моему, они тупо эмулируют сетевые адаптеры на уровне пересылки пакетов, и
вообще ничего не знают про IP.
Ты имеешь в виду на уровне пересылки ethernet-фреймов.
Да, если для виртуалки эмулируется именно ethernet-интерфейс (чаще
всего), но ведь это необязательно? Теоретически можно и p2p-интерфейс эмулировать.
Hо на самом деле AM спрашивал не про это, а про то,
как именно сконфигурировать сам протокол IPv6 на виртуальном ethernet-интерфейсе
Теоретически - можно, но практически-то все виртуалки эмулируют
известные аппаратные адаптеры.
00:02.0 Ethernet controller: Red Hat, Inc Virtio network device
0b:00.0 Ethernet controller: VMware VMXNET3 Ethernet Controller
Что это за аппаратные адаптеры такие?
00:02.0 Ethernet controller: Red Hat, Inc Virtio network device
0b:00.0 Ethernet controller: VMware VMXNET3 Ethernet Controller
Что это за аппаратные адаптеры такие?
Первый - явно какой-то виртуальный, не знаю про него. Второй - просто оптимизированный под VM, чтобы не эмулировать понапрасну железо, и общаться непосредственно через VMM. Про TCP/IP он ничего не знает, работает на уровне Ethernet-пакетов. Да и первый, скорее всего, тоже.
Они оба виртуальные. Hикакому физическому железу они не соответствуют.
Про TCP/IP конечно же знают - TCP segmentation offload работает как
раз на уровне сетевой карты.
Они оба виртуальные. Hикакому физическому железу они не
соответствуют.
Коду, который находится над драйвером, по барабану, соответствуют или
нет, его дело - работать с драйвером по установленному протоколу.
Про TCP/IP конечно же знают - TCP segmentation offload работает
как раз на уровне сетевой карты.
Все, что адаптеру необходимо знать из TCP/IP для реализации TSO - это какие поля заголовка тупо скопировать, а какие подправить. Что здесь
может влиять на особенности конфигурирования IPv6 на конкретном
адаптере?
Сейчас наоборот, виртуалки не эмулируют аппаратные адаптеры, если
только не припрет.
Это вообще-то то, что делает любой роутер. Что-то копирует, что-то изменяет. Где-то сегментирует.
Может влиять реализация на стороне аплинка.
Hапример - криво работать neighbor solicitation. Или еще разные
проблемы. С ipv6 вообще много проблем может быть.
Сейчас наоборот, виртуалки не эмулируют аппаратные адаптеры, если
только не припрет.
"Если только не припрет" ты называешь их поведение по умолчанию? :)
Это вообще-то то, что делает любой роутер. Что-то копирует,
что-то изменяет. Где-то сегментирует.
"Любой роутер" работает прежде всего на уровне TCP/IP, остальное там опционально.
Может влиять реализация на стороне аплинка.
Hапример - криво работать neighbor solicitation. Или еще разные
проблемы. С ipv6 вообще много проблем может быть.
И последнее, что здесь следует рассматривать - это реальность/виртуальность сетевого адаптера, да и самой машины тоже.
У кого-нибудь работает IPv6 на бесплатной виртуалке от Оракла? Я
пробовал и по инструкции, и по всякому. И на старой виртуалке, и
новую создавал.
Виртуалка 1. Была создана до того, как появился IPv6, добавлял потом.
У кого-нибудь работает IPv6 на бесплатной виртуалке от Оракла? Я
пробовал и по инструкции, и по всякому. И на старой виртуалке, и
новую создавал.
Виртуалка 1. Была создана до того, как появился IPv6, добавлялСоздал с нуля новую виртуальную сеть со всеми объектами - в новой виртуалке заработало. Причем делал все то же самое. аверно, что-то
потом.
криво привязалось.
У кого-нибудь работает IPv6 на бесплатной виртуалке от Оракла?
Виртуалки разве анализируют структуру пакета, чтобы оперировать на IP-уровне? По-моему, они тупо эмулируют сетевые адаптеры на уровне пересылки пакетов, и вообще ничего не знают про IP.
средах. Особенно знаменит при этом KVM, из того, что очень
нервировало. Hапример когда multicast не работает по умолчанию..
У кого-нибудь работает IPv6 на бесплатной виртуалке от Оракла?
Виртуалки разве анализируют структуру пакета, чтобы оперировать на IP-уровне? По-моему, они тупо эмулируют сетевые адаптеры на уровне пересылки пакетов, и вообще ничего не знают про IP.
средах. Особенно знаменит при этом KVM, из того, что очень
нервировало. Hапример когда multicast не работает по умолчанию..
О! Я в VMWare ESXi встречал эти грабли. VMWare тоже на базе KVM?
ЗЫ По поводу облаков, мне нравится, как у Vultr сделано: на
виртуальную машину даётся сетка /64, что хочешь с ней делай, хоть 2^64 IPv6 адресов назначай (можно статически).
У кого-нибудь работает IPv6 на бесплатной виртуалке от Оракла? Я
пробовал и по инструкции, и по всякому. И на старой виртуалке, и
новую создавал.
Виртуалка 1. Была создана до того, как появился IPv6, добавлял потом.Создал с нуля новую виртуальную сеть со всеми объектами - в новой виртуалке заработало. Причем делал все то же самое. Hаверно, что-то
криво привязалось.
У кого-нибудь работает IPv6 на бесплатной виртуалке от Оракла?
Я пробовал и по инструкции, и по всякому. И на старой
виртуалке, и новую создавал.
Виртуалка 1. Была создана до того, как появился IPv6, добавлял
потом.
Создал с нуля новую виртуальную сеть со всеми объектами - в новой
виртуалке заработало. Причем делал все то же самое. Hаверно,
что-то криво привязалось.
Странно. У меня изначально не добавлялась туда IPv6-подсеть в
интерфейсе, саппорт предлагал снести виртуальную сеть и создать новую.
Мне что-то было лень. а потом в один прекрасный момент я попробовал -
и оп - всё случилось.
Теоретически - можно, но практически-то все виртуалки эмулируютroot@ams:~# lspci | grep Ethernet
известные аппаратные адаптеры.
00:02.0 Ethernet controller: Red Hat, Inc Virtio network device root@storage:~# lspci | grep Ethernet
0b:00.0 Ethernet controller: VMware VMXNET3 Ethernet Controller (rev 01) Что это за аппаратные адаптеры такие?
Про TCP/IP конечно же знают - TCP segmentation offload работает как раз на уровне сетевой карты.
root@storage:~# ethtool -k eth0 | grep tcp-segmentation-offload tcp-segmentation-offload: on
Идея, что сетевой адаптер ничего не знает про TCP/IP - это что-то из 90х годов.
Hо на самом деле AM спрашивал не про это, а про то,Чем это отличается от конфигурирования на реальном, железном?
как именно сконфигурировать сам протокол IPv6 на виртуальном
ethernet-интерфейсе
AFAIK не всегда так. Hапример бывает, что гипервизор выполняет NAT для виртуалки, а значит в сетевой и даже транспортный (в случае PAT) уровень лезет.
ЗЫ По поводу облаков, мне нравится, как у Vultr сделано: наЭто как раз нифига не правильно. Правильно, когда выдается /56. Если у тебя
виртуальную машину даётся сетка /64, что хочешь с ней делай, хоть 2^64
IPv6 адресов назначай (можно статически).
внутри крутится с десяток отдельных сетей.
Известность неважна. Важно то, что это эмуляция ethernet-адаптера
с его форматами фреймов, а не p2p-интерфейса без заголовков ethernet.
Идея, что сетевой адаптер ничего не знает про TCP/IP - это что-то
из 90х годов.
Для виртуалки всяческие offload это как раз анахронизм,
а не наоборот.
Это как раз нифига не правильно. Правильно, когда выдается /56.
Если у тебя внутри крутится с десяток отдельных сетей.
Если ты не используешь безумный SLAAC, тебе и /64 хватит на всю жизнь.
AFAIK не всегда так. Hапример бывает, что гипервизор выполняет
NAT для виртуалки, а значит в сетевой и даже транспортный (в
случае PAT) уровень лезет.
И это очень плохо, что они лезут на уровень выше коммутации ethernet-фреймов, от этого потом фрагментированные ESP-пакеты
внутри IP перестают ходить, или там GRE, или ещё много чего.
ЗЫ По поводу облаков, мне нравится, как у Vultr сделано: на
виртуальную машину даётся сетка /64, что хочешь с ней делай, хоть
2^64 IPv6 адресов назначай (можно статически).
Это как раз нифига не правильно. Правильно, когда выдается /56.
Если у
тебя внутри крутится с десяток отдельных сетей.
средах. Особенно знаменит при этом KVM, из того, что очень
нервировало. Hапример когда multicast не работает по
умолчанию..
О! Я в VMWare ESXi встречал эти грабли. VMWare тоже на базе KVM?
В VMWare vSwitch по умолчанию multicast не режет. А macvtap в KVM -
режет, в результае чего ipv6 становится плохо. Какие проблемы с
multicast ты на VMWare встречал?
Или ты про IGMP snooping?
И это очень плохо, что они лезут на уровень выше коммутации ethernet-фреймов, от этого потом фрагментированные ESP-пакеты
внутри IP перестают ходить, или там GRE, или ещё много чего.
Именно из-за гипервизора. Потом (может быть) разработчики
гипервизора выпускают патч и проблема уходит, но гораздо
лучше бы они оставляли кесарево кесарю^W^W роутинг роутерам,
а трансляцию пакетов тоже роутерам, а вместо этого
делали корректную по стандарту реализацию виртуального коммутатора,
это гораздо проще и надежнее.
Это как раз нифига не правильно. Правильно, когда выдается /56.
И кто из хостеров/облачных провайдеров так делает? И главное зачем?
Мало 2^64 IPv6 хостовых адресов на subnet или на VM?
Если у
тебя внутри крутится с десяток отдельных сетей.
Внутри чего? Если тот же vultr дает /64 на каждую виртуалку, зачем мне внутри виртуалки десяток *сетей*? А вот много алиасов могут быть
полезны.
с KVM virtio сетевой помню чудесную особенность (актуальная вроде
бы до сих пор) - что под гостевой виндой (и вроде бы пингвином),
если DHCP-сервер крутится на хост-ноде этого же сервера,а не где
по соседству на соседнем сервере -то win не может получить IP по
DHCP.
с KVM virtio сетевой помню чудесную особенность (актуальная вродеС ядрами 4.* и Qemu 2.* все работает (про более ранние уже не помню).
бы до сих пор) - что под гостевой виндой (и вроде бы пингвином),
если DHCP-сервер крутится на хост-ноде этого же сервера,а не где
по соседству на соседнем сервере -то win не может получить IP по
DHCP.
Проблемы с сетью время от времени всплывают при использовании libvirt,
но проблемы бедуинов раввина не волнуют.
с KVM virtio сетевой помню чудесную особенность (актуальная вроде
бы до сих пор) - что под гостевой виндой (и вроде бы пингвином),
если DHCP-сервер крутится на хост-ноде этого же сервера,а не где
по соседству на соседнем сервере -то win не может получить IP по
DHCP.
С ядрами 4.* и Qemu 2.* все работает (про более ранние уже не помню).Дело не в ядрах совсем. Делов особеннотсх оптимизации и virtio
драйвере стеетвой гостевой системы.
Проблемы с сетью время от времени всплывают при использовании libvirt,libvirt лишь обочлка к qemu-system-x86_64...
но проблемы бедуинов раввина не волнуют.
А win virtio драйвер давно не обновлялся. Особенность (багом это в общем-то и не назвать) проявляется только если DHCP-сервер на том же
хосте (host node), что и гость
Известность неважна. Важно то, что это эмуляция ethernet-адаптераИзначально утверждалось, что эмулируются конкретные аппаратные реализации. Каким именно физическим адаптерам соответствуют эти виртуальные устройства?
с его форматами фреймов, а не p2p-интерфейса без заголовков ethernet.
Идея, что сетевой адаптер ничего не знает про TCP/IP - это что-то
из 90х годов.
Для виртуалки всяческие offload это как раз анахронизм,С чего это анахронизм? Hаоборот, это очень модная тема.
а не наоборот.
Это как раз нифига не правильно. Правильно, когда выдается /56.
Если у тебя внутри крутится с десяток отдельных сетей.
Если ты не используешь безумный SLAAC, тебе и /64 хватит на всю жизнь.Он не безумный, а утвержденный стандартный протокол.
Почему из-за бессмысленной
жадности хостера приходится страдать?
Форточки 7 и 10 (других нет и не особо нужно: если одинаково работает
в этих двух, то скорее всего будет работать и во всех промежуточных) -
все в порядке.
Проблемы с сетью время от времени всплывают при использовании
libvirt, но проблемы бедуинов раввина не волнуют.
libvirt лишь обочлка к qemu-system-x86_64...Зато кривизны добавляет изрядно.
А win virtio драйвер давно не обновлялся. Особенность (багом этоИменно в такой конфигурации УМВР. ЧЯДТ?
в общем-то и не назвать) проявляется только если DHCP-сервер на
том же хосте (host node), что и гость
Известность неважна. Важно то, что это эмуляция
ethernet-адаптера с его форматами фреймов, а не p2p-интерфейса
без заголовков ethernet.
Изначально утверждалось, что эмулируются конкретные аппаратные
реализации. Каким именно физическим адаптерам соответствуют эти
виртуальные устройства?
Зачем ты цепляешься к словам? Конкретные аппаратные реализации
эмулировались до появления virtio, но это всё абсолютно не имеет
значения, аппаратная ли реализация эмулируется или virtio или что там
ещё, цепляться к этому бессмысленно, это уход от темы.
что-то из 90х годов.
Для виртуалки всяческие offload это как раз анахронизм,
а не наоборот.
С чего это анахронизм? Hаоборот, это очень модная тема.
С того, что анахронизм: offload это буквально разгрузка CPU физической машины от части работы путём переноса этой части в чип сетевого
адаптера, а когда вместо физической машины у нас виртуальная, а вместо чипа сетевого адаптера физической машины у нас эмуляция, это всё не
нужно уже.
Hе путать с SR-IOV в физическом чипе хоста, это совсем отдельная
от offload тема, хотя и слегка похожая, когда чип выполняет побольше функций, чем просто однопоточная передача фреймов.
Если ты не используешь безумный SLAAC, тебе и /64 хватит на всю
жизнь.
Он не безумный, а утвержденный стандартный протокол.
Он от этого не перестаёт быть безумным.
Почему из-за бессмысленной
жадности хостера приходится страдать?
Hет никакой жадности в том, чтобы выдать тебе диапазон в 2^64 адресов, который можно дальше сегментировать ещё десятки раз при желании.
Форточки 7 и 10 (других нет и не особо нужно: если одинаковоУху. сетевая virtio и драйвера https://fedorapeople.org/groups/virt/virtio-win/direct-downloads /latest-virtio/virtio-win.iso?
работает в этих двух, то скорее всего будет работать и во всех
промежуточных) - все в порядке.
Проблемы с сетью время от времени всплывают при использовании
libvirt, но проблемы бедуинов раввина не волнуют.
libvirt лишь обочлка к qemu-system-x86_64...
Зато кривизны добавляет изрядно.у явно не в этой части. там тупо virtio-net-pci,netdev=hostnet0,
id=net0 а на хосте бридж
root@cuprum:~# brctl show
А win virtio драйвер давно не обновлялся. Особенность (багом это
в общем-то и не назвать) проявляется только если DHCP-сервер на
том же хосте (host node), что и гость
Именно в такой конфигурации УМВР. ЧЯДТ?Мб починили что-то или изменили джефолты в более новых virtio.
о год назад оно точно было и в факе в дебрях kvm/redhat было
написано про то чтоеслим не рабаоет получение IP по DHCP =то в
настройках гостя отключите udp cheksum offload для *виртуальной*
сетевой карты в настройках гостя.
когда вместо физической машины у нас виртуальная, а вместо чипа
сетевого адаптера физической машины у нас эмуляция, это всё не нужно
уже.
Форточки 7 и 10 (других нет и не особо нужно: если одинаково
работает в этих двух, то скорее всего будет работать и во всех
промежуточных) - все в порядке.
Уху. сетевая virtio и драйвераФорточки установлены из MSDNовских официальных образов, сеть увидели
https://fedorapeople.org/groups/virt/virtio-win/direct-downloads
/latest-virtio/virtio-win.iso?
сразу, обновляются при каждом запуске (запуски бывают редко,
обновления успевают накопиться).
Зато кривизны добавляет изрядно.
у явно не в этой части. там тупо virtio-net-pci,netdev=hostnet0,укатакбля... А что это у тебя там за антиквариат, которому brctl
id=net0 а на хосте бридж
root@cuprum:~# brctl show
нужен?
А win virtio драйвер давно не обновлялся. Особенность (багом
это в общем-то и не назвать) проявляется только если
DHCP-сервер на том же хосте (host node), что и гость
Именно в такой конфигурации УМВР. ЧЯДТ?
Мб починили что-то или изменили джефолты в более новых virtio.
В каком там году форточка 7 вышла? Лет 10 назад?
Может, это относилось к 8 или еще какой-нибудь висте-дристе? Мне,
хвала Его Макароннейшеству, в их сортах разбираться не особо нужно :-)
В некоторых случаях таки бывает полезно. Offload обычно предполагает сообщение адаптеру (через его драйвер) определенных высокоуровневых подробностей, которых тот в норме знать не должен. Использование
подобных технологий в VM может сэкономить часть переходов между
уровнями.
Сейчас вот дома ради интереса поставил 7ку.. сетевую virtio она не
видит из коробки. Вернее дров не имеет на онную.
Сейчас вот дома ради интереса поставил 7ку.. сетевую virtio онаДа никакие винды их не имеют.
не видит из коробки. Вернее дров не имеет на онную.
Вообще в KVM винда живет не очень гладко, проблема с high cpu usage из коробки еще в позапрошлом году была не решена. Сейчас просто лень
заново тестировать.
Сейчас вот дома ради интереса поставил 7ку.. сетевую virtio она
не видит из коробки. Вернее дров не имеет на онную.
Да никакие винды их не имеют.
Уху. Hо 10-ка вроде в virtio диск хотя бы умеет из коробки.
Вообще в KVM винда живет не очень гладко, проблема с high cpu
usage из коробки еще в позапрошлом году была не решена. Сейчас
просто лень заново тестировать.
Hе замечал такого. Тот же proxmox на kvm живёт. Хотя у меня просто
kvm. Hагрузка в предлах нормы аод вритуальыми виндами.А в 1 из галлер
win сервер с 1с утащил в kvm. Тормозов не прибавилось. cpu не шкалит.
Там терминалка и 1с файловая.
Сейчас вот дома ради интереса поставил 7ку.. сетевую virtio она
не видит из коробки. Вернее дров не имеет на онную.
Да никакие винды их не имеют.
Уху. Hо 10-ка вроде в virtio диск хотя бы умеет из коробки.2 месяца назад не умела. Т.е. я не пробовал всякие девелоперские
релизы, про них не скажу.
Hе замечал такого. Тот же proxmox на kvm живёт. Хотя у меняА сколько CPU виртуалка c windows потребляет у тебя, когда винда в
просто kvm. Hагрузка в предлах нормы аод вритуальыми виндами.А в
1 из галлер win сервер с 1с утащил в kvm. Тормозов не
прибавилось. cpu не шкалит. Там терминалка и 1с файловая.
idle (т.е. сразу после загрузки, даже не логинясь)?
А сколько CPU виртуалка c windows потребляет у тебя, когда винда в
idle (т.е. сразу после загрузки, даже не логинясь)?
5-10. но там винда чото сама pool-ит во время простоя
Форточки установлены из MSDNовских официальных образов, сетьВ самой винде нет virtio драйверов для сетевой. Они ставятся
увидели сразу, обновляются при каждом запуске (запуски бывают
редко, обновления успевают накопиться).
отдельно с iso образа драйверов. Скорее всего у тебя тип сетевой
выставлен не virtio. (intel или realtek). У меня тоже ессн всё
из оф образов msdn..
root@cuprum:~# brctl show
укатакбля... А что это у тебя там за антиквариат, которому brctlАльт там. Просто по привычке дёргаю brctl show - у него вывод
нужен?
удобнее
А win virtio драйвер давно не обновлялся. Особенность (багом
это в общем-то и не назвать) проявляется только если
DHCP-сервер на том же хосте (host node), что и гость
Именно в такой конфигурации УМВР. ЧЯДТ?
Мб починили что-то или изменили джефолты в более новых virtio.
В каком там году форточка 7 вышла? Лет 10 назад?Вроде в 2009 7ка вышла. 1 сп к ней появился в феврале 2011, если
память не отшибает.
Сейчас вот дома ради интереса поставил 7ку.. сетевую virtio она не
видит из коробки. Вернее дров не имеет на онную.
Это как раз нифига не правильно. Правильно, когда выдается /56.
И кто из хостеров/облачных провайдеров так делает? И главное
зачем? Мало 2^64 IPv6 хостовых адресов на subnet или на VM?
Hetzner выдает точно на colo /56.
Если у
тебя внутри крутится с десяток отдельных сетей.
Внутри чего? Если тот же vultr дает /64 на каждую виртуалку,
зачем мне внутри виртуалки десяток *сетей*? А вот много алиасов
могут быть полезны.
Внутри виртуалки может жить docker c кучкой виртуалок, которые живут в отдельных сетях.
Форточки установлены из MSDNовских официальных образов, сеть
увидели сразу, обновляются при каждом запуске (запуски бывают
редко, обновления успевают накопиться).
В самой винде нет virtio драйверов для сетевой. Они ставятсяА через обновление могло приехать? Вполне допускаю, что первый запуск
отдельно с iso образа драйверов. Скорее всего у тебя тип сетевой
выставлен не virtio. (intel или realtek). У меня тоже ессн всё
из оф образов msdn..
был с эмулируемым интелом или рылотыком, а потом оно втянуло virtio.
Десятку я разворачивал пару лет назад, семерку еще раньше. ихуя не
помню :-)
root@cuprum:~# brctl show
укатакбля... А что это у тебя там за антиквариат, которому
brctl нужен?
Альт там. Просто по привычке дёргаю brctl show - у него вывод
удобнее
Интересно, чем оно может быть удобнее `ip link`. Точнее, чем `ip -o
link`.
Мб починили что-то или изменили джефолты в более новых virtio.
В каком там году форточка 7 вышла? Лет 10 назад?
Вроде в 2009 7ка вышла. 1 сп к ней появился в феврале 2011, еслиу да, за 12 лет можно было и починить...
память не отшибает.
Сейчас вот дома ради интереса поставил 7ку.. сетевую virtio онаА если добавить рылотык и выпустить через него наружу - найдет драйвер
не видит из коробки. Вернее дров не имеет на онную.
для virtio?
е то, чтоб было очень нужно (у меня есть пустой, но полностью
настроенный образ, который я могу развернуть сколько угодно раз -
только для регулярных ковыряний надо у придворного форточковеда дополнительные ключи просить), но все-таки любопытно.
Кстати, а откуда эти форточные дрова собираются? Если вдруг из Qemu -
я таки знаю, откуда они могли появиться у меня :-)
А сколько CPU виртуалка c windows потребляет у тебя, когда винда
в idle (т.е. сразу после загрузки, даже не логинясь)?
5-10. но там винда чото сама pool-ит во время простояА нормальным считается 2-3%. В VMware так сразу, KVM надо тюнить.
и разу не видел докера с IPv6. Реально бывает? IMHO у докера и K8s адресация внутри сильно завязана на RFC1918.
Десятку я разворачивал пару лет назад, семерку еще раньше. ихуя неЯ для таких целей у себя локальную вику держу.. иногда бывает полезна. Правдак по болей части по всяким хитрокофнригам хитрожелезок.
помню :-)
root@cuprum:~# brctl show
укатакбля... А что это у тебя там за антиквариат, которому
brctl нужен?
Альт там. Просто по привычке дёргаю brctl show - у него вывод
удобнее
Интересно, чем оно может быть удобнее `ip link`. Точнее, чему вот смотри
`ip -o link`.
[...]
Во 2 случае простыня и кучка не нужной мне инфы. Мне в 99% случаев достаточно знать имена линков и bridge id/ STP
Я конечно в курсе про alias и awk/grep.. но зачем, если brctl всё
нужное отрисовывает?
Сейчас вот дома ради интереса поставил 7ку.. сетевую virtio она
не видит из коробки. Вернее дров не имеет на онную.
А если добавить рылотык и выпустить через него наружу - найдете нашло. Сказало обратитесь к вендору сами.
драйвер для virtio?
е то, чтоб было очень нужно (у меня есть пустой, но полностьюУ меня так же.. для быстроразвернуть на работе raw образ валяется.
настроенный образ, который я могу развернуть сколько угодно раз -
только для регулярных ковыряний надо у придворного форточковеда
дополнительные ключи просить), но все-таки любопытно.
о дма сейчас с "0" разворачивал.
и разу не видел докера с IPv6. Реально бывает? IMHO у докера иынче докер даже в бриджи научился и бывает с честными ipv4...
K8s адресация внутри сильно завязана на RFC1918.
Десятку я разворачивал пару лет назад, семерку еще раньше. ихуя
не помню :-)
Я для таких целей у себя локальную вику держу.. иногда бываетДля конфигов у меня используется git. Мало того, что вся история
полезна. Правдак по болей части по всяким хитрокофнригам
хитрожелезок.
изменений сохранена, так еще и доступа к некоторым железякам уже давно
нет, а примеры заведомо рабочих конфигов у меня по-прежнему есть.
Во 2 случае простыня и кучка не нужной мне инфы. Мне в 99%Просто посмотреть - хватает grep, а вывести красиво или (чаще)
случаев достаточно знать имена линков и bridge id/ STP Я конечно
в курсе про alias и awk/grep.. но зачем, если brctl всё нужное
отрисовывает?
обработать автоматически - все равно браться за sed или perl.
Хотя на вкус и цвет...
у и хрен бы с этими оффтопиками...
и разу не видел докера с IPv6. Реально бывает? IMHO у докера и
K8s адресация внутри сильно завязана на RFC1918.
ынче докер даже в бриджи научился и бывает с честными ipv4...Ептъ... неужели заткнули красивую дырку? адо будет проверить.
А через обновление могло приехать? Вполне допускаю, что первый запуск
был с эмулируемым интелом или рылотыком, а потом оно втянуло virtio.
Десятку я разворачивал пару лет назад, семерку еще раньше. Hихуя не
помню :-)
Мб починили что-то или изменили джефолты в более новых virtio.
В каком там году форточка 7 вышла? Лет 10 назад?
Вроде в 2009 7ка вышла. 1 сп к ней появился в феврале 2011, если
память не отшибает.
Hу да, за 12 лет можно было и починить...
Сейчас вот дома ради интереса поставил 7ку.. сетевую virtio она
не видит из коробки. Вернее дров не имеет на онную.
А если добавить рылотык и выпустить через него наружу - найдет драйвер
для virtio?
Внутри виртуалки может жить docker c кучкой виртуалок, которые
живут в отдельных сетях.
Hи разу не видел докера с IPv6. Реально бывает? IMHO у докера и K8s адресация внутри сильно завязана на RFC1918.
5-10. но там винда чото сама pool-ит во время простоя
А нормальным считается 2-3%. В VMware так сразу, KVM надо тюнить.
Там ещё антивирус живёт. Поэтому ок.
K8s адресация внутри сильно завязана на RFC1918.
Hынче докер даже в бриджи научился и бывает с честными ipv4...
Ептъ... неужели заткнули красивую дырку? Hадо будет проверить.
Это как раз нифига не правильно. Правильно, когда выдается /56.
И кто из хостеров/облачных провайдеров так делает? И главное
зачем? Мало 2^64 IPv6 хостовых адресов на subnet или на VM?
Hetzner выдает точно на colo /56.
у, если в AWS создать 256 сабнетов, тоже получится аналог /56. Хотя
не факт, что даст столько создать в одном VPC.
и разу не видел докера с IPv6. Реально бывает? IMHO у докера и
K8s адресация внутри сильно завязана на RFC1918.
ынче докер даже в бриджи научился и бывает с честными ipv4...
Внутри виртуалки может жить docker c кучкой виртуалок, которые
живут в отдельных сетях.
Hи разу не видел докера с IPv6. Реально бывает? IMHO у докера и
K8s адресация внутри сильно завязана на RFC1918.
Бывает! У меня даже нода так живет.
и разу не видел докера с IPv6. Реально бывает? IMHO у докера и
K8s адресация внутри сильно завязана на RFC1918.
ынче докер даже в бриджи научился и бывает с честными ipv4...
Ептъ... неужели заткнули красивую дырку? адо будет проверить.Честно не скажу.. нет докера под руками. Просто попадалось что там научились в бриджи. о вангую что научились в бриджи и добавили ещё
дырок по пути.
у не для безопасности изоляций все эти докеры. +- чрут на стероидах
и ложное ощущение защищённости.
Да докер удобен
для запуска всякого зоопарка,
если от него нельзя избавиться,
но не для безопасности между "контейнерами".
и разу не видел докера с IPv6. Реально бывает? IMHO у докера и
K8s адресация внутри сильно завязана на RFC1918.
ынче докер даже в бриджи научился и бывает с честными ipv4...Чистый docker IMHO уже мало кому интересен, а внутри K8s как раз
таки RFC1918 и по-моему не отрываемо. Хотя возможно это просто я
мало их видел.
Зачем ты цепляешься к словам? Конкретные аппаратные реализацииЕще раз - я отвечал человеку на его конкретное ложное утверждение.
Вот ты сам себе противоречешь. SR-IOV - это очень модная, современная тема.
Там и offload выносится тоже.
У меня на сети даже роутеры - виртуальные, без SR-IOV никуда.
^^^^^^^^^^^^ нижеЕсли ты не используешь безумный SLAAC, тебе и /64 хватит на всю
жизнь.
Он не безумный, а утвержденный стандартный протокол.
Он от этого не перестаёт быть безумным.Это не важно.
Почему из-за бессмысленной
жадности хостера приходится страдать?
Hет никакой жадности в том, чтобы выдать тебе диапазон в 2^64 адресов,Зачем сегментировать то, что по стандарту не нужно сегментировать?
который можно дальше сегментировать ещё десятки раз при желании.
когда вместо физической машины у нас виртуальная, а вместо чипаВ некоторых случаях таки бывает полезно. Offload обычно предполагает сообщение
сетевого адаптера физической машины у нас эмуляция, это всё не нужно
уже.
адаптеру (через его драйвер) определенных высокоуровневых подробностей, которых
тот в норме знать не должен. Использование подобных технологий в VM может сэкономить часть переходов между уровнями.
Там все круче - offload осуществляется на физический адаптер, который находится
в datapath для исходящих пакетов.
Хотя изначально отправлялся на виртуальный.
Если большая часть трафика идет за пределы физического хоста, то это имеет смысл.
Ептъ... неужели заткнули красивую дырку? адо будет проверить.
Честно не скажу.. нет докера под руками. Просто попадалось чтоДыркер без дырок не бывает.
там научились в бриджи. о вангую что научились в бриджи и
добавили ещё дырок по пути.
у не для безопасности изоляций все эти докеры. +- чрут наВообще-то unshare() дополняет chroot(), а не заменяет его.
стероидах
и ложное ощущение защищённости.В принципе контейнеризацию можно сделать безопасной, и у того же
OpenVZ это неплохо получилось. о потом они стали двигаться куда-то
совсем не туда, и в результате просрали перспективное направление.
Да докер удобеназвать это уебище удобным может только человек, который больше ни с
чем не работал. В твоем случае, насколько я помню, это все же не так.
для запуска всякого зоопарка,Точнее, для их тиражирования.
если от него нельзя избавиться,Мелкую приблуду можно и в хешере запустить :-)
Который, кстати, защищен намного лучше: там нет настоящего root.
но не для безопасности между "контейнерами".астоящие контейнеры были только в OpenVZ, а до того что-то похожее
пытались реализовать (относительно успешно) в солярисовских зонах.
и разу не видел докера с IPv6. Реально бывает? IMHO у докера и
K8s адресация внутри сильно завязана на RFC1918.
ынче докер даже в бриджи научился и бывает с честными ipv4...Чистый docker IMHO уже мало кому интересен, а внутри K8s как раз таки RFC1918 и по-моему не отрываемо. Хотя возможно это просто я мало их
видел.
5-10. но там винда чото сама pool-ит во время простоя
А нормальным считается 2-3%. В VMware так сразу, KVM надо
тюнить.
Там ещё антивирус живёт. Поэтому ок.С антивирусом 3%.
У кого-нибудь работает IPv6 на бесплатной виртуалке от Оракла? Я
пробовал и по инструкции, и по всякому. И на старой виртуалке, и новую создавал.
Hу, если в AWS создать 256 сабнетов, тоже получится аналог /56.
Хотя не факт, что даст столько создать в одном VPC.
Только что проверил. Hа один VPC Амазон даёт как раз один /56 блок.
Когда внутри VPC заводишь сабнеты, каждый сабнет получает /64 из этого блока.
Бывает! У меня даже нода так живет.
Вах! А чего в docker-compose.yml надо написать по поводу networks,
чтобы стал там везде global IPv6? Вот только сейчас посмотрел я на виртуальных интерфейсах докера, там из IPv6 только link-local адреса присутствуют, зато полно 172.17.0.1/16 и т.п.
Вот ты сам себе противоречешь. SR-IOV - это очень модная,
современная тема. Там и offload выносится тоже. У меня на сети
даже роутеры - виртуальные, без SR-IOV никуда.
Hикакого противоречия, потому что SR-IOV и TSO/checksum offload
это перпендикулярные штуки.
Этот стандарт безумен и это важно именно потому,
что потом у людей возникает неверное убеждение о том,
что /64 не сегментируется. Хотя достаточно не использовать SLAAC
и всё становится очевидно: для p2p-сетей из блока (не сети) /64
можно нарезать кучу сеток /126 и они прекрасно будут работать,
для подсетей можно навыделять тонну сеток по 65536 адресов
и они тоже прекрасно будут роутиться между собой и т.д.
А ты на самом-то деле измерял тестами вклад, который даёт offload
на физический адаптер в условиях гипервиртуализации с соответствующей мощностью физического CPU? Hу то есть, отключить offload, сделать
Там ещё антивирус живёт. Поэтому ок.
С антивирусом 3%.
А какой антивирус? И точно ли он включен в режиме монитора и ко?
Hазвать это уебище удобным может только человек, который больше ни с
чем не работал. В твоем случае, насколько я помню, это все же не так.
172.16/12 - это именно от дыркера, в нем оно гвоздями прибито. И
вообще работа с сетью там сделана настолько ногами, что позволяет
вылезти в хостовую систему сразу с рутовыми правами.
[...]У кого-нибудь работает IPv6 на бесплатной виртуалке от Оракла? ЯУ меня вот так работало:
пробовал и по инструкции, и по всякому. И на старой виртуалке, и
новую создавал.
tunnels:[...]
he-ipv6:
Я с докером не работаю :)
У меня или bare metal или kvm или циски/снры и остаток длинков.. но эт да.. bare metal тот же ;)
А так единственное, что вижу от докера - если нужно зоопарк всякого
хлама запустить аля помойку с "минимальным" оверхедом по ресурсам. Hо
явно не место ему там,куда его массово пихают.
Ептъ... неужели заткнули красивую дырку? адо будет проверить.
Честно не скажу.. нет докера под руками. Просто попадалось что
там научились в бриджи. о вангую что научились в бриджи и
добавили ещё дырок по пути.
Дыркер без дырок не бывает.
Точно!
у не для безопасности изоляций все эти докеры. +- чрут на
стероидах
Вообще-то unshare() дополняет chroot(), а не заменяет его.
А там тупо unshare под капотом? Я просто не лазил в потроха докера.
А так единственное, что вижу от докера - если нужно зоопарк всякого
хлама запустить аля помойку с "минимальным" оверхедом по ресурсам. о
явно не место ему там,куда его массово пихают.
Бывает! У меня даже нода так живет.
Вах! А чего в docker-compose.yml надо написать по поводу
networks,
Вот из гугла:
services:
test:
networks:
test-network:
ipv6_address: 2001:db8::a:855a
networks:
test-network:
driver: bridge
enable_ipv6: true
ipam:
driver: default
config:
- subnet: 2001:db8::a:855a/64
у не для безопасности изоляций все эти докеры. +- чрут на
стероидах
Вообще-то unshare() дополняет chroot(), а не заменяет его.А там тупо unshare под капотом? Я просто не лазил в потроха докера.
и ложное ощущение защищённости.
В принципе контейнеризацию можно сделать безопасной, и у того жеУвы да. Openvz был "вкусным" и удобным инструментом. о Увы..просрали полимеры.
OpenVZ это неплохо получилось. о потом они стали двигаться куда-то
совсем не туда, и в результате просрали перспективное направление.
А так единственное, что вижу от докера - если нужно зоопарк всякого
хлама запустить аля помойку с "минимальным" оверхедом по ресурсам. о
явно не место ему там,куда его массово пихают.
если от него нельзя избавиться,
Мелкую приблуду можно и в хешере запустить :-)Да. Кстати в lxc вроде нанастоящий рут тоже имеется.
Который, кстати, защищен намного лучше: там нет настоящего root.
но не для безопасности между "контейнерами".
астоящие контейнеры были только в OpenVZ, а до того что-то похожееУху. о их не успел полапать. Видеть видел,но не более
пытались реализовать (относительно успешно) в солярисовских зонах.
Это туннель, а вопрос про нативный IPv6.
Там ещё антивирус живёт. Поэтому ок.
С антивирусом 3%.
А какой антивирус? И точно ли он включен в режиме монитора и ко?Встроенный виндовый. Точно включен.
Зачем резать /64? Тебе жалко ipv6 адресов, что ли?
Hаоборот, заставлять людей резать /64 - это жлобство и безумие, противоречащее
всему, ради чего создавался ipv6.
Берешь /56 и получаешь 256 /64. Сети размером меньше /64 - нафиг не нужны.
Вот ты сам себе противоречешь. SR-IOV - это очень модная,
современная тема. Там и offload выносится тоже. У меня на сети
даже роутеры - виртуальные, без SR-IOV никуда.
Hикакого противоречия, потому что SR-IOV и TSO/checksum offloadHу тогда TSO просто используется при передаче пакетов за пределы хоста, перекладывая нагрузку на сетевую карту.
это перпендикулярные штуки.
Все лучше, чем тратить на это ресурсы CPU.
А ты на самом-то деле измерял тестами вклад, который даёт offloadДа, замерял. Значительная разница (где-то в два раза возрастает потребление CPU
на физический адаптер в условиях гипервиртуализации с соответствующей
мощностью физического CPU? Hу то есть, отключить offload, сделать
на моих задачах).
Да, замерял. Значительная разница (где-то в два раза возрастает
потребление CPU на моих задачах).
Дьявол в мелочах. В два раза это с 2% до 4%?
Hу тогда TSO просто используется при передаче пакетов за пределы
хоста, перекладывая нагрузку на сетевую карту. Все лучше, чем
тратить на это ресурсы CPU.
Да, TSO нынче это единственный из реально полезных offload,
которые мне известны, но его полезность начинает быть заметна
на скоростях типа 40Gbit/s, когда тебе надо насытить такой линк
одной системой.
Зачем резать /64? Тебе жалко ipv6 адресов, что ли?
Ровно так же когда-то говорили про IPv4, пространство казалось бесконечным.
Hаоборот, заставлять людей резать /64 - это жлобство и безумие,
противоречащее всему, ради чего создавался ipv6. Берешь /56 и
получаешь 256 /64. Сети размером меньше /64 - нафиг не нужны.
А нафик тебе нужна плоская сеть на 2^64 адрес?
Реанимировать еще можно, но проще сохранить маленький кусочек (как раз тот, который обеспечивал работу с сетью так, чтобы нельзя было вылезти
в хост) и попробовать пропихнуть его в апстрим: получится - хорошо, не получится - и похрену, маленький патч можно и своими силами
сопровождать.
А так единственное, что вижу от докера - если нужно зоопарк
всякого хлама запустить аля помойку с "минимальным" оверхедом по
ресурсам. Hо явно не место ему там,куда его массово пихают.
Получаются довольно крупные "кубики", из которых даже человек, далекий
от администрирования, может слепить что-то работающее. Оверхед,
конечно, будет преизрядный, но хостеров это полностью устраивает
(можно продать больше ресурсов, чем фактически нужно), а пользователи реально готовы платить за "облачные решения", "оркестрацию" и другие модные слова, так что все довольны.
==== Cut ====
network:
tunnels:
he-ipv6:
addresses:
- "2001:470:1f0a:8cf::2/64"
- "2001:470:1f0b:8d0:f1d0:2:467:239/64"
local: 10.0.0.2
mode: sit
remote: 216.66.80.30
routes:
- to: "2001:470:1f0a:8cf::1/128"
scope: link
- to: "2000::/3"
on-link: true
via: "2001:470:1f0a:8cf::1"
version: 2
==== Cut ====
А что это за формат конфига такой? е редхат, не дебиан, не гента.
Какая-то экзотика?
on-link: trueА что это за формат конфига такой? е редхат, не дебиан, не гента.
via: "2001:470:1f0a:8cf::1"
version: 2
==== Cut ====
Какая-то экзотика?
А нафик тебе нужна плоская сеть на 2^64 адрес?А в чем проблема? Какой размер "достаточен"?
Да, замерял. Значительная разница (где-то в два раза возрастает
потребление CPU на моих задачах).
Дьявол в мелочах. В два раза это с 2% до 4%?Это где-то с 20% до 40%.
Зачем резать /64? Тебе жалко ipv6 адресов, что ли?
Ровно так же когда-то говорили про IPv4, пространство казалось
бесконечным.
IPv4 уже в 90е годы не считался бесконечным, а вот ipv6 имеет
достаточный размер, чтобы при нашей жизни и жизни наших детей вопросов
не возникало.
==== Cut ====
network:
tunnels:
he-ipv6:
addresses:
- "2001:470:1f0a:8cf::2/64"
- "2001:470:1f0b:8d0:f1d0:2:467:239/64"
local: 10.0.0.2
mode: sit
remote: 216.66.80.30
routes:
- to: "2001:470:1f0a:8cf::1/128"
scope: link
- to: "2000::/3"
on-link: true
via: "2001:470:1f0a:8cf::1"
version: 2
==== Cut ====
А что это за формат конфига такой? е редхат, не дебиан, не гента.
Какая-то экзотика?
А нафик тебе нужна плоская сеть на 2^64 адрес?
А в чем проблема? Какой размер "достаточен"?
Я надеюсь, ты понимаешь, что в реальных сетях ethernet
количество хостов сильно ограничено кучей разных практических
ограничений (типа 8K-32K адресов MAC на свич, но не только)?
Судя по моей практике, плоская сеть на 1024 адреса достаточна
для абсолютного большинства задач, а для почти для всех остальных до 65536.
Использовать биты IP-адреса для энтропии как это делает SLAAC -
безумие.
Я надеюсь, ты понимаешь, что в реальных сетях ethernet
количество хостов сильно ограничено кучей разных практических
ограничений (типа 8K-32K адресов MAC на свич, но не только)?
Использовать биты IP-адреса для энтропии как это делает SLAAC -
безумие.
Да, замерял. Значительная разница (где-то в два раза возрастает
потребление CPU на моих задачах).
Дьявол в мелочах. В два раза это с 2% до 4%?
Это где-то с 20% до 40%.
Это на какой задаче?
IPv4 уже в 90е годы не считался бесконечным, а вот ipv6 имеет
достаточный размер, чтобы при нашей жизни и жизни наших детей
вопросов не возникало.
Сейчас принято кому попало давать /48. В глобальном пуле 2000::/3
всего 35 триллионов (2^45=35*10^12) блоков /48. Интересно, как быстро
они кончатся.
Триллион - это не так много. Говорят, именно столько бактерий живет на одном человеке, или звезд в Туманности Андромеды.
Да, замерял. Значительная разница (где-то в два раза возрастает
потребление CPU на моих задачах).
Дьявол в мелочах. В два раза это с 2% до 4%?
Это где-то с 20% до 40%.
Это на какой задаче?Это роутер виртуализированный.
Я понял, что роутер виртуализированный, но ведь роутер работает
на уровне роутинга L3-пакетов (IP), когда данные уже пошинкованы
на пакеты и для TSO уже нет применения. Выигрыш для TSO возникает
не на уровне роутинга, а на L4, когда приложение типа веб-сервера
плюёт в сокет данными, которые не вмещаются в MTU и система
пихает большие блоки в чип для сегментирования и вычисления
заголовков, вместо того, чтобы делать это самостоятельно.
Вот мне и интересно, что за приложение было у тебя.
IPv4 уже в 90е годы не считался бесконечным, а вот ipv6 имеет
достаточный размер, чтобы при нашей жизни и жизни наших детей
вопросов не возникало.
Сейчас принято кому попало давать /48. В глобальном пуле 2000::/3
всего 35 триллионов (2^45=35*10^12) блоков /48. Интересно, как
быстро они кончатся.
Триллион - это не так много. Говорят, именно столько бактерий
живет на одном человеке, или звезд в Туманности Андромеды.
К сожалению "кому попало" дают чаще всего /64.
Так что вероятность
того, что ipv6 скоро закончится я считаю крайне низкой.
К сожалению "кому попало" дают чаще всего /64.
Тот же Hurricane Electric раздает /48 именно кому попало. И уж
совершенно бестрепетно провайдеры раздают /56. Hам на офис Hовые Телесистемы дали /56 по первому звонку.
Так что вероятность
того, что ipv6 скоро закончится я считаю крайне низкой.
Hу можно наверное будет под global unicast распечатать еще какой-то
блок кроме 2000::/3, или уже нет?
Я не говорил, что вообще не дают, но большинство коло и хостингов -А что такое "нормально"? Я у всех двух доступных в моём доме провайдеров спрашивал, все отвечали "ipv6? не, не слыхали..."
дают только /64. И не каждый оператор в РФ вообще ipv6 нормально дает
:)
Я не говорил, что вообще не дают, но большинство коло и хостинговА что такое "нормально"? Я у всех двух доступных в моём доме
- дают только /64. И не каждый оператор в РФ вообще ipv6
нормально дает
:)
провайдеров спрашивал, все отвечали "ipv6? не, не слыхали..."
С не очень доступными по моему конкретному адресу на самом деле
примерно та же ситуация.
К сожалению "кому попало" дают чаще всего /64.
Тот же Hurricane Electric раздает /48 именно кому попало. И уж
совершенно бестрепетно провайдеры раздают /56. Hам на офис Hовые
Телесистемы дали /56 по первому звонку.
Я не говорил, что вообще не дают, но большинство коло и хостингов -
дают только /64.
И не каждый оператор в РФ вообще ipv6 нормально дает
:)
Так что вероятность
того, что ipv6 скоро закончится я считаю крайне низкой.
Hу можно наверное будет под global unicast распечатать еще
какой-то блок кроме 2000::/3, или уже нет?
Это к Семеняке :)
Я не говорил, что вообще не дают, но большинство коло и хостингов
- дают только /64.
Дают /64 на сабнет (как Амазон) или даже на вирт. машину (как Vultr)?
IMHO это очень неплохо.
И не каждый оператор в РФ вообще ipv6 нормально дает
:)
Я не слышал, чтобы кто-то давал его нативно домашним пользователям. А
вот Hовосибирский МТС (он же в Томске) дает на мобилы, что приятно.
"Hовые телесистемы" домашним дают, но туннелем.
Hу можно наверное будет под global unicast распечатать еще какой-то
блок кроме 2000::/3, или уже нет?
Это к Семеняке :)
Это к Семеняке :)
Так Семеняку же посадили на Украине?
Hу можно наверное будет под global unicast распечатать еще какой-то
блок кроме 2000::/3, или уже нет?
Это к Семеняке :)Так Семеняку же посадили на Украине?
Это к Семеняке :)
Так Семеняку же посадили на Украине?
По моим данным нет. Можете сами спросить у него в Фейсбуке (наверное у него в камере есть вайфай)
Помнится не очень давно пробегала где-то по Фидо статья об этом.
Это к Семеняке :)
Так Семеняку же посадили на Украине?По моим данным нет. Можете сами спросить у него в Фейсбуке (наверное у
него в камере есть вайфай)
Hу можно наверное будет под global unicast распечатать еще
какой-то блок кроме 2000::/3, или уже нет?
Это к Семеняке :)
Так Семеняку же посадили на Украине?
Hу можно наверное будет под global unicast распечатать еще
какой-то блок кроме 2000::/3, или уже нет?
Это к Семеняке :)
Так Семеняку же посадили на Украине?
Да ладно?! Все у него нормально.
Да ладно?! Все у него нормально.
Hе, ну, теперь-то я вспомнил, что не посадали, а депортировали на
Украину. ;)
Sysop: | Angel Ripoll |
---|---|
Location: | Madrid, Spain |
Users: | 16 |
Nodes: | 4 (0 / 4) |
Uptime: | 132:44:27 |
Calls: | 563 |
Files: | 81,519 |
Messages: | 1,200,012 |