-
kernel panic
need helpТеги:
Balancer
Сегодня удалось поймать причину периодических подвисов сервера в домашнем варианте. Забавно, что с USB-клавиатурой не было никаких kernel panic'ов, просто мёртвый вис, через раз — с отключенным питанием (или это была другая ошибка?). Воткнул «про запас» PS/2 клаву — и готово. Сервер отработал 5 дней и грохнулся с привычным миганием лампочек и трейсом на экране.
См. аттач. Ядро linux-3.10.7-gentoo
Увы, нагуглить чего-то убедительного по этому вопросу не смог. Как я понимаю, проблема какая-то то ли с CPU планировщиком, то ли с таймерной подсистемой. Текущие настройки:
Есть у кого мысли, куда копать?
Поменял пока на
CONFIG_CPU_FREQ_TABLE=y
CONFIG_CPU_FREQ_STAT=y
CONFIG_CPU_FREQ_DEFAULT_GOV_ONDEMAND=y
CONFIG_CPU_FREQ_GOV_POWERSAVE=y
CONFIG_CPU_FREQ_GOV_USERSPACE=y
CONFIG_CPU_FREQ_GOV_ONDEMAND=y
CONFIG_CPU_FREQ_GOV_CONSERVATIVE=y
Из серии «дверьми похлопать, багажник открыть».
См. аттач. Ядро linux-3.10.7-gentoo
Увы, нагуглить чего-то убедительного по этому вопросу не смог. Как я понимаю, проблема какая-то то ли с CPU планировщиком, то ли с таймерной подсистемой. Текущие настройки:
code text
- $ zcat /proc/config.gz | grep HZ
- CONFIG_NO_HZ_COMMON=y
- # CONFIG_HZ_PERIODIC is not set
- CONFIG_NO_HZ_IDLE=y
- # CONFIG_NO_HZ_FULL is not set
- CONFIG_NO_HZ=y
- # CONFIG_RCU_FAST_NO_HZ is not set
- # CONFIG_HZ_100 is not set
- # CONFIG_HZ_250 is not set
- # CONFIG_HZ_300 is not set
- CONFIG_HZ_1000=y
- CONFIG_HZ=1000
code text
- $ zcat /proc/config.gz | grep CPU_FREQ
- CONFIG_CPU_FREQ=y
- CONFIG_CPU_FREQ_TABLE=m
- CONFIG_CPU_FREQ_GOV_COMMON=y
- CONFIG_CPU_FREQ_STAT=m
- # CONFIG_CPU_FREQ_STAT_DETAILS is not set
- CONFIG_CPU_FREQ_DEFAULT_GOV_PERFORMANCE=y
- # CONFIG_CPU_FREQ_DEFAULT_GOV_USERSPACE is not set
- # CONFIG_CPU_FREQ_DEFAULT_GOV_ONDEMAND is not set
- # CONFIG_CPU_FREQ_DEFAULT_GOV_CONSERVATIVE is not set
- CONFIG_CPU_FREQ_GOV_PERFORMANCE=y
- CONFIG_CPU_FREQ_GOV_POWERSAVE=m
- CONFIG_CPU_FREQ_GOV_USERSPACE=m
- CONFIG_CPU_FREQ_GOV_ONDEMAND=m
- CONFIG_CPU_FREQ_GOV_CONSERVATIVE=m
Есть у кого мысли, куда копать?
Поменял пока на
CONFIG_CPU_FREQ_TABLE=y
CONFIG_CPU_FREQ_STAT=y
CONFIG_CPU_FREQ_DEFAULT_GOV_ONDEMAND=y
CONFIG_CPU_FREQ_GOV_POWERSAVE=y
CONFIG_CPU_FREQ_GOV_USERSPACE=y
CONFIG_CPU_FREQ_GOV_ONDEMAND=y
CONFIG_CPU_FREQ_GOV_CONSERVATIVE=y
Из серии «дверьми похлопать, багажник открыть».
Прикреплённые файлы:
инфо
инструменты
Bod
Balancer> См. аттач. Ядро linux-3.10.7-gentoo
А не хочешь попробовать поигратья с noapic, nolapic etc.?
А не хочешь попробовать поигратья с noapic, nolapic etc.?
Floyd
Balancer> См. аттач. Ядро linux-3.10.7-gentoo
Что бы не скриншотить куски вывода:
PS: На скрине не видно процессора и стектрейса который реально спаниковал. Тот кусок что мы видим это CPU2 с swapper, т.е. на нем реально в данный момент ничего не исполнялось. В то время как паника похоже произошла в процессе обработки (отложенного) прерывания.
Что бы не скриншотить куски вывода:
Kernel Crash Dumps - Gentoo Wiki
This article explains how to capture the kernel crash dumps (kdump). Kdumps are produced by kernel panic or lockup. To be simple, just a single kernel is used both for the ordinary system and recovery. The described method is almost distro independent. This article is based on KDump on Gentoo by rich0, and the first version is posted by the author. You need to activate the following kernel options: Install sys-apps/kexec-tools: Create /etc/local.d/kdump.start containing: Now make this file executable: Note that your kernel has to be readable. // Дальше — wiki.gentoo.orgPS: На скрине не видно процессора и стектрейса который реально спаниковал. Тот кусок что мы видим это CPU2 с swapper, т.е. на нем реально в данный момент ничего не исполнялось. В то время как паника похоже произошла в процессе обработки (отложенного) прерывания.
Это сообщение редактировалось 30.09.2013 в 19:52
Не знаю, имеет ли это отношение к твоему случаю, но как вариант
Comment by Christian Hesse (eworm) - Thursday, 22 August 2013, 15:51 GMT
The reported problem is completely unrelated to the Radeon graphics. The panic occurs when a division by zero happens in brcms_c_calc_frame_time(). The best solution to date is to disable CCK rates for Broadcom hardware as Felix Fietkau proposes:This works reliable and makes the system stable again. I have changed the patch to apply to a 3.10.y stable kernel:http://www.eworm.de/download/linux/mac80211_cck_rates.patchPlease apply to Arch default kernel.Re: [REGRESSION] 3.10.{6,7} crashes on network activity | Linux | Kernel
Re: 3.10.{6,7} crashes on network activity Linux Kernel // www.gossamer-threads.com
Comment by Dave Aitken (actionshrimp) - Wednesday, 04 September 2013, 20:40 GMT
Looks like this is fixed in 3.11-1 (currently in the testing repo)
Comment by Christian Hesse (eworm) - Tuesday, 17 September 2013, 07:17 GMT
linux 3.11.1-1 is in [core], so we can close this.
FS#36539 : [linux] 3.10.6-2 kernel panic Radeon 6320
Flyspray, a Bug Tracking System written in PHP. // bugs.archlinux.org
Это сообщение редактировалось 30.09.2013 в 21:04
Floyd> Что бы не скриншотить куски вывода
Да, надо попробовать. Хотя не уверен, что оно позволит по сети сбросить дамп. А в интерактивном варианте бесполезно, поскольку несовместимо с framebuffer.
Да, надо попробовать. Хотя не уверен, что оно позволит по сети сбросить дамп. А в интерактивном варианте бесполезно, поскольку несовместимо с framebuffer.
Floyd> Не знаю, имеет ли это отношение к твоему случаю, но как вариант
>The reported problem is completely unrelated to the Radeon graphics
Не, у меня Intel встроенный.
>The reported problem is completely unrelated to the Radeon graphics
Не, у меня Intel встроенный.
Balancer> Не, у меня Intel встроенный.
Не, это название темы. Там грешат и вроде как излечивают на Broadcom
The panic occurs when a division by zero happens in brcms_c_calc_frame_time(). The best solution to date is to disable CCK rates for Broadcom hardware as Felix Fietkau proposes:
ЗЫ Выделил жирным выше
Не, это название темы. Там грешат и вроде как излечивают на Broadcom
The panic occurs when a division by zero happens in brcms_c_calc_frame_time(). The best solution to date is to disable CCK rates for Broadcom hardware as Felix Fietkau proposes:
ЗЫ Выделил жирным выше
Floyd>> Что бы не скриншотить куски вывода
Balancer> Да, надо попробовать. Хотя не уверен, что оно позволит по сети сбросить дамп. А в интерактивном варианте бесполезно, поскольку несовместимо с framebuffer.
Вообще-то он должен весь дамп сгружать на диск. По крайней мере на RedHat-то подобных все прекрасно работало.
Balancer> Да, надо попробовать. Хотя не уверен, что оно позволит по сети сбросить дамп. А в интерактивном варианте бесполезно, поскольку несовместимо с framebuffer.
Вообще-то он должен весь дамп сгружать на диск. По крайней мере на RedHat-то подобных все прекрасно работало.
Floyd> Вообще-то он должен весь дамп сгружать на диск.
Ему для этого раздел надо выделять, который он при этом убивает. Не знаю, может ли он сгрузить дамп на LVM-раздел. А физических лишних у меня нет. Разве что флешку воткнуть
Но как-то стрёмно — а ну как в kexec ядре нумерация дисков поедет и он грохнет мне нормальный диск?
Ему для этого раздел надо выделять, который он при этом убивает. Не знаю, может ли он сгрузить дамп на LVM-раздел. А физических лишних у меня нет. Разве что флешку воткнуть
Но как-то стрёмно — а ну как в kexec ядре нумерация дисков поедет и он грохнет мне нормальный диск?
Floyd> Не, это название темы. Там грешат и вроде как излечивают на Broadcom
Broadcom у меня тоже нет Попозже гляну, что там пишут подробнее.
Я пока смотрел на:
[round_box]
NOHZ: WARNING: at arch/x86/kernel/smp.c:123 native_smp_send_reschedule - answer - Hi, I just got the warning below when resuming from hibernation with kernel that has NO_HZ_FULL_ALL=y. This is with topmost commit e0fd9affeb640. [ snip ] PM: Hibernation mode set to 'shutdown' PM: Marking nosave pages: PM: Marking nosave pages: PM: Marking nosave pages: PM: Marking nosave pages: [mem
// us.generation-nt.com[/round_box]
Broadcom у меня тоже нет
Попозже гляну, что там пишут подробнее.Я пока смотрел на:
Группы Google
В Google Группах можно создавать и посещать форумы, общение в которых происходит онлайн или по электронной почте. // groups.google.comAnswer : NOHZ: WARNING: at arch/x86/kernel/smp.c:123 native_smp_send_reschedule
NOHZ: WARNING: at arch/x86/kernel/smp.c:123 native_smp_send_reschedule - answer - Hi, I just got the warning below when resuming from hibernation with kernel that has NO_HZ_FULL_ALL=y. This is with topmost commit e0fd9affeb640. [ snip ] PM: Hibernation mode set to 'shutdown' PM: Marking nosave pages: PM: Marking nosave pages: PM: Marking nosave pages: PM: Marking nosave pages: [mem
// us.generation-nt.com[/round_box]
Floyd>> Вообще-то он должен весь дамп сгружать на диск.
Balancer>Не знаю, может ли он сгрузить дамп на LVM-раздел.
Может
Next, consider editing the kdump configuration file /etc/kdump.conf. This will allow you to write the dump over the network or to some other location on the local system, rather than to the default location of /var/crash. For additional information, consult the mkdumprd man page and the comments in /etc/kdump.conf.
Balancer>Не знаю, может ли он сгрузить дамп на LVM-раздел.
Может
Next, consider editing the kdump configuration file /etc/kdump.conf. This will allow you to write the dump over the network or to some other location on the local system, rather than to the default location of /var/crash. For additional information, consult the mkdumprd man page and the comments in /etc/kdump.conf.
code text
- [root@vm ~]# ll /var/crash/
- total 0
- [root@vm ~]# mount
- /dev/mapper/vg_livecd-lv_root on / type ext4 (rw)
- proc on /proc type proc (rw)
- sysfs on /sys type sysfs (rw)
- devpts on /dev/pts type devpts (rw,gid=5,mode=620)
- tmpfs on /dev/shm type tmpfs (rw,rootcontext="system_u:object_r:tmpfs_t:s0")
- /dev/sda1 on /boot type ext4 (rw)
- none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
- sunrpc on /var/lib/nfs/rpc_pipefs type rpc_pipefs (rw)
- [root@vm ~]#
- [root@vm ~]#
- [root@vm ~]# echo c > /proc/sysrq-trigger
- login as: root
- root@vm.local's password:
- Last login: Sat Sep 28 10:58:58 2013 from 192.168.1.243
- [root@vm ~]# ll /var/crash/
- total 4
- drwxr-xr-x. 2 root root 4096 Oct 1 01:34 127.0.0.1-2013-10-01-01:33:58
- [root@vm ~]# date
- Tue Oct 1 01:37:21 MSK 2013
- [root@vm ~]#
Floyd> Может
Ок, тогда гут Попробую.
Ок, тогда гут
Попробую.
Balancer @AirbaseRu
Сервер упал с kernel panic :-/ Странно. Сейчас перезагружается.
Дамп есть?
Floyd> Дамп есть?
Не-а, я так и не собрался сделать сетевые дампы и т.п. Давно без проблем работало. Но в этом случае хотя бы с поводом понятно — я втыкал внешний USB-HDD. Как выдернул, так оно и в панику.
Не-а, я так и не собрался сделать сетевые дампы и т.п. Давно без проблем работало. Но в этом случае хотя бы с поводом понятно — я втыкал внешний USB-HDD. Как выдернул, так оно и в панику.
Copyright © Balancer 1997..2018
Создано 30.09.2013
Связь с владельцами и администрацией сайта: anonisimov@gmail.com, rwasp1957@yandex.ru и admin@balancer.ru.
Создано 30.09.2013
Связь с владельцами и администрацией сайта: anonisimov@gmail.com, rwasp1957@yandex.ru и admin@balancer.ru.
