[image]

Разговоры о компьютерах

 
RU Zenitchik #17.01.2022 22:11  @Gudleifr#17.01.2022 19:06
+
-
edit
 

Zenitchik

старожил

Gudleifr> "снова - за парту"

Не надо было из-за неё вставать. Если человек перестал учиться - значит он мёртв.
   96.0.4664.13796.0.4664.137
+
-
edit
 

Gudleifr

опытный

Сообщение было перенесено из темы Фортран.
<удалено по просьбе администрации>
   97.0.4692.7197.0.4692.71
Это сообщение редактировалось 17.01.2022 в 23:17

  • yacc [17.01.2022 22:51]: Перенос сообщений из Фортран

yacc

старожил
★★★
Gudleifr> Допустим, они тут есть. Как бы выглядело кибернетическое решение Вашей проблемы?
Вся "кибернетика" с веток по программированию будет сноситься
   92.0.4515.10792.0.4515.107
+
-
edit
 

Gudleifr

опытный

Сообщение было перенесено из темы Фортран.
<удалено по просьбе администрации>
   97.0.4692.7197.0.4692.71
Это сообщение редактировалось 17.01.2022 в 23:17

Gudleifr

опытный

yacc> Вся "кибернетика" с веток по программированию будет сноситься

Смешно, особенно учитывая запрос нульпоста
G.s.> Если есть ещё тут люди, которые помнят слово "программирование"

Программирование без кибернетики - это и есть кодирование.
   97.0.4692.7197.0.4692.71
+
+1
-
edit
 

yacc

старожил
★★★
yacc>> Вся "кибернетика" с веток по программированию будет сноситься
Gudleifr> Смешно, особенно учитывая запрос нульпоста
он не просил "кибернетическое" решение
Вашей философии там делать нечего
   92.0.4515.10792.0.4515.107

Gudleifr

опытный

yacc> он не просил "кибернетическое" решение
Может, это ему судить?
   97.0.4692.7197.0.4692.71

yacc

старожил
★★★
yacc>> он не просил "кибернетическое" решение
Gudleifr> Может, это ему судить?
Если захочет - ответит
А где размещать информацию судить администрации
   92.0.4515.10792.0.4515.107

  • yacc [17.01.2022 23:13]: Перенос сообщений из Фортран
RU Валентин_НН #25.02.2022 09:03
+
-
edit
 
LT Bredonosec #25.02.2022 23:22  @Валентин_НН#25.02.2022 09:03
+
+3
-
edit
 
В.Н.> Сюда?
В.Н.> интересно, правда или нет?
если даже да, то он просто [глупый человек]. Ибо тогда просто из принципа и в дальнейшем русскоязычный пользователь его продукты будет искать исключительно в варезниках, дабы не спонсировать спонсора бандитов.
А уж на период запрета - так и вовсе, согласно официальному много где (в том числе и в сша) работающему принципу: "Если легально некий товар не поставляется - разрешено использовать полученный как угодно".
   97.097.0
+
-
edit
 

Garry_s

аксакал

Сюда?
В технологии производства чипов вообще нуль.
Интересно, ни разу про такое не читал, особенно про неон:

"Дело в том, как утверждает интернет-ресурс New Sp, Россия и попадающая под ее контроль Украина являются ключевыми экспортерами неона, палладия и платины, которые имеют решающее значение для производства микрочипов. Если Москва, скажем, обидится из-за запрета импорта самолетов, то может нанести ответку именно здесь."

Как фон дер Ляйен закрывает для россиян берег турецкий

Есть мнение, что не так страшны полупроводниковые санкции, как авиационные //  svpressa.ru
 
   98.0.4758.10198.0.4758.101

sam7

администратор
★★★★★
Пока здесь спрошу, если разовьётся - переедет.

Вопрос о скачивании страниц с google.books

Для скачивания частично открывающихся страниц был скрипт, работал, сейчас уже не работает.

Он был простой, нашёл, где исправить разрешение скачиваемых страниц.

Сделали новый, но там другой принцип, не понимаю, где можно добавить (вообще, чайник в этом).

Могу привести старый и новый скрипты.

Есть кто понимает вопрос и может коррекцию сделать?

Польза для мирового сообщества :)
   107.0107.0

muxel

Энтузиаст реактивного движения
★★
Давайте поглядим.
   107.0.0.0107.0.0.0

sam7

администратор
★★★★★
muxel> Давайте поглядим.

Был такой двухэтажный скрипт, GBookDown

GBookDown - Download Google Books

Saves all available Preview pages from a Google Book as PNGs //  greasyfork.org
 

Работал, там в строке 179 задавалась ширина картинки, 1600, я просто исправил на 3000 и скачивал в максимально возможном размере.

GBookDown - Download Google Books

Saves all available Preview pages from a Google Book as PNGs //  greasyfork.org
 

По умолчанию страницы книг имеют ширину 1280, максимально можно скачать 2500 (по большей стороне), раньше было 3850.

Но уже пару лет этот скрипт не работает с новыми версиями браузеров.

Но вот появился новый, Google Books Preview Pages Downloader

GitHub - mcdxn/google-books-preview-pages-downloader: Download Google Books

Download Google Books. Contribute to mcdxn/google-books-preview-pages-downloader development by creating an account on GitHub. //  github.com
 

Разницы в работе полной и мини версии не увидел.

Мини:

var gbppd=function(){let e=document.getElementById("viewport"),t=null,n=[],o=[],l=document.getElementsByClassName("overflow-scrolling"),i=l[0].scrollHeight,r=0,c="",s=function(e,t){for(let t of e)if("childList"==t.type&&(o=t.target.getElementsByTagName("img")))for(let e of o)n.push(e.src)},a=function(){(r+=700)<i?l[0].scrollBy(0,700):clearInterval©};return{start:function(){(t=new MutationObserver(s)).observe(e,{attributes:!0,childList:!0,subtree:!0}),c=setInterval(a,500)},finish:function(){{let e=new Set(n),o=window.open(),l=0;for(let t of e)o.document.write(''+t+"
"),l+=1;!function(e){!function t(n){n>=e.length||(e[n].href.match(/books.google./)&&e[n].click(),setTimeout(function(){t(n+1)},500))}(0)}(o.document.getElementsByTagName("a")),t&&(t.disconnect(),t=null)}}}}();

По ссылке инструкция, как вводить команды.

Этот скрипт собирает/генерирует ссылки на все доступные страницы и потом их скачивает.

По умолчанию адрес страниц заканчивается на &w=1280 , например

Если бы можно было вставить команду в скрипт, где в адресах страниц производилась бы замена &w=1280 на &w=3000 (после генерации ссылок, но до скачивания), по идее, должно скачать в максимально возможном размере.

ЗЫ

На Chrome не смог заставить скрипт работать, только на Edge получилось, причины не понимаю.
   107.0107.0

muxel

Энтузиаст реактивного движения
★★
Чем ещё заняться в пять утра то? %)

Я взял полную версию, код легче читать, но можно и короткую поправить так же. Нужно учитывать, что у Google Books есть новая версия и старая, скрипт работает только со старой версией, потому нужно открывать страничку книги с ключём &newbks=0, так https://www.google.ru/books/edition/Warship_2020/8BazDwAAQBAJ?hl=ru&gbpv=1&newbks=0.
Ну и должны быть разрешены всплывающие окна для сайта.

1280 точек по умолчанию значение, для максимума просто дабавляю ноль, чтоб было 12800. Всё изменение только в строке 72, итого код строки newWindow.document.write('<a href="' + link + '0" download="' + 'page-0' + pageNum + '">' + link + "0</a>" + "<br>");

Скрипт на мой вкус не очень удобно работает, т.к. потом открывает на автомате скачивание всех ссылок по одной, это можно отключить через удаление строк 76 и 78.

Короткая версия
var gbppd=function(){let e=document.getElementById("viewport"),t=null,n=[],o=[],l=document.getElementsByClassName("overflow-scrolling"),i=l[0].scrollHeight,r=0,c="",s=function(e,t){for(let t of e)if("childList"==t.type&&(o=t.target.getElementsByTagName("img")))for(let e of o)n.push(e.src)},a=function(){(r+=700)<i?l[0].scrollBy(0,700):clearInterval(c)};return{start:function(){(t=new MutationObserver(s)).observe(e,{attributes:!0,childList:!0,subtree:!0}),c=setInterval(a,500)},finish:function(){{let e=new Set(n),o=window.open(),l=0;for(let t of e)o.document.write('<a href="'+t+'0" download="page-0'+l+'">'+t+"0</a><br>"),l+=1;!function(e){!function t(n){n>=e.length||(e[n].href.match(/books.google./)&&e[n].click(),setTimeout(function(){t(n+1)},500))}(0)}(o.document.getElementsByTagName("a")),t&&(t.disconnect(),t=null)}}}}();

Делал на Firefox 107. На Edge медленнее работает гораздо, все пустые страницы листает у меня. На Хроме не проверял.

Пожалуйста.
   107.0.0.0107.0.0.0
24.11.2022 12:40, sam7: +1: Спасибо большое

muxel

Энтузиаст реактивного движения
★★
А вообще сейчас модно книшки скачивать через бот в Телеграме

Books

You can contact @gooboo_bot right away. //  t.me
 
   107.0.0.0107.0.0.0

sam7

администратор
★★★★★
muxel> Нужно учитывать, что у Google Books есть новая версия и старая, скрипт работает только со старой версией,

Да, это так, лишь бы доступ к старой не закрыли.

muxel> Делал на Firefox 107. На Edge медленнее работает гораздо, все пустые страницы листает у меня. На Хроме не проверял.

Всё работает и на Edge и на Firefox, на Chrome не работает у меня (как и раньше), но я с ним особо и не старался. У меня свои заморочки - у каждого браузера своя специализация, при скачивании книг нужно периодически всё чистить и менять IP, поэтому я выделил для этого браузер, которым пользуюсь редко, для второстепенных целей.

Разницы в скорости у меня нет, но даже и если она у кого и есть, эти лишние секунды на скачивание во всём процессе не так важны, основное время уходит на изменение нумерации страниц, чистку, смену IP и добывание доступа к страницам.

Сказанное относится и к несовершенству скрипта, ни в старом не было, ни в новом нет присвоения истинного номера страницы (тот, который после PA или PT).

В любом случае, большое спасибо, всё работает.

ЗЫ

А в соцсетях меня нет, так что телеграм-ботом не могу воспользоваться.
А он что, намного лучше этого скрипта работает? Если да, то в чём?
   107.0107.0

muxel

Энтузиаст реактивного движения
★★
sam7> Сказанное относится и к несовершенству скрипта, ни в старом не было, ни в новом нет присвоения истинного номера страницы (тот, который после PA или PT).

Я не настоящий программист, у меня первая идея возникла распарсить ссылки в Excel и пересобрать там же как нужно с подстановкой в имя файла, простейшая задача мне кажется на первый взгляд.

sam7> А в соцсетях меня нет, так что телеграм-ботом не могу воспользоваться.

Вы же сами сказали, что у вас разные браузеры под разные задачи. Берёте симку у метро анонимную (могу я выдать) и заводите отдельный Телеграмм под задачу :p

sam7> А он что, намного лучше этого скрипта работает? Если да, то в чём?

Я не пользовался ещё. Как я понял, он берет на себя задачи со всеми этими сменами IP адресов и пр. Из-за этого ваш запрос может выполняться довольно продолжительное время, даже недели, чтоб собрать максимальное количество страничек. Давайте ссылку и на практике узнаем.
   107.0.0.0107.0.0.0

sam7

администратор
★★★★★
sam7>> Сказанное относится и к несовершенству скрипта, ни в старом не было, ни в новом нет присвоения истинного номера страницы (тот, который после PA или PT).
muxel> Я не

Вы сделали большое дело :)
Под старым и новым скриптами я подразумевал оные из сети.
А так, перенумерация отнимает больше всего времени, особенно, когда уходишь в зону с пропущенными страницами.

sam7>> А он что, намного лучше этого скрипта работает? Если да, то в чём?
muxel> Я не пользовался ещё. Как я понял, он берет на себя задачи со всеми этими сменами IP адресов и пр. Из-за этого ваш запрос может выполняться довольно продолжительное время, даже недели, чтоб собрать максимальное количество страничек. Давайте ссылку и на практике узнаем.

Ну... Я за два часа справляюсь с книгой на 200-250 страниц, а это обычный "мой" размерчик.

Пример?
Ну, тот же

Warship 2022

A celebrated annual publication featuring the latest research on history, development, and service of the world's warships.For 45 years, Warship has been the leading annual resource on the design, development, and deployment of the world's combat ships. Featuring a broad range of articles from a select panel of distinguished international contributors, this latest volume combines original research, new book reviews, warship notes, an image gallery, and much more, maintaining the impressive standards of scholarship and research with which Warship has become synonymous. Detailed and accurate information is the keynote of all the articles, which are fully supported by plans, data tables, and stunning photographs.The varied topics in this year's annual includes articles on the Imperial Japanese Navy carriers Soryu and Hiryu, post-war radar development in the Royal Navy, gunboats in the Imperial German Navy, Soviet battleship designs of the early Second World War, modern European frigates, and the origins of the Yokosuka naval yard. //  books.google.com
 
   107.0107.0

muxel

Энтузиаст реактивного движения
★★
sam7>>> Сказанное относится и к несовершенству скрипта, ни в старом не было, ни в новом нет присвоения истинного номера страницы (тот, который после PA или PT).
sam7> А так, перенумерация отнимает больше всего времени, особенно, когда уходишь в зону с пропущенными страницами.

Я понял задачу. Чтобы файлы можно было скачивать с минимальным ручным трудом под именами типа pg=PP1 из URL, который генерит скрипт выше. Попробую сделать, но позже.

sam7> Ну... Я за два часа справляюсь с книгой на 200-250 страниц, а это обычный "мой" размерчик.

Сейчас запущу и засеку время. Ну и два часа можно потратить тогда будет на вымарывание номеров карт из спам-сообщений на форуме! :p Извините.
   107.0.0.0107.0.0.0

muxel

Энтузиаст реактивного движения
★★
sam7> Пример?
sam7> Ну, тот же
sam7> Warship 2022 - Google Книги

Сколько страниц вы вытянули и за какое время? Бот говорит что максимум можно вытащить 193 из 225. Ну и результат по полной готовности всех доступных страниц или через 30 дней максимум или если три дня не получится вытянуть ни одной новой страницы... Ждём!
   107.0.0.0107.0.0.0

sam7

администратор
★★★★★
muxel> Я понял задачу. Чтобы файлы можно было скачивать с минимальным ручным трудом под именами типа pg=PP1 из URL, который генерит скрипт выше.

Небольшое уточнение, но это важно.

Книги бывают в препринте (в высоком качестве), тогда страницы PA (титульная - PP, обычно одна, редко -2, больше - очень редко).

При поиске гугл чаще выдаёт ссылку на книгу в ухудшенном варианте (который и продаётся на Амазоне и т.п., как электронная книга), то, что распространяется, как epub. Там страницы нумеруются, как PT.

При автоматизации две главных проблемы (которые можно решить, не взламывая сам гугл :) )

- скачивание в максимально возможном размере (Вы уже сделали)
- нумерация истинным номером, указанным в ссылке на картинку.

Остальное - смена IP, выковыривание доступа к очередному диапазону страниц - относится к квесту :)

Нуачо, интересно, в игры давно не играю, а здесь польза реальная - выковырял - на форуме выложил.
   107.0107.0

sam7

администратор
★★★★★
muxel> Сколько страниц вы вытянули и за какое время? Бот говорит что максимум можно вытащить 193 из 225.

85%, это стандарт.
Иногда бывает до 90%.

Время уже говорил, наловчился, часа два, с изменением разрешения по каждой странице индивидуально.

С Вашим скриптом на такую книгу (200-250 стр.) ушло бы не больше часа. Причём две трети, если не больше - на перенумерацию (учитывая разбирательство, что скачалось, а что - нет).
   107.0107.0

sam7

администратор
★★★★★
muxel> Бот говорит что максимум можно вытащить 193 из 225.

Должен отметить, что бот умный. Назвал полное число потенциально открываемых страниц.

Ни один из скриптов не мог определить, а сколько всего страниц будет доступно, после неоднократной смены IP.
   107.0107.0
RU johnkey68 #27.11.2022 04:36
+
-
edit
 

johnkey68

старожил
★★★★★

Не вынесла душа поэта :)
Заказал очередного монстра от MSI .
MSI GE77 HX Raider 12UGS , Quad HD 2K (2560x1440), IPS, Intel Core i7-12800HX, RAM 32 ГБ, SSD 2000 ГБ чтение 7000 МБ/сек, запись 5200 МБ/сек, GeForce RTX 3070 Ti 8 ГБ, Windows 11 Home , жду , вот-вот привезут .
Столько лет лукался от восьмерки , десятки , как упоротый сидел на семерке . Верной и надежной , как в 2009-ом купил один из роговских асусов , штатовскую версию , поставил русс офф винду , с пляскми и бубнами активировал штатовским ключом , так и клонировал ее через три бука . Пашет роднуля и по сей день .
Что теперь и как с ней обращаться , даже страшновато , бают она вся какая то чужая .
В общем , чую , буду веселиться . Надо столько всего со старого перетащить . А графичецький контент , с ним что делать ? Ладно на Адобе пакет , выхаерю у сына корпоративный ключик , а может и нет . Черт их знает с их сисадминской политикой . А с прочей составляющей что и как ? Плагины ? Эйсидиси . Обленился за крайние годы , просто в край обленился , даже по сайтам кумпуютерной направленности не лазил , все настроено , кукурутицо , вертицо , шепчет , твою ж мать , купила папа порося ... :eek: :D
Пора бежать за армянским ...
   107.0.0.0107.0.0.0

в начало страницы | новое
 
Поиск
Настройки
Твиттер сайта
Статистика
Рейтинг@Mail.ru