@MSGID: <87plrsvqqt.fsf@raspberrypi> fe3cbe59
@REPLY: 1:229/664.0 3c366390
@INTL 3:770/1 3:770/3
@REPLYADDR me@sc1f1dan.com
@REPLYTO 3:770/3.0 UUCP
@PID: SoupGate-Win32 v1.05
nospam.Jay.Harris@f664.n229.z1.fidonet.org (Jay Harris) writes:

> On 02 Jul 2024, Daniel said the following...
>
>  Da> If I attempt accessing it with lynx, I get this generic error:
>  Da>
>  Da> "Due to aggressive automated scraping of FederalRegister.gov and
>  Da> eCFR.gov, programmatic access to these sites is limited to access to our
>  Da> extensive developer APIs."
>  Da>
>  Da> I don`t get this message on a normal javascript enabled browser. I
>  Da> surmise it views queries from non-javascript browsers as a curl-like
>  Da> command.
>
> I don`t know if you can change the user agent in lynx, but try and see if it
> works with curl.
>
> e.g:
> agent="Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:127.0) Gecko/20100101
> Firefox/127.0"
>
> curl -A "$agent" 
>
>
> I`ve had to do this in the past when pulling information for weather, they
> stopped allowing curl, but simply changing the user agent allowed it to work.

Okay thanks. Do you have an opinion on the door idea by chance?

--- SoupGate-Win32 v1.05
 * Origin: Agency HUB, Dunedin - New Zealand | Fido<>Usenet Gateway (3:770/3)
SEEN-BY: 50/109 103/705 124/5016 153/757 154/10 30
203/0 218/840 220/70 221/0
SEEN-BY: 221/1 6 226/17 100 229/664 240/1120 5832
267/800 280/464 5003
SEEN-BY: 292/854 8125 301/1 113 708 335/364 341/66
234 396/45 423/120 460/58
SEEN-BY: 467/888 633/280 712/848 770/1 3 100 340
772/210 220 230 3634/12
SEEN-BY: 5000/111 5001/100 5005/49 5019/40 5020/329
400 715 830 848 1042 4441
SEEN-BY: 5020/12000 5030/49 1081 5053/51 5054/8
5061/133 5075/128 5083/1 444
@PATH: 770/3 1 280/464 301/1 5020/1042 4441