Hlavní navigace

HTTP klient pomocí Ruby Net:HTTP a Sinatra

Ján Bodnár

Ukážeme si, ako vytvoriť HTTP klientov pomocou modulu Ruby Net::HTTP. Vytvoríme skripty, ktoré budú sťahovať a posielať dáta, pracovať s JSON a napoja sa na zabezpečenú stránku.

Net:HTTP

HTTP je internetový protokol určený pre výmenu hypertextových dokumentov vo formáte HTML. Net:HTTP je štandardný Ruby modul pre vytváranie HTTP klientov pomocou ktorých posielame HTTP požiadavky a prijímame HTTP odpovede. Ruby má vo svojom obsiahlom balíčkovom systéme viaceré ďalšie knižnice pre prácu s HTTP, napríklad Faraday, HTTPClient, alebo rest-client.

Sinatra

Sinatra je populárny webový aplikačný framework určený pre jazyk Ruby. Jeho popularita pramení hlavne z jednoduchosti, s akou si môžeme vytvárať menšie webové aplikácie. Sinatra je alternatívou k Ruby on Rails, ktorý je v súčasnosti najpopulárnejší Ruby framework; má však oveľa strmšiu krivku učenia. Sinatra má domovskú stránku na www.sinatrarb.com.

Niektorí z našich klientov sa budú napájať na Sinatra aplikácie.

$ sudo gem install sinatra
$ sudo gem install thin

Pomocou týchto príkazov si nainštalujeme Sinatru a webový server Thin. Ak je Thin nainštalovaný, Sinatra si ho automaticky zvolí namiesto zabudovaného serveru WEBrick.

Vytvorme si projektový adresár a v ňom nasledujúci main.rb  súbor:

require 'sinatra'

get '/' do
    "First application"
end

V tejto jednoduchej Sinatra aplikácii reagujeme na prístup k ceste /. Aplikácia vracia krátku správu klientovi.

$ ruby main.rb
== Sinatra (v1.4.7) has taken the stage on 4567 for development with backup from Thin
Thin web server (v1.6.4 codename Gob Bluth)
Maximum connections set to 1024
Listening on localhost:4567, CTRL+C to stop

Aplikáciu štartujeme príkazom ruby main.rb. Spustí sa Thin server, ktorý načúva na porte 4567.

$ curl localhost:4567/
First application

Pomocou utility curl sa pripojíme na server a na cestu /. Na termináli sa nám zobrazí správa.

V príkladoch, kde budeme mať Sinatra aplikáciu, si vždy najprv spustíme Sinatru pomocou $ ruby main.rb v jednom termináli a v inom spustíme Ruby HTTP klienta, ktorý sa bude pripájať a aplikácii; napríklad: $ ./get_content.rb.

Stiahnutie obsahu stránky

Metóda get_print je vysokoúrovňovou metódou na stiahnutie obsahu dokumentu. Metóda zároveň zobrazí stiahnutý obsah na termináli.

#!/usr/bin/ruby

require 'net/http'

uri = URI 'http://www.something.com/'

Net::HTTP.get_print uri

Skript stiahne obsah stránky www.something.com. Modul net/http úzko spolupracuje s modulom uri.

require 'net/http'

Tento príkaz nám dáva prístup k obom modulom: net/http a uri; takže nemusíme použiť príkaz zvlášť aj pre uri.

$ ./get_content.rb
<html><head><title>Something.</title></head>
<body>Something.</body>
</html>

Toto je výstup programu get_content.rb.

Nasledujúci program stiahne webový dokument a odstráni z neho HTML značky.

#!/usr/bin/ruby

require 'net/http'

uri = URI "http://www.something.com/"

doc = Net::HTTP.get uri

puts doc.gsub %r{</?[^>]+?>}, ''

Tento skript využíva metódu get na stiahnutie obsahu stránky www.something.com a odstráni z neho HTML značky.

puts doc.gsub %r{</?[^>]+?>}, ''

Na odstránenie HTML značiek využijeme regulárny výraz.

$ ./strip_tags.rb
Something.
Something.

Skript zobrazí titulok a obsah stránky.

Status

Metódy code a message nám udávajú status HTTP odpovede.

#!/usr/bin/ruby

require 'net/http'

uri = URI 'http://www.something.com'
res = Net::HTTP.get_response uri
puts res.message
puts res.code

uri = URI 'http://www.something.com/news/'
res = Net::HTTP.get_response uri
puts res.message
puts res.code

uri = URI 'http://www.urbandicionary.com/define.php?term=Dog'
res = Net::HTTP.get_response uri
puts res.message
puts res.code

V tomto programe pošleme tri rôzne HTTP požiadavky pomocou metódy get_response a zistíme status HTTP odpovedí.

uri = URI 'http://www.something.com/news/'
res = Net::HTTP.get_response uri
puts res.message
puts res.code

Status HTTP odpovede získame pomocou metód message a code. Keďže daný zdroj nie je platný, dostaneme ako odpoveď kód 404, Not Found.

$ ./status.rb
OK
200
Not Found
404
Found
302

200 je kód pre úspešnú HTTP požiadavku, 404 nám hovorí, že daný zdroj nebolo možné nájsť a 302 znamená, že zdroj bol dočasne premiestnený.

Metóda head

Metóda head slúži na získanie hlavičky dokumentu. Hlavička obsahuje rôzne polia opisujúce dokument, napríklad názov obsluhujúceho servera, typ a veľkosť dokumentu, alebo čas poslednej modifikácie dokumentu. Týmto informáciám sa hovorí metadáta.

#!/usr/bin/ruby

require 'net/http'

uri = URI "http://www.something.com"
http = Net::HTTP.new uri.host, uri.port

res = http.head '/'

puts res['server']
puts res['date']
puts res['last-modified']
puts res['content-type']
puts res['content-length']

Program stiahne HTML dokument z adresy www.something.com a vypíše názov servera, dátum HTTP odpovede, čas poslednej modifikácie dokumentu, typ dokumentu a jeho veľkosť.

$ ./head.rb
Apache/2.4.12 (FreeBSD) OpenSSL/1.0.1l-freebsd mod_fastcgi/mod_fastcgi-SNAP-0910052141
Wed, 11 May 2016 19:30:56 GMT
Mon, 25 Oct 1999 15:36:02 GMT
text/html
77

Z výstupu vidíme, že webové stránky manažuje server Apache na operačnom systéme FreeBSD. Dokument bol naposledy modifikovaný v roku 1999. Stiahnutým obsahom je HTML dokument, ktorý má veľkosť 77 bajtov.

Metóda get

Metóda get vykoná požiadavku GET smerom k serveru. GET žiada server o špecifický zdroj.

require 'sinatra'

get '/greet' do
    "Hello #{params[:name]}"
end

Toto je súbor aplikácie Sinatra. Keď zachytíme prístup k ceste /greet, vrátime správu, ktorá bude obsahovať meno zaslané klientom.

#!/usr/bin/ruby

require 'net/http'

uri = URI "http://localhost:4567/greet"

params = { :name => 'Peter' }
uri.query = URI.encode_www_form params

puts Net::HTTP.get uri

Tento skript pošle premennú s hodnotou našej Sinatra aplikácii. Premenná je zakódovaná do URL identifikátora.

params = { :name => 'Peter' }

Toto je parameter, ktorý zašleme serveru.

uri.query = URI.encode_www_form params

Parameter zakódujeme do identifikátora zdroja pomocou metódy encode_www_form method.

puts Net::HTTP.get uri

Pomocou metódy get pošleme GET požiadavku serveru. Server nám vráti odpoveď, ktorú vypíšeme na terminál.

$ ./mget.rb
Hello Peter

Toto je výstup programu.

127.0.0.1 - - [11/May/2016:21:51:12 +0200] "GET /greet?name=Peter HTTP/1.1" 200 11 0.0280

V tomto logu servera Thin môžeme vidieť, že parameter bol zakódovaný do URL identifikátora.

User agent

User-Agent je pole hlavičky HTTP požiadavky, ktorou sa identifikuje klient. V ďalšom príklade si ukážeme, ako si nastaviť názov vlastného agenta v požiadavke, ktorú pošleme Sinatra aplikácii.

require 'sinatra'

get '/agent' do
    request.user_agent
end

Táto Sinatra aplikácia zistí názov klienta, ktorý vykonal HTTP požiadavku a pošle ho späť klientovi.

#!/usr/bin/ruby

require 'net/http'

uri = URI "http://localhost:4567"
http = Net::HTTP.new uri.host, uri.port

res = http.get '/agent', {'User-Agent' => 'Ruby script'}
puts res.body

Tento skript pošle GET požiadavku, v hlavičke ktorej sa nachádza nami nastavené pole User-Agent.

res = http.get '/agent', {'User-Agent' => 'Ruby script'}

Voľbu User-Agent sme pridali ako druhý parameter metóde get.

$ ./agent.rb
Ruby script

Server odpovedal názvom nášho klienta, ktorý sme mu zaslali v požiadavke.

Metóda post

Metódou post zašleme požiadavku POST na uvedený URL zdroj. Zasielané dáta nie sú pridané do URL.

require 'sinatra'

post '/target' do
    "Hello #{params[:name]}"
end

Táto Sinatra aplikácia vracia správu v prípade prístupu na cestu /target. Spracuje dáta poslané POST metódou a zahrnie ich do správy klientovi.

#!/usr/bin/ruby

require 'net/http'

uri = URI "http://localhost:4567/target"

params = { :name => 'Peter' }
res = Net::HTTP.post_form uri, params

puts res.body

Tento skript vygeneruje POST požiadavku s premennou name, ktorá má hodnotu Peter. POST požiadavku zabezpečí metóda Net::HTTP.post_form.

$ ./mpost.rb
Hello Peter

Toto je výstup skriptu mpost.rb.

127.0.0.1 - - [12/May/2016:11:36:16 +0200] "POST /target HTTP/1.1" 200 11 0.0006

Z logu web servera vidíme, že požiadavka POST nepridáva posielané dáta do URL zdroja.

Stiahnutie definícií z online slovníka

V ďalšom príklade si vyhľadáme definíciu slova zo stránky www.dictionary.com. Na parsovanie HTML kódu použijeme modul nokogiri. Nokogiri je najobľúbenejší Ruby HTML, XML, SAX a Reader parser. Modul sa nainštaluje príkazom sudo gem install nokogiri.

#!/usr/bin/ruby

require 'net/http'
require 'nokogiri'

term = 'cat'
uri = URI 'http://www.dictionary.com/browse/'+term

res = Net::HTTP.get uri

doc = Nokogiri::HTML res
doc.css("div.def-content").map do |node|
    s = node.text.strip!
    s.gsub!(/\s{3,}/, " ") unless (s == nil)
    puts s unless (s == nil)
end

Pomocou tohto skriptu nájdeme definície slova ‚cat‘ zo stránky www.dictionary.com.

uri = URI 'http://www.dictionary.com/browse/'+term

Zvolený termín pridáme na koniec URL zdroja.

res = Net::HTTP.get uri

Pomocou get metódy získame odpoveď servera, v ktorej sa nachádzajú naše definície.

doc = Nokogiri::HTML res
doc.css("div.def-content").map do |node|
    s = node.text.strip!
    s.gsub!(/\s{3,}/, " ") unless (s == nil)
    puts s unless (s == nil)
end

Definície sa nachádzajú v značke <div class="def-content">. Zlepšíme formátovanie výstupu tým, že odstránime nadmerné biele znaky.

$ ./get_term.rb
a small domesticated carnivore, Felis domestica or F. catus, bred in a number of varieties.
any of several carnivores of the family Felidae, as the lion, tiger, leopard or jaguar, etc.
Slang. a person, especially a man. a devotee of jazz.
a woman given to spiteful or malicious gossip.
the fur of the domestic cat.
...

Toto je skrátený výstup programu.

JSON

JSON (JavaScript Object Notation) je odľahčený formát na výmenu dát. Pre ľudí je čitateľný a pre programy ľahko generovateľný a analyzovateľný.

$ sudo gem install json

Potrebujeme naištalovať modul json.

require 'sinatra'
require 'json'

get '/example.json' do
    content_type :json
    { :name => 'Jane', :age => 17 }.to_json
end

Sinatra aplikácia vracia dáta vo formáte JSON. Na ich generovanie využije metódu to_json.

#!/usr/bin/ruby

require 'net/http'
require 'json'

uri = URI 'http://localhost:4567/example.json'
res = Net::HTTP.get uri

data = JSON.parse res

puts data["name"]
puts data["age"]

Tento skript číta JSON dáta zaslané Sinatra aplikáciou. Na spracovanie JSON dát sa použije metóda JSON.parse.

$ ./parse_json.rb
Jane
17

Toto je výstup programu parse_json.rb.

Ďalej pošleme JSON dáta Ruby programom Sinatra aplikácii.

require 'sinatra'
require 'json'

post '/readjson' do
    data = JSON.parse request.body.read
    "#{data["name"]} is #{data["age"]} years old"
end

Aplikácia spracuje prijaté JSON dáta a zašle ich späť klientovi v textovej správe.

#!/usr/bin/ruby

require 'net/http'
require 'json'

uri = URI 'http://localhost:4567/readjson'

req = Net::HTTP::Post.new uri.path, initheader = {'Content-Type' =>'application/json'}
req.body = {:name => 'Jane', :age => 17}.to_json

res = Net::HTTP.start(uri.hostname, uri.port) do |http|
    http.request req
end

puts res.body

Tento skript pošle JSON dáta Sinatra aplikácii a zobrazí jej odpoveď.

req = Net::HTTP::Post.new uri.path, initheader = {'Content-Type' =>'application/json'}

V hlavičke HTTP požiadavky musíme uviesť typ obsahu 'application/json'.

$ ./post_json.rb
Jane is 17 years old

Toto je výstup príkladu.

Autentifikácia

Modul net/http obsahuje metódu basic_auth na vykonanie základnej HTTP autentifikácie.

$ sudo gem install sinatra-basic-auth

Pre Sinatru nainštalujeme modul sinatra-basic-auth.

require 'sinatra'
require "sinatra/basic_auth"

authorize do |username, password|
    username == "user7" && password == "7user"
end

get '/' do
    "hello"
end

protect do
    get "/secure" do
        "This is restricted area"
    end
end

V Sinatra aplikácii vykonáme autorizáciu a špecifikujeme cestu, ktorá bude vyžadovať autentifikáciu; v našom prípade: /secure.

#!/usr/bin/ruby

require 'net/http'

uri = URI 'http://localhost:4567/secure'

req = Net::HTTP::Get.new uri.path
req.basic_auth 'user7', '7user'

res = Net::HTTP.start uri.hostname, uri.port do |http|
    http.request req
end

puts res.body

Skript sa pokúsi o prístup k zabezpečenému zdroju.

req = Net::HTTP::Get.new uri.path
req.basic_auth 'user7', '7user'

Pomocou metódy basic_auth uvedieme meno a heslo používateľa.

$ ./credentials.rb
This is restricted area

Prístup k zabezpečenému zdroju sa nám podaril.

Zdroje

V tomto článku sme si uviedli základné postupy pre prácu s Ruby modulom Net::HTTP. Aplikácie na strane servera sme si vytvorili pomocou Ruby frameworku Sinatra. V angličtine vyšiel tento článok na autorovej webovej stránke.

Našli jste v článku chybu?
DigiZone.cz: Velká cena v Abú Dhabí: 131 ti­síc diváků

Velká cena v Abú Dhabí: 131 ti­síc diváků

Lupa.cz: Insolvenční řízení kvůli cookies? Vítejte v ČR

Insolvenční řízení kvůli cookies? Vítejte v ČR

Podnikatel.cz: K EET. Štamgast už peníze na stole nenechá

K EET. Štamgast už peníze na stole nenechá

120na80.cz: Horní cesty dýchací. Zkuste fytofarmaka

Horní cesty dýchací. Zkuste fytofarmaka

Měšec.cz: Stavební spoření: alternativa i pro seniory

Stavební spoření: alternativa i pro seniory

Vitalia.cz: Paštiky plné masa ho zatím neuživí

Paštiky plné masa ho zatím neuživí

Vitalia.cz: Taky věříte na pravidlo 5 sekund?

Taky věříte na pravidlo 5 sekund?

120na80.cz: Pánové, pečujte o svoje přirození a prostatu

Pánové, pečujte o svoje přirození a prostatu

Root.cz: Certifikáty zadarmo jsou horší než za peníze?

Certifikáty zadarmo jsou horší než za peníze?

Vitalia.cz: Spor o mortadelu: podle Lidlu falšovaná nebyla

Spor o mortadelu: podle Lidlu falšovaná nebyla

Vitalia.cz: Jmenuje se Janina a žije bez cukru

Jmenuje se Janina a žije bez cukru

Podnikatel.cz: Chtějte údaje k dani z nemovitostí do mailu

Chtějte údaje k dani z nemovitostí do mailu

DigiZone.cz: Flix TV: dva set-top boxy za korunu

Flix TV: dva set-top boxy za korunu

Podnikatel.cz: Snížení DPH na 15 % se netýká všech

Snížení DPH na 15 % se netýká všech

Podnikatel.cz: Chaos u EET pokračuje. Jsou tu další návrhy

Chaos u EET pokračuje. Jsou tu další návrhy

Měšec.cz: Jak vymáhat výživné zadarmo?

Jak vymáhat výživné zadarmo?

120na80.cz: Co všechno ovlivňuje ženskou plodnost?

Co všechno ovlivňuje ženskou plodnost?

Měšec.cz: Air Bank zruší TOP3 garanci a zdražuje kurzy

Air Bank zruší TOP3 garanci a zdražuje kurzy

Vitalia.cz: Když přijdete o oko, přijdete na rok o řidičák

Když přijdete o oko, přijdete na rok o řidičák

Vitalia.cz: Láska na vozíku: Přitažliví jsme pro tzv. pečovatelky

Láska na vozíku: Přitažliví jsme pro tzv. pečovatelky