| DL1MP1K | Date: ხუთშაბათი, 2012-09-06, 4:03 PM | Message # 1 |
|
Lieutenant colonel
Group: VIP
Messages: 77
Awards: 0
Reputation: 1
Status: გასული
| უნდა ვიცოდეთ ნორმალური “ცოცვისთვის” რამდენიმე ხელისშემშლელი ფაქტორი:
დიდი მოცულობა
ძალიან სწრაფი ცვლილებები
დინამიური გვერდის გენერირება
“მცოცავის” ჩვენ საიტზე სტუმრობისას მას განკუთვნილი აქვს მოცემული დრო და ამ მოცემულ დროში მან უნდა მოასწროს მთელი ინფორმაციის მონაცემთა ბაზაში წაღება. თუ ჩვენი რესურსი ზედმეტად დიდი ზომისაა, ანუ ჩვენი ვებ-გვერდი შეიცავს ძალიან დიდ ინფორმაციას, მაშინ Crawler-ს შეიძლება პრიორიტეტები აერიოს, ამიტომ საჭიროა ან მაქსიმალურად ცოტა რესურსის გამოყენება ან კიდევ პრიორიტეტების სწორად მითითება, რასაც sitemap-ით აკეთებენ.
ძალიან სწრაფი ცვლილებები კი იმ ზიანს გვაყენებს, რომ არავინ იცის რამხელაა შუალედი “მცოცავის” ჩვენს გვერდზე სტუმრობის, როდის შემოდის, რამდენი ხანი ჩერდება და ა.შ. სწრაფი ცვლილებებით კი ჩვენ შეიძლება ახლადგაშვეულ Crawler-ს მთავარი ინფორმაცია წაუღებელი დავუტოვოთ. ვინ იცის კიდევ როდის მობრუნდება ის.
Web Crawler-ისთვის ინფორმაციის სპეციალურად გენერირება რომელიმე სერვერული სოფტით შეიძლება ასევე წამგებიანი აღმოჩნდეს. იმიტომ, რომ შეიძლება მან ორი ერთნაირი ინფორმაცია წაიღოს. იგი ვერ გაარჩევს რომელია დუბლიკატი, რომელი ორიგინალი და რომელი რომლისგან განსხვავდება. ერთ-ერთი მთავარი გასათვალისწინებელი ასპექტი ისაა, რომ საიტი უნდა იყოს მაქსიმალურად მარტივი. მაგალითად ჩვენ გვაქვს სურათების პორტალი და მომხმარებელს ვთავაზობთ შემდეგ სერვისს. მათ შეუძლიათ გადმოწერონ სურათი JPG ან GIF ფორმატში, ასევე შეუძლიათ გადმოწერონ 3 სხვადასხვა ზომაში. სულ ცოტა ამ ყველაფერს 48 ლინკური კომბინაცია დასჭირდება. წარმოიდგინეთ როგორ “დაიბნევა” “მცოცავი”. თუ მომხმარებელს შევთავაზებთ მხოლოდ ერთი ფორმატს და ერთი ზომას, მაშინ Crawler უფრო კარგად “იცოცებს” ჩვენს საიტზე.
“მცოცავების” ძირითადი თვისებებია:
სელექციის პოლიტიკა – “მცოცავებისთვის” პრიორიტეტულად შეიძლება ჩაითვალოს თემატურობა. მაგალითად თუ ვებ-რესურსი მთლიანად ეძღვნება მუსიკას, ხოლო მეორე გვერდი ნაკლებ ყურადღებას აქცევს ამ თემას, მაგრამ მაინც აქვს ამის შესახებ ინფორმაცია, Crawler პირველს ჩათვლის პრიორიტეტულად. Google-ს Search-ის შემთხვევაში ასევე ყურადღება ეთმობა ქვემოთ ნახსენებ Pagerank. ამ ყველაფრის გათვლით ირჩევა ოპტიმალური ვარიანტი და SERP-ზე სწორედ ის შედეგი მოჩანს. უფრო დაწვრილებით რომ ვთქვათ სელექციის პოლიტიკას გააჩნია მნიშვნელოვანი ნაწილები:
ფოკუსირებული სელექცია – როცა “მცოცავს” ნაბრძანები აქვს კონკრეტული თემა და იგი მხოლოდ ამ თემასთან დაკავშირებით ეძებს რესურსს.
დაბოლოებების შეზღუდვა – სელექიის ტიპი როცა Crawler ეძებს მხოლოდ გარკვეული დაბოლოების რესურსს. მაგალითად “მცოცავს” შეიძლება ნაბრძანები ქონდეს მხოლოდ: (.html, .htm, .asp, .aspx, .php, .jsp, .jspx) დაბოლოებული რესურსის ძიება. ანუ ასეთი ძებნის შემთხვევაში “მცოცავი” არ მოძებნის არცერთ სურათს და მულტიმედიურ ფაილს
ლინკის ნორმალიზაცია – ესეთი სელექციის ტიპი არეგულირებს URL-ს სტრუქტურას, სანამ მას თავის მონაცემთა ბაზაში წაიღებს. მაგალითად: HTTP://www.example.com – ს “მცოცავი” წაიღებს ასე: http://www.example.com/ ან http://www.example.com:80/test.html – ს ასე: http://www.example.com/test.html
Re-Visit პოლიტიკა – ვებ საიტებში იმდენად სწრაფია ცვლილელები (ცვილებად ითვლება ნებისმიერი სიახლე), რომ “მცოცავს” შეიძლება თვეები დაჭირდეს ყველა რესურსიდან სიახლის წაღებისთვის. შეიძლება როცა Crawler დაამთავრებს ცოცვას, ბევრი განახლება მერე მოხდეს. სწორედ ასეთი გაუგებრობების თავიდან ასაცილებლად დაიწერა სპეციალური ალგორითმი, რომელიც დღესაც ყველაზე ფართოდ გამოიყენება სახელად: “Freshness and Age”. Freshness ატყობინებს “მცოცავს” რამდენად კარგადაა შესრულებული საქმე, ხოლო Age ატყობინებს, რამდენად ძველია შენახული ინფორმაცია, ანუ ფაქტიურად ატყობინებს არსებობს თუ არა რამე ისეთი რა მონაცემთა ბაზაში Crawler-მა ვერ წაიღო.
პარალელურობის პოლიტიკა – საბედნიეროდ დღევანდელი საძიებო სისტემების Crawler-ებს შეუძლიათ პარალელურ რეჟიმში “მუშაობა”. ასე, რომ შესაძლებელია რამდენიმე პროცესის პარალელურ რეჟიმში შესრულება.
წარმოგიდგენთ ყველაზე გავრცელებურ Crawler-ებს:
Yahoo Slurp – yahoo search-ის “მცოცავი
MSNBot – “მცოცავი” ბოტი, რომელიც შექმნა Microsoft-მა სპეციალურად Bing-ისთვის. მას აქვს ზუსტად იგივე ფუნქციები, რაც GoogleBot-ს და Yahoo Slurp-ს. 2009 წლის ნოემბერეს შექმნეს MSNBot-ის ახალი ვერსია, ანუ MSNBot 2.0
და რა თქმა უნდა GoogleBot
ყველაზე ცნობილი “მცოცავი” ბოტი, რომელსაც გუგლი ხმარობს. ერთხელ ნახავდით თქვენთან ერთად ონლაინში მყოფ GoogleBot-ს იმ საიტზე, რომელიც გაჩვენებდათ ონლაინში მყოფთა სიას. ვებმასტერებს ისიც შეუძლიათ, რომ GoogleBot-ს აუკრძალონ მათი რესურსის მონახულება და საერთოდ ჩამოაშორონ თავიანთი რესურსი საძიებო სისტემას. ისინი უბრალოდ ამატებენ index.php-ში ან მთავარ გვერდში შემდეგ Meta Tag-ს: . ერთადერთი მინუსი, რაც შეიძლება GoogleBot-მა ვებმასტერს შეუქმნას ეს ისაა, რომ ის ბევრ ტრეფიკს (Bandwidth) ხარჯავს. მაგრამ შემოსვლის სიხშირის რეგლუაციაც არის შესაძლებელი გუგლის Webmaster Tools-იდან. GoogleBot ინახავს აბსოლუტურად ყველა ლინკს, რომელიც ის იპოვის უკვე მყოფ გვერდზე. ასე, რომ ე.წ. SEO-შნიკებს მთავარი იარაღი მაღალ PageRank-იან საიტებზე ლინკების გაცვლა სწორედ ამიტომაა.
მიზანი ამართლებას საშუალებას !
ვინც ეძებს ის პოულობს : http://therealgta.ucoz.com
ითამაშე ფლეშ თამაშები : http://gamesforboys.in
|
| |
| |
