Xây dựng Vietfuel API phiên bản ít RAM

toidicakhia

toidicakhia

@toidicakhia

Vào một ngày đẹp trời, khi tôi lướt trên Facebook, tình cờ tôi nhìn thấy được 1 bài viết đến từ cộng đồng J2Team…

Xây dựng Vietfuel API phiên bản ít RAM

Điều đầu tiên tôi đập mắt vào tool này là ở 1 framework rất tốn RAM: Playwright. Playwright là 1 thư viện cho phép điều khiển trình duyệt thật (Chromium, Firefox, WebKit) để chạy automation — rất giống Selenium. Nó cực kỳ hữu ích khi cần scrape các website có độ bảo mật cao như Google, Facebook, vì chúng render nội dung bằng JavaScript phía client.

Tuy nhiên, các website liên quan đến xăng dầu ở Việt Nam thường không có bảo mật phức tạp. Chúng ta hoàn toàn có thể reverse engineer các API của họ mà không cần khởi động cả một trình duyệt ngốn hàng trăm MB RAM. Trong bài viết này, tôi sẽ hướng dẫn anh em cách reverse các API của một số nhà cung cấp xăng dầu ở Việt Nam. Let’s go!


Chuẩn bị

Trước khi bắt đầu, chúng ta cần cài đặt các thư viện cần thiết:

bash
pip install aiohttp bs4 lxml

1. Comeco

Website Comeco (comeco.vn) rất đơn giản — không có bảo mật, không có API riêng. Toàn bộ dữ liệu giá xăng được render thẳng vào HTML, nên chúng ta sẽ dùng BeautifulSoup để parse.

Comeco

Giá xăng dầu bắt đầu bằng tiêu đề “Giá bán lẻ xăng dầu”. Ta dùng nó làm điểm neo để tìm đúng section cần lấy:

py
heading = soup.find("span", class_="section-title-main", string="Giá bán lẻ xăng dầu")

Quan sát tiếp vào tab Elements, ta thấy 1 đoạn code có id=row-<number>. Mở đoạn code bên trong element đó, ta thấy các element có tag div và chứa thuộc tính id=col-<number> với class giống nhau. Kiểm tra lần lượt, ta thấy mỗi element có:

  • 1 tag h5 chứa tên loại xăng
  • 1 tag span bên trong h2 chứa giá tiền

Comeco

Ta có code hoàn chỉnh:

py
async with aiohttp.ClientSession() as session:
    async with session.get("https://comeco.com.vn/") as resp:
        html = await resp.text()

soup = BeautifulSoup(html, "lxml")

heading = soup.find("span", class_="section-title-main", string="Giá bán lẻ xăng dầu")
if heading:
    section = heading.find_parent("div", class_="col-inner")
    cols = section.select(".col-inner")

    for col in cols:
        h5 = col.find("h5")
        h2 = col.find("h2")
        if not h5 or not h2:
            continue

        product = h5.get_text(separator=" ", strip=True)
        price_text = h2.get_text(strip=True).replace(".", "")

2. Petrotimes

Website Petrotimes (petrotimesgroup.com) cũng không có bảo mật. Ta bật F12 và vào thử website:

DevTools tab Fetch/XHR trên website Petrotimes, hiển thị danh sách các network request

Mở tab Fetch/XHR, ta thấy có 2 API liên quan đến giá: get-petro và get-price. Ta mò vào API đầu tiên:

Response của API get-petro trả về HTML chứa bảng giá xăng dầu

Response trả về là HTML, trong đó chứa một bảng giá xăng dầu được render sẵn. Cấu trúc HTML khá đơn giản: mỗi dòng giá là một div.table-item, bên trong có nhiều tag p chứa tên sản phẩm và giá theo từng vùng.

Lưu ý: các div.table-item có class font-weight-bold là header row (dòng tiêu đề), cần bỏ qua.

py
async with aiohttp.ClientSession() as session:
    async with session.get("https://petrotimesgroup.com/site/get-petro") as resp:
        html = await resp.text()

soup = BeautifulSoup(html, "lxml")
items = soup.find_all("div", class_="table-item")

for item in items:
    if "font-weight-bold" in item.get("class", []):
        continue

    paragraphs = item.find_all("p")
    if len(paragraphs) >= 3:
        name = paragraphs[0].get_text(strip=True)
        zone1 = paragraphs[1].get_text(strip=True)
        zone2 = paragraphs[2].get_text(strip=True)

3. Saigonpetro

Ta bật F12 và truy cập vào bảng giá của SaigonPetro:

DevTools tab Fetch/XHR trên website SaigonPetro, hiển thị request đến API load-time

Ta lại thấy API trả về một HTML giống như Petrotimes:

Response của API load-time trả về HTML chứa bảng giá xăng dầu của SaigonPetro

Tuy nhiên chúng ta có 1 vấn đề: param idtime trong URL là một con số động — nó thay đổi theo từng kỳ cập nhật giá. Nếu hardcode con số này, API sẽ trả về dữ liệu cũ hoặc lỗi sau khi giá được cập nhật.

Thử tìm kiếm giá trị đó trên source:

DevTools tìm kiếm chuỗi idtime trong source code của trang SaigonPetro

Phát hiện API đó ở trong file HTML, ta thử click vào nó:

Kết quả tìm kiếm idtime trong file HTML của trang SaigonPetro

Thử tìm kiếm trên page, nhưng nó chỉ có 1 kết quả tại page. Ta thử tìm kiếm toàn bộ:

Kết quả tìm kiếm toàn bộ idtime cho thấy 3 kết quả, trong đó có 2 kết quả từ file JavaScript

Có tận 3 kết quả, đồng thời có 2 kết quả từ 1 file Javascript. Click vào kết quả đó, ta thấy rõ 1 đoạn call API:

Đoạn code JavaScript trong file bundle của SaigonPetro gọi API load-time khi select#time thay đổi

Ta phát hiện ra đoạn call API chỉ được gọi khi tag có id="time" thay đổi. Đây là một <select> dropdown cho phép người dùng chọn kỳ giá. Giá trị idtime hiện tại được lưu trong thuộc tính data-list của tag đó. Ta tìm kiếm trên tab Elements:

Tab Elements trong DevTools hiển thị cấu trúc HTML của trang SaigonPetro Kết quả tìm kiếm element có id=time trong tab Elements Tag select#time với thuộc tính data-list chứa giá trị idtime hiện tại

Ta triển khai code như sau:

py
session = aiohttp.ClientSession()

async with session.get("https://saigonpetro.com.vn/ban-le-xang-dau") as resp:
    html = await resp.text()

soup = BeautifulSoup(html, "lxml")

select_tag = soup.find("select", id="time")
data_list = select_tag.get("data-list") if select_tag else None

if not data_list:
    return

url = f"https://saigonpetro.com.vn/load-time?idtime={data_list}&type=ban-le-xang-dau&eShow=.data-tb"
async with session.get(url) as resp:
    prices_html = await resp.text()

soup = BeautifulSoup(prices_html, "lxml")

for row in soup.find("tbody").find_all("tr"):
    cols = row.find_all("td")
    if len(cols) >= 3:
        name = cols[1].get_text(strip=True)
        price = cols[2].get_text(strip=True).replace(",", ".").replace(" đ", "")

4. Mipecorp

Đây là trường hợp thú vị. Khi truy cập mipecorp.com.vn lần đầu tiên, server không trả về trang thật ngay mà trả về một đoạn JavaScript nhỏ để set cookie trước, sau đó mới redirect về trang thật. Đây là kỹ thuật chống bot đơn giản.

Response đầu tiên từ mipecorp.com.vn trả về đoạn JavaScript set cookie thay vì trang thật DevTools hiển thị cookie D1N của mipecorp.com.vn với thời hạn đến năm 2099

Tuy nhiên, cookie này có thời hạn đến năm 2099 (không phải typo). Điều đó có nghĩa là:

  • Chúng ta chỉ cần lấy cookie một lần duy nhất bằng cách mở trình duyệt thật vào trang đó
  • Mọi request sau đó đều dùng cookie này, không cần làm lại

Để lấy cookie, mở DevTools → tab Application → Cookies → copy giá trị D1N.

py
async with aiohttp.ClientSession() as session:
    async with session.get("https://mipecorp.com.vn/", headers={"Cookie": f"D1N={cookie_value}"}) as resp:
        html = await resp.text()

soup = BeautifulSoup(html, "lxml")
oil_contents = soup.find_all("div", class_="oil-content")

if oil_contents:
    for row in oil_contents[0].find_all("div", class_="price-title"):
        name = row.text.strip()
        prices = [s.text.strip() for s in row.find_parent().find_all("span")]

        if len(prices) >= 2:
            zone_1_price = prices[0]
            zone_2_price = prices[1]

5. PVOil

Đây là case thú vị nhất. PVOil chủ động dùng Cloudflare để bảo vệ trang web — mọi request đến domain pvoil.com.vn đều đi qua Cloudflare trước, và Cloudflare sẽ chặn các bot không có browser fingerprint hợp lệ.

Các bạn nghĩ đến đây là bó tay rồi nhỉ? Tôi thử tra cứu DNS history của website này:

Kết quả tra cứu DNS history của pvoil.com.vn cho thấy địa chỉ IP gốc trước khi bật Cloudflare

Và tôi đã tìm ra được địa chỉ IP gốc mà PVOil đặt server — tức là IP trước khi họ bật Cloudflare. Tiến hành truy cập thẳng vào IP này:

Trang lỗi IIS mặc định khi truy cập thẳng vào IP của PVOil mà không có header Host

Tại sao lại ra trang lỗi, trong khi vào bằng domain lại được? Câu trả lời nằm ở cách Reverse Proxy hoạt động.

Hầu hết các máy chủ sử dụng Reverse Proxy như Nginx, Apache, hay IIS (trường hợp của PVOil). Các phần mềm này dùng HTTP header Host để xác định website nào cần phục vụ — vì một server có thể host nhiều website trên cùng một IP. Khi ta truy cập thẳng bằng IP, header Host mặc định là địa chỉ IP đó, không khớp với bất kỳ virtual host nào nên server trả về trang lỗi mặc định.

Giải pháp: truyền thủ công header Host: www.pvoil.com.vn vào request.

Request đến IP gốc của PVOil kèm header Host: www.pvoil.com.vn trả về trang chủ thành công

Tuyệt, ta đã thấy trang chủ! Giờ chúng ta có thể truy cập vào tài nguyên của website mà không qua Cloudflare. Truy cập vào trang tin giá xăng dầu:

Trang giá xăng dầu của PVOil hiển thị bảng giá với các cột tên sản phẩm, giá vùng 1 và vùng 2

py
async with aiohttp.ClientSession() as session:
    async with session.get(f"https://103.21.120.100/api/oilprice/load-view", headers={"Host": "www.pvoil.com.vn",}, ssl=False) as resp:
        html = await resp.text()

soup = BeautifulSoup(html, "lxml")

for row in soup.select("tbody tr"):
    cols = [td.get_text(strip=True) for td in row.find_all("td")]
    if len(cols) >= 2:
        name = cols[0]
        zone_1_price = cols[1]
        zone_2_price = cols[2] if len(cols) >= 3 else None

Lưu ý bảo mật: ssl=False bỏ qua xác thực certificate. Điều này chấp nhận được trong trường hợp này vì ta đang truy cập IP nội bộ đã biết trước, không phải kết nối ra internet tùy ý.


6. Petrolimex

Đây là website khó nhất trong danh sách. Phần giá xăng dầu trên giao diện được cập nhật qua WebSocket — tức là dữ liệu được đẩy real-time từ server xuống client, không có request HTTP thông thường nào để bắt trong tab Fetch/XHR.

Tuy nhiên, tôi tình cờ tìm được 1 gist trên Github dẫn đến một REST API cố định của Petrolimex — có vẻ đây là API nội bộ dùng cho CMS của họ, và nó không yêu cầu authentication.

URL API được encode base64 trong query param x-request, chứa các filter để lấy đúng danh mục giá xăng dầu:

py
PETROLIMEX_API = "https://portals.petrolimex.com.vn/~apis/portals/cms.item/search?x-request=eyJGaWx0ZXJCeSI6eyJBbmQiOlt7IlN5c3RlbUlEIjp7IkVxdWFscyI6IjY3ODNkYzEyNzFmZjQ0OWU5NWI3NGE5NTIwOTY0MTY5In19LHsiUmVwb3NpdG9yeUlEIjp7IkVxdWFscyI6ImE5NTQ1MWUyM2I0NzRmZTU4ODZiZmI3Y2Y4NDNmNTNjIn19LHsiUmVwb3NpdG9yeUVudGl0eUlEIjp7IkVxdWFscyI6IjM4MDEzNzhmZTFlMDQ1YjFhZmExMGRlN2M1Nzc2MTI0In19LHsiU3RhdHVzIjp7IkVxdWFscyI6IlB1Ymxpc2hlZCJ9fV19LCJTb3J0QnkiOnsiTGFzdE1vZGlmaWVkIjoiRGVzY2VuZGluZyJ9LCJQYWdpbmF0aW9uIjp7IlRvdGFsUmVjb3JkcyI6LTEsIlRvdGFsUGFnZXMiOjAsIlBhZ2VTaXplIjowLCJQYWdlTnVtYmVyIjowfX0"

async with aiohttp.ClientSession() as session:
    async with session.get(PETROLIMEX_API) as resp:
        raw = await resp.text()

data = json.loads(raw)

for item in data.get("Objects", []):
    name = item.get("Title", "")
    english_name = item.get("EnglishTitle", "")
    zone1_price = item.get("Zone1Price")
    zone2_price = item.get("Zone2Price")

Kết luận

Không cần tốn vài trăm MB RAM để chạy Playwright, chúng ta vẫn có thể xây dựng API đầy đủ một cách dễ dàng. Toàn bộ stack chỉ cần khoảng 50–80 MB RAM khi chạy, và có thể cập nhật giá liên tục với tần suất cao tùy nhu cầu.

Cảm ơn anh em đã xem bài viết!

Bonus: Anh em có thể ghé qua https://fuelprice.toidicakhia.me/ để theo dõi biến động giá nhé.